LiteRT.js dari Google: Model .tflite Bisa Jalan di Browser, Serius Nih?

Jadi, Google baru aja ngeluarin LiteRT.js, sebuah binding JavaScript dari LiteRT. Ini adalah library inference yang bisa jalan di perangkat, sebelumnya dikenal sebagai TensorFlow Lite. Nah, LiteRT.js ini bisa menjalankan model .tflite langsung di browser dengan WebAssembly. Gak perlu lagi khawatir soal privasi, soalnya semua prosesnya tetap lokal di perangkat kamu.

LiteRT.js bukan format model baru, tapi Google udah ngompilasi runtime yang ada ke WebAssembly dan nge-expose ke JavaScript. Ini bikin performanya jauh lebih baik dibanding solusi AI web sebelumnya yang biasanya bergantung pada kernel berbasis JavaScript. LiteRT.js ngasih kamu runtime cross-platform yang udah dioptimasi, jadi aplikasi web kamu bisa dapat upgrade performa yang udah ada di Android, iOS, dan desktop.

LiteRT.js ini punya tiga backend yang bisa kamu pilih: CPU, GPU, dan NPU. Untuk CPU, ada XNNPACK yang udah dioptimasi dengan dukungan multi-thread. Untuk GPU, ada ML Drift yang jalan lewat WebGPU. Sedangkan untuk NPU, ada WebNN API yang masih dalam tahap eksperimen di Chrome dan Edge. Tapi ingat, LiteRT.js ini gak mendukung delegasi parsial, jadi kamu harus milih satu backend untuk satu model.

Google bilang, LiteRT.js ini bisa sampai 3 kali lebih cepat dibanding runtime web lainnya untuk inference di CPU dan GPU. Bahkan, kalo dibandingin sama eksekusi CPU-nya sendiri, GPU atau NPU bisa kasih kecepatan 5 sampai 60 kali lebih cepat. Ini sangat berguna buat aplikasi real-time kayak pelacakan objek atau transkripsi audio.

Buat kamu yang pengen bawa model PyTorch ke LiteRT, ada cara gampangnya. Cukup pakai Torch untuk mengonversi model ke .tflite. Tapi, ada syarat ketat yang harus dipenuhi. Model kamu harus bisa diekspor dengan torch.export.export, dan gak boleh ada cabang kondisi yang tergantung pada nilai tensor saat runtime. Selain itu, ukuran model juga harus sesuai, supaya bisa diproses dengan baik.

Setelah model kamu berhasil dikonversi, kode runtime-nya juga cukup pendek. Kamu tinggal load LiteRT, compile model, dan jalankan inference. Tapi, jangan lupa, setiap tensor harus dihapus secara manual. LiteRT.js ini gak melakukan pengelolaan memori otomatis, jadi kamu harus hati-hati agar tidak terjadi kebocoran memori di perangkat.

LiteRT.js ini juga bukan pengganti TensorFlow.js secara keseluruhan. Google bilang, LiteRT.js lebih ditujukan untuk menggantikan model Graph di TF.js, bukan seluruh library-nya. Jadi, kamu masih bisa pakai TensorFlow.js untuk pre-processing dan post-processing. Ada juga package @litertjs/tfjs-interop yang bisa bantu kamu untuk menghubungkan tensor antara keduanya.

Dengan LiteRT.js, kamu bisa bawa AI ke dalam aplikasimu dengan performa yang lebih baik dan tanpa mengorbankan privasi. Ini adalah langkah besar bagi pengembang yang pengen memanfaatkan AI di web. Jadi, siap-siap deh buat eksplorasi lebih jauh!