Interfaze Rilis Model ASR Diffusion Gemma Kecil, Gimana Cara Kerjanya?

Interfaze, startup muda yang lagi naik daun, baru aja merilis model pengenalan suara yang keren banget. Namanya diffusion-gemma-asr-small. Model ini bisa ngetranskrip audio dengan cara yang beda dari biasanya, yaitu lewat decoder diffusion, bukan autoregressive. Ini jadi model ASR multibahasa pertama yang pakai metode ini, lho!

Yang bikin menarik, satu adapter dari model ini bisa menangani enam bahasa sekaligus. Tim risetnya cuma ngelatih sekitar 42 juta parameter di atas backbone yang udah beku dengan 26 miliar parameter. Itu cuma sekitar 0,16% dari bobot modelnya! Jadi, bisa dibilang ini efisien banget.

Nah, ada dua istilah yang perlu kamu tahu. Model autoregressive itu menghasilkan teks satu token pada satu waktu, sedangkan model diffusion ini bisa menyempurnakan semua token secara paralel. Jadi, model ini pakai pendekatan diffusion untuk mengubah suara jadi teks. Keren, kan?

Interfaze mengklaim ini adalah ASR multibahasa open-source pertama yang bisa ngetranskrip enam bahasa dari satu adapter dengan parameter sekitar 42 juta. Proses transkripsinya menggunakan decoder diffusion dari DiffusionGemma, yang punya cara unik dalam memproses token. Biaya transkripsi juga ditentukan oleh langkah denoising, bukan panjang transkripnya. Jadi, makin banyak langkah, makin akurat hasilnya.

Model ini juga udah diuji coba dan hasilnya cukup memuaskan. Untuk benchmark, model ini punya Word Error Rate (WER) 6,6% di LibriSpeech, yang lebih baik dibandingkan beberapa model lain seperti Whisfusion yang punya WER 8,3%. Tapi, masih kalah sama Whisper yang lebih canggih. Jadi, ada ruang untuk perbaikan di sini.

Gimana sih cara kerjanya? Model ini nggak langsung ngasih gelombang suara mentah ke LLM. Awalnya, mereka coba, tapi gagal. Jadi, mereka pakai encoder whisper-small yang beku hanya sebagai ekstraktor fitur. Dari situ, audio diubah jadi 188 'audio tokens' yang kemudian disebar ke slot yang udah disiapkan. Setelah itu, decoder mulai proses denoising.

Proses pelatihannya juga menarik. Di awal, pelatihan terhenti karena loss-nya datar. Tim riset akhirnya menyupervisi proyek yang ada untuk mengatasi masalah ini. Dengan menggunakan CTC loss, mereka bisa menyelaraskan fitur audio dengan teks tanpa perlu perhatian. Hasilnya, WER untuk bahasa Inggris turun drastis dari 90% menjadi 6,6% setelah sepuluh epoch. Wow, itu pencapaian yang luar biasa!

Model ini juga cocok buat digunakan dalam pipeline transkripsi batch, soalnya bisa mendukung decoding paralel. Biaya ditentukan oleh langkah denoising, bukan panjang klip audio. Jadi, klip 10 detik butuh langkah yang hampir sama dengan klip yang lebih pendek. Ini bikin penggunaan model jadi lebih efisien.

Kalau kamu penasaran dan mau coba, model ini udah tersedia di Hub. Ada adapter, model.py, audio.py, dan inference.py yang bisa kamu jalankan. Cukup install beberapa library dan kamu siap untuk ngetranskrip audio kamu sendiri. Gampang, kan?

Jadi, buat kamu yang suka teknologi dan pengen eksplor lebih jauh tentang ASR, model ini bisa jadi pilihan menarik. Dengan kemampuan multibahasa dan efisiensi yang ditawarkan, siapa tahu ini bisa jadi alat bantu yang kamu butuhkan!