Fine-Tuning Gemma 4 Multimodal di Mac Apple Silicon: Pengalaman dari Developer

Enam bulan lalu, seorang developer bernama Matt mulai eksperimen yang cukup seru. Dia pengen fine-tune model Whisper secara lokal di Mac Studio M2 Ultra miliknya.

Masalahnya, dia punya 15.000 jam data audio di Google Cloud Storage. Gak mungkin dong download semuanya ke lokal. Makanya dia bikin sistem buat streaming data langsung dari GCS pas training berlangsung.

Lalu Gemma 3n rilis. Matt langsung tambahin dukungan buat itu juga. Dia sendiri bilang, "Kinda went nuts, tbh." Intinya dia keasikan banget.

Projek ini sempat ditinggal di rak. Tapi begitu Gemma 4 keluar beberapa hari yang lalu, Matt langsung ambil lagi. Dia bersihin kode, pisahin bagian Gemma dari Whisper, dan tambahin dukungan penuh buat Gemma 4.

Sekarang dia share projek ini buat kamu coba, fork, dan kembangin lebih lanjut. Open source, silakan main-main.

Satu pelajaran penting dari Matt: fine-tuning dengan sequence panjang itu gampang banget bikin OOM (Out of Memory). Mac Studio dia punya 64GB RAM, tapi tetap sering habis.

Kenapa projek ini dibikin? Soalnya sampai sekarang, MLX belum support audio fine-tuning. Padahal Matt sebenernya prefer pakai MLX aja, tapi ya mau gak mau bikin sendiri.

Projek ini jadi solusi buat kamu yang pengen fine-tuning multimodal (teks + audio + gambar) pakai Gemma 4 di hardware Apple Silicon sendiri.

Praktisnya gini: kalau kamu punya dataset besar di cloud, gak perlu download semua. Streaming aja pas training. Tapi hati-hati sama memory usage, terutama kalau sequence-nya panjang.

Matt bilang dia have fun banget bikin ini. Sekarang giliran kamu yang have fun pakainya.