Sakana AI: Jaringan Dual-Stream yang Bikin Cuan Tanpa Backpropagation?

Kamu pasti udah denger tentang backpropagation, kan? Itu adalah metode yang sering dipake dalam deep learning. Tapi, ada satu masalah besar: otak kita mungkin nggak bisa melakukan itu. Nah, Sakana AI muncul dengan solusi baru yang disebut Error Diffusion. Metode ini bikin jaringan saraf bisa belajar tanpa harus ngandelin backpropagation. Gimana sih caranya?

Error Diffusion ini bisa dibilang sebagai aturan pembelajaran lokal. Setiap pembaruan bobot cuma bergantung sama tiga sinyal: aktivitas pra-sinaptik, derivatif aktivasi pasca-sinaptik, dan satu tanda kesalahan global. Jadi, nggak ada yang namanya bobot yang ditransposisi atau matriks umpan balik acak. Ini bikin metode ini lebih cocok dengan prinsip Dale, yang memisahkan jaringan saraf menjadi dua aliran: eksitatori dan inhibitori.

Tim peneliti Sakana AI membagi setiap lapisan menjadi dua aliran. Satu aliran untuk eksitatori dan satu lagi untuk inhibitori. Dengan cara ini, mereka bisa menghitung sinyal aktif yang lebih akurat. Dan hasilnya? Error Diffusion berhasil mencapai 96.7% di MNIST dan 61.7% di CIFAR-10. Ini adalah pencapaian yang luar biasa, terutama karena ini adalah pertama kalinya metode ini diterapkan pada jaringan konvolusi.

Satu hal menarik adalah, meskipun Error Diffusion ini lebih efisien, ada beberapa inovasi yang bikin performanya bisa berbeda tergantung pada tugas yang dihadapi. Misalnya, pada MNIST, menghapus lebar sigmoid spesifik lapisan bisa bikin akurasi turun drastis. Sementara di CIFAR-10, menghapus pengurangan kesalahan berbasis batch justru jadi masalah terbesar. Jadi, setiap tugas punya tantangan tersendiri.

Tapi bukan cuma itu, Sakana AI juga mengintegrasikan Error Diffusion ini dengan Proximal Policy Optimization (PPO) untuk reinforcement learning. Hasilnya, mereka menyebutnya ED-PPO. Dan yang lebih keren, ED-PPO ini bisa ngalahin metode backpropagation tradisional di beberapa tugas. Ini menunjukkan bahwa metode baru ini punya potensi yang sangat besar.

Jadi, apa yang bisa kita ambil dari semua ini? Error Diffusion menawarkan cara baru yang lebih efisien untuk melatih jaringan saraf tanpa harus bergantung pada backpropagation. Ini bisa jadi langkah besar ke depan dalam dunia AI. Kalo kamu tertarik dengan teknologi AI dan pengen tahu lebih banyak, jangan ragu untuk terus ikuti perkembangan terbaru dari Sakana AI dan inovasi lainnya di dunia teknologi.