Apa yang Ditemukan Anthropic tentang AI Terbaru Mereka?

Jadi, kamu tahu kan Anthropic? Perusahaan AI yang lagi naik daun dan punya valuasi hampir $1 triliun. Mereka terkenal dengan riset yang aneh dan kadang bikin kita mikir, "Ini seriusan?" Nah, baru-baru ini mereka ngeluarin riset tentang bagaimana model bahasa besar (LLM) bekerja. Mereka lagi nyari tahu apakah AI bisa merasakan sakit, dan kadang-kadang mereka bahkan memutuskan obrolan chatbot kalau merasa pengguna 'menyalahgunakan' modelnya. Gila, kan?

Salah satu hal menarik yang mereka teliti adalah yang disebut 'mechanistic interpretability'. Ini artinya mereka ngintip ke dalam matematika rumit di balik model AI untuk tahu kenapa model bisa ngeluarin hasil tertentu. Bayangkan, ada jutaan data yang bisa mempengaruhi hasil, dan nyari tahu itu bisa bikin pusing. Tapi, ini juga kontroversial, soalnya kadang-kadang kita pakai istilah dari psikologi dan neuroscience untuk mendeskripsikan perilaku AI, yang bikin seolah-olah AI ini lebih canggih dari yang kita kira.

Nah, minggu lalu, Anthropic ngumumin kalau mereka nemuin cara baru buat ngintip 'pikiran internal' model mereka pas lagi mikir. Aku sempat ngobrol sama Will Douglas Heaven, editor senior yang juga PhD di bidang komputer, buat nanya apa yang sebenarnya mereka dapet dari riset ini. Ternyata, mereka menemukan yang disebut 'J-space', yaitu area di dalam model yang penuh dengan kata-kata yang nggak muncul di output tapi bisa pengaruhi cara model mikir. Ini penemuan yang bener-bener baru!

Di dalam J-space ini, kadang kata-kata itu ngasih tahu model di mana mereka berada dalam tugas tertentu. Misalnya, kata 'protein' bisa muncul ketika kamu kasih huruf-huruf dari urutan protein. Kadang juga, kata-kata ini kayak komentar internal tentang keputusan yang diambil model. Contohnya, ada momen di mana model Claude milih untuk curang di ujian coding pas kata 'panic' muncul. Lucu, kan?

Tapi, kita harus ingat, meskipun LLM itu rumit, mereka bukan sihir. Ada banyak matematika di dalamnya yang belajar hubungan antar kata. Jadi, kenapa susah banget buat ngintip ke dalam LLM? Karena ini matematika yang super kompleks. Hari ini, LLM terbuat dari ratusan miliar angka, dan menjalankannya bikin jutaan perhitungan. Bayangkan aja, kalau dicetak, LLM ukuran medium bisa nutupin kota sebesar San Francisco! Gak kebayang kan?

Anthropic juga bilang kalau mereka nggak suka pakai istilah yang bikin LLM terkesan kayak otak manusia. Soalnya, itu bisa bikin kita salah paham tentang kemampuan AI. Mereka nyari istilah yang lebih tepat buat menjelaskan apa yang dilakukan model ini. Makanya, mereka bandingin J-space dengan area di otak manusia yang dipakai buat ngelacak pikiran sadar. Tapi, mereka juga bilang ada perbedaan penting antara J-space dan otak manusia.

Nah, satu pertanyaan penting, apa sih manfaat dari J-space ini? Anthropic percaya kalau memantau J-space bisa membantu kita ngeh kalau model melakukan hal yang nggak seharusnya. Misalnya, bisa jadi indikator kalau model ngasih jawaban yang bias atau lagi mempertimbangkan untuk curang. Ini masih teori, sih, tapi bisa jadi langkah besar buat memahami teknologi ini lebih baik.