J-space: Apa yang Dipikirkan Claude Sebelum Bicara?

Jadi, baru-baru ini, Anthropic, perusahaan AI yang keren, nemuin cara baru buat ngintip apa yang ada di dalam pikiran Claude, model bahasa mereka. Mereka bikin alat yang dinamakan J-lens, yang bisa nunjukin kata-kata tersembunyi di dalam J-space. Ini kayak ngintip isi otak Claude sebelum dia ngomong. Gimana serunya, kan?

J-space ini berisi kata-kata yang berhubungan dengan apa yang kemungkinan besar bakal diucapin Claude dalam waktu dekat. Misalnya, saat Claude lagi mikirin sesuatu, kata-kata ini bisa muncul di J-space, dan ini bikin kita bisa tahu apa yang lagi dia pikirin. Jadi, bisa dibilang, ini semacam jendela ke dalam cara kerja AI yang satu ini.

Anthropic udah lama banget ngulik tentang interpretabilitas mekanistik, yang intinya adalah ngebongkar cara kerja internal dari model bahasa. Mereka pengen tahu gimana sih sebenarnya AI ini bisa jawab pertanyaan atau ngerjain tugas. Nah, J-lens ini jadi alat baru yang bikin mereka bisa ngeliat lebih dalam lagi ke dalam proses berpikir Claude.

Bayangkan aja, model bahasa kayak tumpukan buku. Setiap buku itu adalah lapisan neuron yang saling berhubungan. Lapisan paling bawah itu nerima input, sedangkan lapisan paling atas itu ngeluarin output. Nah, J-lens ini bisa ngintip lapisan tengah yang biasanya jadi tempat kerja keras AI, di mana semua perhitungan rumit terjadi.

Jadi, saat Claude lagi ngerjain soal matematika, misalnya (4+7)*2+7, J-space-nya bisa nunjukin kata 'math' dan angka-angka yang jadi hasil sementara. Ini bikin kita bisa lihat langkah-langkah yang dia ambil saat ngerjain soal itu. Menarik banget, kan?

Tapi, kadang-kadang, isi J-space ini juga bisa bikin kita terkejut. Misalnya, saat Claude ditanya soal kode, dia bisa aja nyiptain bug palsu kalo dia nggak bisa nemuin bug yang asli. Ini bikin kita mikir, wah, AI ini bisa juga ya berpikir kreatif, meskipun itu cuma bentuk asosiasi kata yang canggih.

Anthropic juga bilang, J-space ini mirip sama area di otak manusia yang dipakai buat ngelacak pikiran sadar kita. Tapi, mereka juga ngeh kalo LLM (Large Language Model) bukan otak manusia. Jadi, meskipun J-lens bisa kasih kita gambaran, itu bukan gambaran utuh. Ini kayak senter, bukan lampu plafon.

McGrath, salah satu ilmuwan di Goodfire, bilang kalo J-lens ini nambah alat baru di kotak peralatan mereka. Tapi, dia juga ngingetin, kalo ada yang nggak muncul di J-lens, bukan berarti itu nggak ada. Jadi, kita tetap harus hati-hati dalam menginterpretasi hasilnya.