CSTutorBench: Uji Coba Model Bahasa Kecil Jadi Tutor Pemrograman?

Jadi, kamu tahu kan kalau model bahasa besar lagi jadi tren banget buat jadi tutor AI? Tapi, ada masalahnya juga, terutama soal privasi dan biaya. Nah, di sinilah model bahasa kecil (SLMs) muncul sebagai solusi yang menjanjikan. Tapi, milih model yang tepat buat konteks pendidikan itu nggak gampang, apalagi buat hal-hal yang spesifik kayak pemrograman berbasis blok.

Makanya, ada yang namanya CSTutorBench. Ini adalah benchmark yang dirancang buat ngetes model bahasa sebagai tutor di lingkungan VEX VR, yang merupakan platform pemrograman berbasis blok. Benchmark ini punya 17 pertanyaan berbasis skenario yang dinilai berdasarkan rubrik pedagogis yang udah teruji. Seru banget, kan?

Hasil awal dari pengujian 11 model (dari 4B sampai 120B parameter) menunjukkan bahwa model-model ini oke di kriteria permukaan kayak kosakata dan nada. Tapi, mereka masih kesulitan dengan perilaku pedagogis yang lebih dalam, misalnya menghindari kebocoran jawaban dan berinteraksi dengan riwayat debugging siswa. Jadi, ada tantangan tersendiri di sini.

Yang menarik, ternyata keluarga model dan pendekatan pengaturan instruksi lebih bisa diprediksi kualitas tutoring-nya dibandingkan jumlah parameternya doang. Walaupun jumlah model yang diuji masih sedikit, ini jadi insight yang menarik buat kita. Dan, ada juga yang namanya revisi prompt yang berbasis riset terbaru di bidang pendidikan, yang bisa ningkatin skor 10 dari 11 model. Keren, kan?

Dari semua ini, bisa dibilang bahwa benchmark yang spesifik dan berbasis pedagogis itu penting banget buat milih SLM yang tepat di dunia pendidikan. Jadi, kalau kamu lagi nyari cara baru buat belajar pemrograman, bisa jadi CSTutorBench ini jadi salah satu jalan keluarnya!