NanoEuler: Model GPT-2 yang Dibangun dari Nol, Gimana Ceritanya?

Jadi, ceritanya dimulai saat larangan Fable dari Anthropic bikin banyak orang bingung. Nah, salah satu yang tergerak adalah pengembang NanoEuler. Dia punya mimpi besar untuk berkarya di dunia AI, dan dari situ lahir ide untuk bikin NanoEuler. Proyek ini bukan cuma sekadar ngembangin model AI, tapi juga menggali lebih dalam tentang bagaimana model-model ini bekerja dari dasar.

Yang menarik, pengembang ini punya dua alasan kuat kenapa dia bikin NanoEuler. Pertama, dia sadar bahwa berinteraksi dengan LLM (Large Language Model) itu beda sama paham bagaimana model itu dibangun. Kedua, dia pengen banget ngerti hubungan antara parameter, data, dan pertumbuhan model, plus gimana GPU berfungsi. Semua itu dia lakukan dengan pendekatan riset yang serius.

Dia mulai dari hal yang sederhana, dengan menggunakan teks dari Shakespeare. Dari situ, dia pengen tahu apa yang dimengerti oleh model teks saat beroperasi dengan 23 juta parameter. Dan ternyata, di angka itu, NanoEuler udah bisa ngerti bahwa 'Name:' itu adalah awal dari sebuah baris, dan bisa nulis baris itu dengan makna. Keren, kan?

Seluruh proses pengembangan ini ditulis dalam CUDA, soalnya dia pengen bikin semuanya tanpa perantara antara model saat training dan inference. Dengan cara ini, dia bisa lebih fokus dan ngerti setiap langkah yang diambil. Penggunaan SFT (Supervised Fine-Tuning) juga jadi bagian penting dalam proses ini, meskipun dalam skala kecil.

Feedback, saran, atau bantuan dari orang-orang yang tertarik dengan proyek ini sangat diharapkan. Soalnya, proyek ini bukan cuma tentang bikin model, tapi juga tentang berbagi pengetahuan dan belajar bareng. Siapa tahu, ada yang punya insight menarik yang bisa bikin NanoEuler makin canggih!