Tutorial OpenMythos: Cara Kerja Recurrent-Depth Transformer untuk Reasoning yang Lebih Dalam

Pernah denger soal Claude Mythos? Itu arsitektur AI yang bikin model bisa 'berpikir lebih dalam' tanpa harus nambahin parameter. Nah, di tutorial ini kita bakal eksplor OpenMythos—versi open-source rekonstruksi dari arsitektur tersebut.

Yang menarik, OpenMythos pakai iterative computation alias looped processing. Jadi alih-alih bikin model lebih gede, kita cuma suruh dia 'muter' pikirannya beberapa kali. Ini konsep yang beda dari LLM mainstream yang fokus scale up parameter.

Kita bakal bandingin dua mekanisme attention: GQA (Grouped Query Attention) dan MLA (Multi-head Latent Attention). Dua-duanya punya trade-off masing-masing, terutama soal memory efficiency.

Setup awalnya standar kok. Install package open-mythos, import PyTorch, terus inisialisasi seed untuk reproducibility. Device otomatis detect CUDA kalau ada.

Konfigurasi model dibuat fleksibel. Kamu bisa pilih attn_type antara "gqa" atau "mla". Parameter lainnya kayak dim=128, n_heads=4, max_loops=8 bisa disesuaikan kebutuhan. Yang penting, n_kv_heads beda antara keduanya—GQA pakai 2, MLA pakai n_heads penuh.

Setelah instantiate model, langsung kelihatan bedanya. GQA punya parameter lebih banyak karena struktur attention-nya yang lebih kompleks. Tapi jangan judge dulu, kita lihat memory usage-nya di bagian berikutnya.

KV-cache itu penyebab utama memory bengkak di inference LLM. Di sini kita ukur footprint-nya dengan fungsi sederhana: hitung total bytes dari semua tensor di cache.

Hasilnya? MLA jauh lebih hemat. Untuk sequence 64 token dengan 4 loops, MLA bisa 3-4x lebih kecil dari GQA. Ini karena MLA pakai low-rank compression untuk key-value, bukan store full tensor.

Rasio penghematan ini makin signifikan kalau sequence panjang atau loop depth tinggi. Buat deployment production, perbedaan ini bisa jadi dealbreaker.

Stability itu krusial untuk recurrent model. Kalau weight update-nya gak stabil, loop bisa diverge atau explode. Kita cek dengan analisis spectral radius dari matrix A di recurrent injection layer.

Di inisialisasi, kedua model stabil—semua eigenvalue dalam range aman. Tapi kita stress test ekstrem: training 30 step dengan learning rate 1.0 yang seharusnya bikin model hancur.

Hasilnya mengejutkan. MLA tetap stabil meski kondisi training-nya abusive. Ini menunjukkan desain recurrent update-nya robust, bukan sembarang loop yang bisa runaway.

Untuk training, kita pakai parity task yang sederhana tapi butuh reasoning sequential. Inputnya bitstream (1 atau 2), targetnya cumulative parity modulo 2.

Model dilatih dengan T_train=3, artinya cuma 3 loop selama training. Cross-entropy loss turun stabil, accuracy naik ke ~90% dalam 600 step. Wallclock time cuma sekitar 20-30 detik di GPU.

Yang menarik bukan hasil training-nya, tapi kemampuan depth extrapolation-nya.

Ini fitur killer-nya OpenMythos. Kita evaluasi model yang cuma dilatih 3 loop, tapi di-test dengan loop depth bervariasi: 1, 2, 4, 6, sampai 16.

Hasilnya? Accuracy terus naik seiring bertambahnya loop, meski model sama sekali gak dilatih di depth tersebut. Di T=16, accuracy bisa 95%+ padahal training cuma di T=3. Ini namanya compute-adaptive reasoning.

Pattern-nya jelas: lebih banyak 'waktu berpikir' → hasil lebih baik. Tanpa retraining, tanpa tambah parameter. Cuma bayar dengan inference latency.

ACT (Adaptive Computation Time) bikin model bisa 'halt' di posisi sequence yang beda-beda. Nggak semua token butuh loop yang sama banyak.

Kita instrument hook untuk capture halting probability di setiap loop dan position. Hasilnya matrix yang nunjukkan pattern adaptif—token awal biasanya butuh lebih banyak iterasi, token akhir bisa cepat converge.

Mean halt probability per loop turun secara natural, menunjukkan model 'yakin' makin lama. Ini lebih efisien daripada fixed-depth loop untuk semua token.

MoE layer kita analisis dengan track expert utilization. Setiap token di-route ke top-2 expert berdasarkan router score.

Hasilnya cukup balanced, tapi ada expert yang lebih sering dipakai. Ini normal untuk MoE—biasanya ada 'generalist' expert dan 'specialist' expert. Load balancing bisa di-tune dengan auxiliary loss kalau mau.

Untuk generation, kita kasih prompt pattern parity dan lihat hasilnya di T_gen=1, 4, 12. Hasil T=1 masih error, T=4 mulai benar, T=12 hampir perfect.

Ini concrete demonstration: lebih dalam reasoning → output lebih berkualitas. Trade-off-nya jelas, dan kamu bisa pilih sesuai latency budget.

Visualisasi tiga panel ngerangkum eksperimen: training loss convergence, depth extrapolation curve yang monoton naik, dan ACT heatmap yang nunjukkan adaptive computation pattern.

Takeaway praktisnya: OpenMythos nunjukin arah baru untuk efficient AI. Daripada chase parameter count, kita bisa optimize inference compute. Ini relevan buat edge deployment, real-time application, atau resource-constrained environment.

Buat yang mau eksperimen, codebase-nya clean dan modular. Ganti attn_type, adjust loop depth, tune MoE config—semua straightforward. Yang penting paham trade-off antara memory, latency, dan quality.

Recurrent-depth architecture mungkin bukan silver bullet, tapi buat task yang butuh multi-step reasoning, pendekatan ini worth explore. Apalagi kalau kamu punya constraint di model size tapi bisa tolerate longer inference time.