Membangun Embodied Agent Ringan dengan Vision-Language-Action dan Model Predictive Control

Pernah penasaran gimana caranya bikin AI yang bisa 'melihat' dunia lewat kamera dan langsung memutuskan langkah selanjutnya?

Di tutorial ini, kita bakal bangun embodied agent sederhana yang belajar langsung dari pixel—tanpa perlu library rendering berat.

Kita pakai grid world yang dirender pakai NumPy murni. Jadi agent melihat RGB frames, bukan data simbolik abstrak.

Setup ini mirip konsep Vision-Language-Action (VLA) yang lagi hype di riset robotics modern.

Pertama, kita buat environment sederhana: grid 8x8 dengan obstacle merah, goal hijau, dan agent biru.

Agent hanya melihat gambar 2D, nggak tahu koordinat pastinya. Dia harus belajar interpretasi visual dari nol.

Kita collect data dulu dengan random action selama 120 episode. Agent jalan-jalan buta, kita rekam transisi frame demi frame.

Data ini jadi bahan bakar training world model kita.

World model adalah 'otak' agent. Komponen utamanya: Encoder CNN, Decoder, dan Dynamics Network.

Encoder mengubah gambar RGB jadi representasi latent space berdimensi 64. Bayangin ini seperti kompresi visual menjadi 'pikiran' abstrak.

Dynamics network belajar memprediksi state latent berikutnya berdasarkan action dan goal yang diberikan.

Ada juga Decoder yang bisa merekonstruksi gambar future dari latent space. Jadi agent bisa 'berimajinasi' apa yang terjadi kalau dia mengambil action tertentu.

State predictor head membantu agent memperkirakan posisi relatif dari goal dalam koordinat yang sudah dinormalisasi.

Training dilakukan dengan reconstruction loss L1 dan state prediction MSE selama beberapa epoch. Prosesnya lightweight dan cepat.

Setelah training, kita implement Model Predictive Control (MPC) langsung di latent space.

Cara kerja MPC: agent sampling 120 kandidat action sequence ke depan, simulasikan hasilnya di 'pikirannya', lalu pilih yang paling dekat ke goal.

Ini mirip manusia yang membayangkan beberapa skenario sebelum memutuskan jalan mana yang ditempuh.

MPC jalan secara real-time: encode current frame, rollout future scenarios, execute best action, lalu repeat.

Grid worldnya fully NumPy-rendered, artinya nggak ada dependency Pillow atau OpenCV. Pure tensor manipulation saja.

Agent menggunakan discrete action space: UP, DOWN, LEFT, RIGHT, STAY. Sederhana tapi cukup untuk demonstrasi planning yang kompleks.

Latent space memungkinkan komputasi MPC jadi efisien. Bayangkan kalau harus predict di pixel space langsung—bakal berat banget dan lambat.

During inference, agent melakukan closed-loop control: setiap step dia re-plan berdasarkan observasi terbaru. Ini membuat sistem robust terhadap uncertainty.

Kalau kamu lihat hasil visualisasi, prediksi frame memang agak blurry tapi cukup untuk planning. Yang penting adalah consistency dynamics, bukan photorealism.

Arsitektur ini bisa disebut sebagai World Model sederhana, mirip konsep Ha & Schmidhuber tapi versi lightweight untuk grid world.

Practical takeaway: Kamu nggak perlu GPU super atau framework berat untuk eksplorasi embodied AI.

Dengan PyTorch sederhana dan NumPy, sudah bisa buat agent yang perceive-plan-act loop lengkap.

Konsep ini bisa di-scale ke robot nyata. Bayangkan robot vacuum yang benar-benar melihat ruangan dan merencanakan path optimal, bukan sekadar bump-and-run.

Yang penting diingat: integration antara perception dan decision-making dalam satu predictive model adalah kunci VLA modern.

Kode ini jadi fondasi solid kalau kamu mau eksperimen lebih jauh ke arah robotics atau autonomous systems.

Mulai dari yang sederhana, lalu iterasi. That's how real AI engineering works.