Cara Pakai kvcached: Solusi Cerdas untuk Hemat VRAM di GPU saat Jalankan LLM

Pernah ngerasa sayang banget VRAM GPU nganggur padahal model LLM lagi idle? Nah, kvcached hadir buat nyelesain masalah itu.

kvcached itu dynamic KV-cache implementation yang dibangun di atas vLLM. Intinya, dia bisa ngatur alokasi memory KV-cache secara fleksibel, bukan statis kayak default vLLM.

Dalam artikel ini, kita bakal eksplor gimana cara kerjanya, mulai dari setup environment sampai eksperimen nyata dengan workload yang bursty.

Pertama-tama, pastikan kamu punya GPU yang available. Kita bakal install vLLM versi 0.10.2, terus kvcached yang butuh compile CUDA extension kecil.

Jangan lupa juga install matplotlib, requests, pynvml, dan numpy buat monitoring dan visualisasi nanti.

Kita bakal pakai model Qwen2.5-0.5B-Instruct dan Qwen2.5-1.5B-Instruct sebagai contoh. Model-model ini lightweight tapi cukup representatif buat demo.

Port yang dipakai 8001 dan 8002, dengan max model length 2048 token. Konfigurasi ini bisa kamu sesuaikan sesuai kebutuhan.

Fungsi launch_vllm jadi core dari eksperimen kita. Bedanya apa? Kalau kvcached=True, dia bakal aktifin autopatch hooks yang gantiin allocator default vLLM dengan yang elastic.

Environment variables kunci: ENABLE_KVCACHED, KVCACHED_AUTOPATCH, dan KVCACHED_IPC_NAME. Tanpa ini, kvcached gak bakal jalan.

Buat monitoring VRAM real-time, kita pakai pynvml. Class MemorySampler bakal jalan di background thread, nyatet penggunaan memory tiap 0.2 detik.

Workload yang kita simulasiin namanya bursty workload. Bayangin ada 3 gelombang request, tiap gelombang 6 request concurrent, dengan jeda 6 detik antar gelombang.

Di jeda inilah magic-nya kvcached. Dia bisa release physical VRAM, sementara static allocation cuma bisa nganggur doang.

Prompt yang dipakai variatif banget, mulai dari explain quantum entanglement sampe translate knowledge is power ke beberapa bahasa.

Eksperimen pertama: jalankan dengan kvcached enabled. Catet idle VRAM setelah model load, terus jalankan bursty workload sambil sampling memory.

Eksperimen kedua: jalankan baseline dengan static KV allocation. Protokolnya persis sama, bedanya cuma di parameter kvcached=False.

Hasilnya? kvcached ngasih idle VRAM yang jauh lebih rendah. Static allocation harus pre-reserve KV pool, jadi memory langsung tinggi dari awal.

Visualisasi data pake matplotlib. Plot kiri nunjukin trend VRAM sepanjang waktu, plot kanan bandingin distribusi latency.

Yang menarik, meski hemat memory, median latency kvcached tetap kompetitif sama baseline. Jadi gak ada trade-off yang signifikan.

Eksperimen ketiga lebih advanced: jalankan dua model sekaligus dalam satu GPU. Model A dan B aktif bareng, tapi memory flexes sesuai yang lagi dipakai.

Kita alternatifin traffic antara kedua model, terus lihat gimana memory beradaptasi. Hasilnya jelas: memory naik pas model aktif, turun pas idle.

Ini validasi kuat buat premise demand-driven caching. Memory cuma dialokasikan pas butuh, langsung dilepas pas gak dipakai.

Bonus: kvcached juga include CLI tools. kvtop buat live monitoring per-instance KV memory, mirip nvtop tapi khusus buat kvcached.

Ada juga kvctl buat set atau limit memory budgets per instance. Dua tools ini berguna banget buat production deployment.

Practical takeaway-nya jelas. Kalau kamu punya workload yang fluktuatif atau perlu jalanin multiple model dalam satu GPU, kvcached worth banget buat dicoba.

Hemat VRAM signifikan saat idle, latency tetap oke, dan skalabilitas ke multi-model jadi lebih mudah. Framework yang reproducible dan siap scale ke production.