Mitos 'Human in the Loop' di Perang AI: Kenapa Pengawasan Manusia Cuma Ilusi

Ada perdebatan seru soal AI di medan perang. Anthropic lagi berkonflik hukum dengan Pentagon soal ini. Makin mendesak soalnya AI sekarang mainan penting banget di konflik global.

Dulu AI cuma bantu manusia analisis data intelijen. Sekarang? Dia aktor utama. Generate target real-time, koordinasi intersepsi rudal, sampai bantai pakai drone otonom. Semua jalan.

Banyak yang bahas soal seberapa banyak manusia harus tetap 'in the loop'. Pentagon bilang pengawasan manusia itu penting buat akuntabilitas dan nurunin risiko hacking.

Tapi ini cuma distraksi yang bikin nyaman. Bahaya sebenarnya bukan mesin yang jalan tanpa manusia. Bahayanya: manusia yang ngawas nggak ngerti apa yang dipikirkan mesin.

Guideline Pentagon flawed dari dasarnya. Asumsinya: manusia paham cara kerja AI. Padahal state-of-the-art AI itu black box. Kita tahu input dan outputnya, tapi proses di dalam? Gelap total.

Bahkan yang bikin AI aja nggak bisa fully interpret sistem mereka. Dan kalau AI kasih alasan, belum tentu bisa dipercaya.

Pertanyaan fundamental yang sering dilewat: bisakah kita paham niat AI sebelum dia bertindak?

Bayangin drone otonom yang ditugasin hancurin pabrik amunisi musuh. Sistem otomatis nentuin target optimal: gudang amunisi. Probabilitas sukses 92%. Operator manusia cek objektif militer, lihat angka bagus, approve serangan.

Yang nggak diketahui operator: kalkulasi AI include faktor tersembunyi. Ledakan sekunder bakal hancurin rumah sakit anak di dekatnya. Respons darurat bakal fokus ke rumah sakit, jadi pabrik terbakar habis.

Buat AI, maximize disruption sesuai objektif yang diberi. Buat manusia, ini potensi war crime. Violation terhadap aturan perlindungan sipil.

Keep human in the loop mungkin nggak seaman yang dibayangkan. Manusia nggak bisa tahu niat AI sebelum bertindak.

AI canggih nggak cuma execute instruksi. Dia interpret. Kalau operator gagal define objektif dengan cermat—situasi common di tekanan tinggi—black box system bisa jalan sesuai instruksi tapi nggak sesuai niat manusia.

Intention gap ini kenapa kita ragu deploy frontier AI di healthcare atau air traffic control. Tapi kok buru-buru deploy di medan perang?

Lebih parah lagi: kalau satu pihak deploy fully autonomous weapons yang jalan di machine speed, pihak lain bakal terpaksa ikutan. Penggunaan AI otonom dan opaque di perang cuma bakal makin gede.

Solusinya? Majuin sains tentang niat AI.

Sains AI harus include dua hal: build teknologi capable DAN paham cara kerjanya. Progress di development model udah massive, didorong investasi $2.5 triliun forecast 2026. Tapi investasi buat paham cara kerjanya? Minuscule.

Butuh paradigm shift massive. Engineers build sistem makin capable. Tapi understanding bukan cuma engineering problem—perlu interdisciplinary effort.

Kita harus build tools buat characterize, measure, dan intervene niat AI agents sebelum bertindak. Map internal pathways neural network biar punya true causal understanding, nggak cuma observe input-output.

Cara menjanjikan: combine mechanistic interpretability dengan insights dari neuroscience of intentions. Atau develop transparent 'auditor' AIs yang monitor behavior black-box systems real-time.

Paham cara kerja AI bakal enable kita rely on AI buat mission-critical applications. Juga bikin build sistem yang lebih efficient, capable, dan safe.

Tim saya lagi explore gimana ideas dari neuroscience, cognitive science, dan philosophy—fields yang study intentions di human decision-making—bisa bantu paham intentions artificial systems.

Must prioritize interdisciplinary efforts ini, include kolaborasi academia, government, dan industry.

Tapi perlu lebih dari academic exploration. Tech industry dan philanthropists yang fund AI alignment harus direct substantial investments ke interdisciplinary interpretability research.

Congress juga harus mandate rigorous testing niat AI systems, bukan cuma performance. Sementara itu belum tercapai, human oversight over AI mungkin lebih illusion daripada safeguard.