Perplexity AI Luncurkan WANDR: Benchmark Baru untuk Research Agents?

Jadi, baru-baru ini Perplexity AI ngeluncurin sesuatu yang keren banget, namanya WANDR. Ini adalah benchmark terbuka yang dirancang buat ngukur seberapa baik research agents bisa nyari informasi. Dengan 500 tugas yang menantang, WANDR bikin research agents harus bisa nemuin banyak entitas yang memenuhi syarat dan dukung setiap entitas itu dengan bukti yang bisa dicek ulang. Gak main-main, ini bisa jadi game changer di dunia riset!

WANDR ini sebenernya punya dua fokus utama: 'wide' dan 'deep'. 'Wide' itu artinya research agents harus bisa nemuin banyak entitas yang relevan, sedangkan 'deep' berarti mereka harus bisa menyelidiki setiap entitas dengan cukup mendalam supaya bisa dukung klaim mereka dengan bukti yang valid. Kombinasi dua hal ini bikin tantangannya jadi lebih seru dan kompleks, soalnya gak bisa cuma ngandelin satu atau dua contoh aja.

Salah satu contoh tugas yang ada di WANDR adalah mencari perusahaan-perusahaan di AS yang baru aja nunjuk CEO atau CFO antara Maret dan April 2026. Setiap perusahaan harus dilengkapi dengan halaman bukti yang resmi. Bayangkan, untuk satu tugas aja, research agents harus nyediain 140 catatan yang didukung bukti. Gede banget kan?

Yang bikin WANDR makin menarik, semua tugas ini dibangun dari pola penggunaan nyata, bukan dari prompt yang dibuat-buat. Jadi, ini bener-bener nyari pola yang ada di dunia nyata. Dengan cara ini, WANDR bisa bikin tugas yang realistis dan relevan dengan kebutuhan industri saat ini.

Nah, cara penilaian di WANDR juga unik. Gak ada kunci jawaban tetap, jadi setiap klaim dinilai berdasarkan bukti yang dikutip. Setiap catatan yang dikirim harus dicek ulang, apakah halaman bukti itu beneran ada dan sesuai dengan syarat yang ditentukan. Ini bikin penilaian jadi lebih akurat dan bisa diandalkan.

Hasil benchmark dari WANDR menunjukkan bahwa sistem Perplexity, yang disebut Search as Code, memimpin dengan skor 0.363 untuk soft F1 dan 0.133 untuk hard F1. Meskipun ada sistem lain yang mendekati, belum ada yang bisa ngalahin Perplexity dalam hal ini. Ini menunjukkan betapa pentingnya inovasi di bidang AI dan riset.

Buat kamu yang penasaran, WANDR ini bisa jadi alat yang sangat berguna bagi tim yang butuh informasi akurat dan cepat. Misalnya, analis pasar yang perlu tahu siapa saja kompetitor yang memenuhi syarat, atau tim due diligence yang harus ngecek banyak perusahaan. Dengan WANDR, semua proses ini bisa jadi lebih efisien.

Jadi, WANDR bukan cuma sekadar benchmark biasa. Ini adalah langkah maju dalam dunia AI dan riset, yang bisa membantu banyak orang dan perusahaan untuk bekerja lebih cerdas dan cepat. Pasti menarik banget untuk lihat bagaimana teknologi ini berkembang ke depannya!