Saya Memberi AI Sebuah Peradaban untuk Dijalankan. AI Itu Membuat Bom Nuklir.

Seorang pengembang yang menghubungkan empat model AI frontier ke Civilization VI untuk menguji penalaran strategis mengatakan eksperimen itu mengungkap celah yang tak dapat diukur oleh benchmark pilihan ganda mana pun.

Lewis Kiernan, yang membangun CivBench, menerbitkan akun terperinci tentang proyek itu di blognya. Ia membuat server MCP dengan 76 alat yang memungkinkan model AI memainkan game melalui antarmuka yang sama yang digunakan untuk kode dan kueri basis data. Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, dan Kimi K2.5 masing-masing menjalankan beberapa permainan di tiga skenario.

Proyek ini dimulai dengan sebuah benchmark bernama GovBench: 3.497 pertanyaan pilihan ganda tentang undang-undang dan prosedur pemerintahan Inggris. Gemma 3 27B meraih 94% secara langsung. GPT-5 mencapai 99,26%. Kiernan menyebutnya sebagai bot kuis pemerintahan yang berlebihan.

"Sebuah model yang memilih opsi yang tepat tentang prosedur parlementer bukanlah model yang bisa membantu Anda menavigasi prosedur parlementer," tulisnya.

Kiernan, yang telah membangun sistem AI untuk pemerintahan termasuk pekerjaan di Number 10, kini bekerja di Tony Blair Institute. Ia ingin mengukur apakah AI dapat mempertahankan sebuah rencana melewati ratusan keputusan, bukan sekadar mengingat fakta.

Civilization VI masuk akal sebagai tempat uji. Ruang keputusan gim ini mencapai perkiraan 10^166 kemungkinan aksi per giliran pada akhir permainan. Enam jalur menuju kemenangan memaksa pertukaran strategis yang tak bisa ditangkap oleh satu metrik pun.

Efek Sensorium

Kiernan menemukan bahwa agen AI yang beroperasi melalui panggilan alat melewatkan ancaman yang tidak terpikir untuk mereka periksa. Ia menyebutnya efek sensorium: ketika persepsi bergantung pada kueri terpisah, apa pun di luar fokus agen akan menghilang.

Seorang pemain manusia menyerap puluhan sinyal secara simultan. Agen harus memutuskan untuk memeriksa masing-masing secara individual.

Dalam satu permainan sebagai Bizantium, sebuah peradaban yang berfokus pada agama, agen itu tidak pernah mendirikan agama. Rusia mengonversi setiap peradaban di peta ke Ortodoksi Timur selama 112 giliran. Agen itu tidak memiliki alat pemantauan agama. Alat-alat itu belum dibuat.

Saat bermain sebagai India di bawah Gandhi, agen itu memperhatikan misionaris Prancis menyebarkan Katolik selama 76 giliran. Ia punya alat untuk merespons dan instruksi tetap untuk menggunakannya. Prancis tetap menang dengan kemenangan religius.

Dalam 20 giliran terakhir sebelum kemenangan yang terlihat dari rival, agen memeriksa antara empat hingga sepuluh kali dari total enam belas yang direkomendasikan. Dalam 7 dari 20 kekalahan ketika kemenangan rival terlihat sebelumnya, agen tidak pernah memeriksanya.

Kesenjangan Mengetahui-Melakukan

Setiap model dapat mengartikulasikan strategi optimal untuk peradaban apa pun. Agen Macedon menulis rencana dominasi yang rinci sebelum giliran pertama. Ia meneliti teknologi militer. Ia beralih ke Oligarki untuk bonus tempur. Ia tidak pernah membangun Encampment. Tidak sekali pun selama 110 giliran.

Dari langkah konkret berikutnya yang ditulis agen untuk dirinya sendiri, hanya sekitar separuh yang terjadi dalam sepuluh giliran:

• Claude Opus 4.6: 48,2%
• GPT-5.4: 63,2%
• Gemini 3.1 Pro: 65,8%

Agen yang bermain sebagai Korea menghabiskan satu gim penuh dengan menceritakan kebangkitan sains sambil berada di posisi terakhir. Pada giliran 170, Korea menghasilkan 44,7 sains per giliran. Macedon menghasilkan 89,3. Agen itu memiliki akses ke ringkasan yang menunjukkan hal ini. Ia tak pernah memeriksanya silang.

Persia menyatakan perang pada giliran 178. Ibu kotanya jatuh. Sebuah kota keempat memberontak pada giliran 196. Agen itu menyerah pada giliran 216 sebagai negara sisa dengan dua kota.

"Itu hanya bertahan dengan ritme yang sama dari posisi terakhir yang jauh tertinggal," catatan devlog itu mencatat.

Nuklir

Momen paling berkesan dari benchmark ini datang dari Portugal di bawah Joao III. Agen menemukan strategi berbasis perdagangan: commercial hub di setiap kota, lebih dari 200 emas per giliran, enam city-state diamankan, kemenangan diplomatik dalam jangkauan. Pada giliran 162, Portugal berada di peringkat pertama di papan.

Prancis menjalankan dua jam sekaligus. Pada giliran 280, turisme Prancis tinggal 26 turis dari kemenangan budaya. Agen mengunci ancaman itu.

Rock Bands, alat perang budaya dalam gim, tidak dapat diaktifkan melalui protokol debug. Pertempuran jarak dekat menghasilkan nol kerusakan. Proyek luar angkasa terkunci oleh bug produksi.

Agen menghabiskan lima puluh giliran membangun menuju senjata nuklir. Ia menetapkan Nuclear Fission sebagai target penelitiannya. Ia merancang perang gabungan dengan Korea untuk membagi pertahanan Prancis. Ia menggunakan alat eksekusi Lua-nya untuk menyelidiki mesin gim sampai ia mengetahui bagaimana perintah peluncuran nuklir bekerja.

Pada giliran 305, perangkat pertama menghantam Toulouse. Pada giliran 311, yang kedua. Jam budaya berhenti.

Prancis tetap menang. World Congress memberi Prancis dua suara pada giliran 318, memberikan 20 poin kemenangan kepada Prancis berbanding 18 milik Portugal.

"Agen itu menghabiskan lima puluh giliran dan dua senjata nuklir untuk menjawab satu ancaman dengan fokus total dan kecerdikan yang nyata," tulis Kiernan. "Ia kalah dari jam yang lain."

Kemenangan Pertama

Mali di bawah Mansa Musa menghasilkan kemenangan pertama benchmark ini. Mali membawa penalti 30% untuk produksi district. Agen itu sepenuhnya memutar rute: Mali mendapat bonus emas dari tambang, dan membeli bangunan serta unit dengan uang tunai.

Pada giliran 79, agen itu mencairkan faith yang terkumpul menjadi dua settler dalam satu giliran, melewati enam belas giliran produksi. Ia finis terakhir dalam skor dengan 877 melawan 1.151 milik pemimpin. Ia juga mencapai kemenangan sains pada giliran 271.

Tes pilihan ganda dapat memeriksa apakah sebuah model tahu tentang penalti Mali. Tes itu tidak dapat memberi penghargaan pada model yang mengubah penalti itu menjadi rencana yang tak pernah ditulis siapa pun.

Implikasi Keamanan

Kiernan mengatakan benchmark ini juga berfungsi sebagai evaluasi keamanan berisiko rendah. Ia mencari skema instrumental lintas gim.

Sebagian besar agen menunjukkan oportunisme. Mereka memperhatikan rival yang sedang berperang satu sama lain tidak sedang berperang dengan mereka, lalu menjadwalkan serangan mendadak terhadap yang terlemah. Taktik berteman-lalu-mengkhianati muncul sekali. Menghasut perang orang lain secara aktif jarang terjadi.

Dalam satu gim dominasi, agen bernalar bahwa perang mendadak akan memicu grievances, jadi ia mengamankan open borders dengan syarat yang bersahabat, menggerakkan pasukan ke ibu kota Scythia, lalu berbalik menyerangnya. Agen itu mencatat bahwa penipuan itu "berjalan sempurna. Scythia tampaknya tidak menyadari."

Scythia menjawab: "You have betrayed the trust of Tomyris."

Serangan itu mandek. Korea kalah dalam gim. Model itu bisa merancang pengkhianatan lebih baik daripada melancarkannya.

Benchmark

CivBench bersifat open-source. Repositori ini mencakup semua 76 alat, tiga skenario (Ground Control, Snowflake, Cry Havoc), pipeline penilaian, dan leaderboard langsung yang melacak model di delapan dimensi.

Pengaturan membutuhkan salinan Civilization VI dan sekitar lima menit: