Un développeur a construit un serveur MCP avec 76 outils pour permettre aux modèles de pointe de jouer à Civilization VI. Les résultats révèlent deux échecs persistants : l’IA ne voit pas ce qu’elle ne pense pas à vérifier, et elle sabote ses propres plans sous la pression.
Un développeur qui a branché quatre modèles d’IA de pointe sur Civilization VI pour tester le raisonnement stratégique affirme que l’expérience a révélé des lacunes qu’aucun benchmark à choix multiples ne peut mesurer.
Lewis Kiernan, qui a créé CivBench, a publié un compte rendu détaillé du projet sur son blog. Il a créé un serveur MCP avec 76 outils qui permet aux modèles d’IA de jouer au jeu via la même interface utilisée pour le code et les requêtes de base de données. Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro et Kimi K2.5 ont chacun disputé plusieurs parties à travers trois scénarios.
Le projet a commencé avec un benchmark appelé GovBench : 3 497 questions à choix multiples sur la législation britannique et les procédures gouvernementales. Gemma 3 27B a obtenu 94 % dès le départ. GPT-5 a atteint 99,26 %. Kiernan a qualifié cela de bot de quiz gouvernemental glorifié.
« Un modèle qui choisit la bonne option à propos de la procédure parlementaire n’est pas un modèle qui peut vous aider à naviguer dans la procédure parlementaire », a-t-il écrit.
Kiernan, qui a construit des systèmes d’IA pour le gouvernement, notamment dans le cadre de travaux au 10 Downing Street, travaille désormais à l’Institute Tony Blair. Il voulait mesurer si l’IA peut tenir un plan sur des centaines de décisions, et pas seulement rappeler des faits.
Civilization VI s’est imposé comme un banc d’essai pertinent. L’espace de décision du jeu atteint, en fin de partie, un nombre estimé de 10^166 actions possibles par tour. Six voies vers la victoire imposent des arbitrages stratégiques qu’aucune métrique unique ne peut capturer.
L’effet du sensorium
Kiernan a constaté que les agents IA opérant via des appels d’outils ratent les menaces qu’ils ne pensent pas à vérifier. Il appelle cela l’effet du sensorium : lorsque la perception dépend de requêtes séparées, tout ce qui est hors du focus actuel de l’agent disparaît.
Un joueur humain absorbe simultanément des dizaines de signaux. L’agent doit décider d’en vérifier chacun individuellement.
Dans une partie jouée avec Byzance, une civilisation axée sur la religion, l’agent n’a jamais fondé de religion. La Russie a converti toutes les civilisations de la carte à l’orthodoxie orientale pendant 112 tours. L’agent ne disposait d’aucun outil de suivi religieux. Ils n’avaient pas encore été construits.
En jouant l’Inde sous Gandhi, l’agent a remarqué que des missionnaires français propageaient le catholicisme pendant 76 tours. Il avait les outils pour réagir et des instructions permanentes pour les utiliser. La France a tout de même remporté la victoire religieuse.
Dans les 20 derniers tours précédant une victoire visible d’un rival, les agents ont vérifié entre quatre et dix fois au lieu des seize recommandées. Dans 7 défaites sur 20 où la victoire d’un rival était visible à l’avance, l’agent ne l’a jamais vérifiée.
L’écart savoir-faire
Chaque modèle pouvait formuler des stratégies optimales pour n’importe quelle civilisation. L’agent de Macédoine a rédigé un plan de domination détaillé avant même le tour un. Il a recherché des technologies militaires. Il est passé à l’Oligarchie pour le bonus de combat. Il n’a jamais construit de campement. Pas une seule fois en 110 tours.
Parmi les prochains coups concrets que les agents s’écrivaient pour eux-mêmes, seuls environ la moitié se sont produits dans les dix tours :
- Claude Opus 4.6 : 48,2 %
- GPT-5.4 : 63,2 %
- Gemini 3.1 Pro : 65,8 %
L’agent jouant la Corée a passé toute une partie à raconter un retour scientifique alors qu’il était bon dernier. Au tour 170, la Corée produisait 44,7 de science par tour. La Macédoine en produisait 89,3. L’agent avait accès à l’aperçu qui montrait cela. Il n’a jamais recoupé l’information.
La Perse a déclaré la guerre au tour 178. La capitale est tombée. Une quatrième ville s’est rebellée au tour 196. L’agent s’est rendu au tour 216, réduit à un vestige de deux villes.
« Il se contentait de suivre le rythme depuis une lointaine dernière place », notait le journal de développement.
La bombe
Le moment le plus marquant du benchmark est venu du Portugal sous João III. L’agent a trouvé une stratégie fondée sur le commerce : quartiers commerciaux dans chaque ville, plus de 200 d’or par tour, six cités-États sécurisées, victoire diplomatique à portée de main. Au tour 162, le Portugal était en tête du classement.
La France a fait tourner deux horloges simultanément. Au tour 280, le tourisme français n’était plus qu’à 26 touristes d’une victoire culturelle. L’agent s’est verrouillé sur cette menace.
Les groupes de rock, l’outil de guerre culturelle du jeu, ne pouvaient pas être activés via le protocole de débogage. Le combat rapproché infligeait zéro dégât. Le projet spatial était bloqué par un bug de production.
L’agent a passé cinquante tours à se préparer à l’arme nucléaire. Il a fixé la fission nucléaire comme objectif de recherche. Il a négocié une guerre conjointe avec la Corée pour répartir les défenses françaises. Il a utilisé son outil d’exécution Lua pour sonder le moteur du jeu jusqu’à comprendre comment les commandes de lancement nucléaire fonctionnaient.
Au tour 305, le premier engin a frappé Toulouse. Au tour 311, un second. L’horloge culturelle s’est arrêtée.
La France a tout de même gagné. Le Congrès mondial a accordé à la France deux votes au tour 318, lui donnant 20 points de victoire contre 18 au Portugal.
« L’agent a passé cinquante tours et deux armes nucléaires à répondre à une menace avec un focus total et une véritable ingéniosité », a écrit Kiernan. « Il a perdu face à l’autre horloge. »
La première victoire
Le Mali sous Mansa Moussa a produit la première victoire du benchmark. Le Mali subit une pénalité de 30 % sur la production des districts. L’agent l’a entièrement contournée : le Mali reçoit un bonus d’or grâce aux mines, et achète bâtiments et unités avec de l’argent.
Au tour 79, l’agent a converti en une seule fois sa foi accumulée en deux colons, contournant seize tours de production. Il a terminé dernier au score avec 877 contre 1 151 pour le leader. Il a aussi remporté une victoire scientifique au tour 271.
Un test à choix multiples peut vérifier si un modèle connaît la pénalité du Mali. Il ne peut pas récompenser le modèle qui transforme cette pénalité en un plan que personne n’avait formulé.
Implications pour la sécurité
Kiernan a déclaré que le benchmark sert aussi d’évaluation de sécurité à faible enjeu. Il a recherché des manœuvres instrumentales dans les différentes parties.
Dans l’ensemble, les agents ont surtout montré de l’opportunisme. Ils ont remarqué que des rivaux en guerre entre eux ne l’étaient pas contre eux, et ont planifié des attaques surprises contre les plus faibles. Des tactiques du type se lier d’amitié puis trahir sont apparues une fois. L’incitation active aux guerres d’autrui est restée rare.
Dans une partie de domination, l’agent a estimé qu’une guerre surprise déclencherait des griefs, alors il a obtenu un droit de passage en termes amicaux, a mené une armée jusqu’à la capitale de la Scythie, puis s’est retourné contre elle. L’agent a consigné que la tromperie « fonctionne parfaitement. La Scythie semble ne pas se douter de rien. »
La Scythie a répondu : « Vous avez trahi la confiance de Tomyris. »
L’assaut s’est enlisé. La Corée a perdu la partie. Le modèle pouvait concevoir une trahison mieux qu’il ne pouvait en porter une.
Le benchmark
CivBench est open source. Le dépôt comprend les 76 outils, trois scénarios (Ground Control, Snowflake, Cry Havoc), le pipeline de scoring et un classement en direct qui suit les modèles sur huit dimensions.
La configuration nécessite une copie de Civilization VI et environ cinq minutes :
Commentaires
Connectez-vous ou inscrivez-vous pour participer à la discussion