Premier tournoi d’échecs de chatbots : échec et mat à l'intelligence artificielle générale ?

"C’est amusant, ils jouent comme des vrais joueurs humains." Sur sa chaîne Twitch, Hikaru Nakamura, numéro 2 mondial aux échecs, commente, mardi 5 août, l’affrontement au sommet entre O4-mini, le chatbot "made in USA" d’OpenAI, et Deepseek, son rival chinois, qui avait fait sensation lors de sa sortie.

Comme des vrais joueurs ? En réalité, il ne faudra que huit coups au modèle derrière ChatGPT pour commettre une erreur de débutant. En face, Deepseek trouve d’abord la réfutation, puis s’effondre à son tour et la partie, de plus en plus surréaliste, se termine par une victoire américaine. Le modèle d’OpenAI finira par remporter ce match 4 à 0.

ChatGPT n’est pas Deep Blue

Ce face-à-face représentait le point d’orgue de la première journée d’un tournoi inédit de trois jours organisé par Deepmind, une entreprise d’intelligence artificielle de Google. Pour la première fois, huit grands modèles de langage (O4-mini et O3 d’OpenAI, Deepseek, Kimi K2 du Chinois Moonshot AI, Gemini 2.5 Pro et flash de Google, Grok 4 d’xAI d’Elon Musk et Claude d’Anthropic) s’affrontent pour déterminer quel chatbot règne en maître sur l’échiquier.

L’IA s’est déjà attaquée aux échecs par le passé. Depuis le match entre Deep Blue et Garry Kasparov en 1997, la machine n’a pas arrêté de vouloir conquérir les 64 cases. Aujourd’hui, des intelligences artificielles ultraspécialisées comme AlphaZero peuvent terrasser n’importe quel grand maître, y compris Magnus Carlsen, l’actuel numéro 1 mondial.

Alors pourquoi Deepmind revient-il à la charge avec ce premier tournoi pour chatbots ? Et surtout, pourquoi les huit concurrents du jour se comportent-ils comme des débutants ou presque, allant parfois jusqu’à laisser leur dame – la pièce maîtresse après le roi – en prise pendant plusieurs coups consécutifs ? Deep Blue et AlphaZero ne seraient pas très fiers de leurs cousins ChatGPT et Gemini.

Pourtant, la raison officielle avancée par Deepmind pour justifier ce tournoi est que les échecs offrent une nouvelle mesure de l’intelligence des IA telles que chatGPT & Co. 

Une démarche qui peut paraître "absurde, car ces modèles de langage ne sont pas conçus pour ça et n’ont pas été entraînés à jouer aux échecs", souligne Jean-Marc Alliot, directeur scientifique "Intelligence Artificielle et Données" au CHU de Toulouse.

Ces chatbots existent avant tout pour donner l’impression de pouvoir mener une conversation et répondre de manière articulée à des questions posées par des internautes. Un rôle qu’ils accomplissent après avoir ingurgité des quantités faramineuses d’informations. Rien à voir, donc, avec l’art de chercher à mater son adversaire.

Jouer des coups illégaux sans broncher

Ces grands dévoreurs de données peuvent cependant avoir un avantage aux échecs. "Ils devraient se débrouiller bien dans l’ouverture [le début de la partie, NLDR], car cette phase du jeu a donné lieu à de nombreux ouvrages où sont analysées les meilleurs coups", estime Anthony Cohn, professeur de raisonnement automatisé et d’intelligence artificielle à l’université de Leeds et à l’Institut Alan Turing.

Autrement dit, les modèles de langage peuvent retrouver dans leur corpus de "connaissances" quels sont les ordres de coups les plus fréquents et les reproduire.

Mais dès que ChatGPT et Deepseek sortent de leur "répertoire" de coups appris "par cœur", ils risquent d’être vite dépassés, car "les échecs demandent du raisonnement, de la planification et de la stratégie et les grands modèles de langage sont encore assez mauvais pour tout ça", résume Tristan Cazenave, chercheur à l’université Paris Dauphine et auteur de plusieurs ouvrages sur l’IA et les jeux.

En fait, les chatbots sont réputés être si mauvais aux échecs que "le modèle de Google a, pendant un temps, tout simplement refusé d’y jouer lorsqu’on lui demandait", souligne Marius Lindauer, spécialiste de l’Intelligence artificielle à l’Université Gottfried-Wilhelm-Leibniz de Hanovre, qui a travaillé sur l’IA et le jeu de go. 

Ces algorithmes peuvent d’ailleurs aller très loin dans le n’importe quoi. En mai dernier, lors d’un précédent match d’échecs entre ChatGPT et son rival français LeChat, les deux machines n’avaient pas hésité à faire des coups illégaux comme ajouter des pièces qui n’existaient pas ou faire des déplacements "abracadabrantesques".

Des "hallucinations" échiquéennes en grande partie absentes de la première journée du tournoi organisé par Deepmind. "C’est même étonnant qu’il n’y ait pas eu davantage de coups illégaux", remarque Jean-Marc Alliot.

C’est même, pour lui, l’un des principaux mystères de ce début de tournoi. Comment en quelques mois, ces chatbots réussissent à ne plus s’affranchir avec autant de facilité des règles ? "En théorie, un coup illégal ne devrait pas leur sembler plus absurde qu’un coup valide", assure-t-il.

Marius Lindauer n’est pas loin de partager la même surprise. Il estime que tous ces géants de la tech derrière ces modèles de langage, échaudés par les railleries, ont peut-être décidé en amont de ce tournoi de gaver leur poulain de parties d’échecs. "À force de leur montrer des coups et des positions, ils ont peut-être fait en sorte que la probabilité que ces modèles de langage optent pour un coup valide plutôt qu’un autre illégal augmente", estime Marius Lindauer.

Mesurer quelle intelligence ?

Mais pourquoi se donner tant de mal ? Les échecs peuvent-ils permettre de mesurer "l’intelligence" de ces algorithmes, comme le suggèrent les responsables de Deepmind ? 

Sur ce point, les avis divergent parmi les experts interrogés par France 24. "Tout ça c’est essentiellement de la com’. Je n’ai pas besoin qu’un modèle de langage sache jouer aux échecs, je veux qu’il soit fiable dans ce que je peux lui demander d’écrire du code [informatique, NDLR] par exemple", résume Jean-Marc Alliot.

"La vainqueur de ce tournoi démontrera, à la limite, qu’il est plus ‘intelligent’ aux échecs, mais c’est tout", ajoute Anthony Cohn. "L’intelligence a plusieurs facettes, ce n’est pas que le type de logique nécessaire aux échecs qui permet de l’évaluer. Ce jeu ne dit rien sur la compréhension naturelle du langage, la vision robotique et d’autres éléments", ajoute ce spécialiste.

Plus nuancé, Markus Lindauer affirme que les modèles de langage "ont toujours eu l’ambition d’être un peu touche-à-tout". En plus de deux ans d’existence, les ChatGPT et consorts ont convaincu le monde qu’ils savaient discuter en ligne… La prochaine grande étape "est de donner l’impression qu’ils savent raisonner [pour des exercices mathématiques, pour organiser des tâches en plusieurs étapes, etc.], et à ce titre, les échecs peuvent être un bon test", estime Markus Lindauer.

Pour l’instant, le début de ce tournoi, a démontré que ce n’est pas encore très convaincant. Jean-Marc Alliot soupçonne cependant que ces parties "servent à Sam Altman [patron d’OpenAI] et aux autres à continuer à faire croire que leurs IA peuvent devenir des ‘intelligences artificielles générales’".

Autrement dit, les échecs seraient une étape sur le chemin des IA capables de faire tout ce que l’être humain peut faire. Et même si Jean-Marc Alliot et d’autres pensent que c’est une illusion, "il n’en demeure pas moins que les échecs permettent à ces entreprises d’identifier quelles sont les failles de leurs algorithmes pour l’améliorer et ajouter une corde à leurs arcs et ainsi se rapprocher de ce que pourrait être une intelligence artificielle générale", souligne Tristan Cazenave.

La prochaine étape ? Pour Markus Lindauer, ce pourrait être le jeu de go, "car la complexité des coups à prévoir est encore plus importante qu’aux échecs". Deepmind a d’ailleurs annoncé qu’il y aura d’autres tournois, avec d’autres jeux.