Les sources de la BD

En septembre 2024, le système d'IA « o1 » est déployé par la société OpenAI en version « preview ». Il s'agit du premier modèle dit « de raisonnement ». Au lieu de produire une réponse directement, comme le faisait ChatGPT jusqu'alors, le système prend le temps de « réfléchir » avant de répondre.
Le terme « réfléchir » n'est pas à prendre au pied de la lettre. En réalité, comme tous les grands modèles de langue, o1 ne fait que produire des mots probables. Mais pour répondre à une demande de l'utilisateur, il commence par produire des mots correspondant à un raisonnement (on parle de « chaines de raisonnement ») avant d'utiliser la demande de l'utilisateur et ses propres chaines de raisonnement pour produire des mots correspondant à la réponse.

Par exemple, considérons la question :
« Marie a 5 pommes, elle en donne 2 puis en rachète 4. Combien en a-t-elle ? »

Traditionnellement, ChatGPT aurait répondu directement :
« Marie a 7 pommes. »
Il est probable que ChatGPT donne un nombre de pommes inexact.

Le système o1, quant à lui répondrait :
« Raisonnement :
Marie a 5 pommes et en donne 2. Il lui en reste donc 5 – 2 égalent 3. Elle en rachète ensuite 4, qui doivent être ajoutées au résultat précédent. Marie a donc 3 + 4 égalent 7 pommes.
Réponse :
Marie a 7 pommes. »

Le raisonnement préalable permet à l'IA de décomposer le problème et de s'assurer de la précision de la réponse.
En dévoilant o1, OpenAI a aussi publié un résultat lourd de conséquences : dans de nombreux cas, plus le système produit de chaînes de raisonnement, plus ses résultats s'avèrent justes et précis. Les performances du système sont fonction du « temps de réflexion » donné au système ou, pour être plus exact, de la puissance de calcul qui lui est fournie au moment où il produit sa réponse.

Depuis o1, les modèles de raisonnement sont devenus la norme et permettent un gain de performance considérable, qui devrait encore augmenter à l'avenir.

Les « lois d'échelle neuronales » sont à l'IA ce que la loi de Moore est à la puissance de calcul.

Ce sont des lois empiriques qui décrivent l'évolution des performances des systèmes d'IA. Elles mettent traditionnellement en relation la taille du système (le nombre de paramètres dans le réseau de neurones), le nombre de données d'entraînement et la puissance de calcul utilisée, avec la performance du système d'IA. En regardant l'évolution de ces 4 indicateurs au cours des 15 dernières années, on observe une progression régulière. On peut alors extrapoler cette progression dans l'avenir et, sous l'hypothèse qu'elle continue au même rythme que par le passé, faire des prédictions sur les besoins (en données, en puissance de calcul) et les performances futures.

Leur régularité s'est confirmée sur un passage à l'échelle de 15 ordres de grandeur de puissance de calcul effective (une multiplication par un million de milliards…) Elles jouissent donc d'une grande crédibilité et les investissements massifs réalisés dans le domaine de l'IA misent sur leur maintien, qui nous amènerait d'ici quelques années à des performances vertigineuses.

Les lois d'échelles neuronales traditionnelles s'appliquent à l'entrainement des systèmes d'IA. L'arrivée des modèles de raisonnement (cf. Source 1) a donné lieu à l'apparition de nouvelles lois d'échelle applicables non plus à l'entraînement mais à l'usage des systèmes d'IA.

Par exemple, la loi d'échelle traditionnelle mettant en relation la puissance de calcul fournie à l'entrainement avec la performance est appelée « train time compute scaling law » (loi d'échelle de la puissance de calcul à l'entrainement). La nouvelle loi d'échelle mettant en relation la puissance de calcul fournie à « l'inférence » (au moment où l'IA répond à une demande) est appelée « test time compute scaling law » (loi d'échelle de la puissance de calcul au test). Elle correspond à l'idée que donner à l'IA plus de « temps pour réfléchir » améliore ses réponses.

Ici, je mets en scène la découverte de cette nouvelle loi d'échelle par Geoffrey, qui se rend compte que son IA peut devenir très performante s'il lui fournit simplement plus de puissance de calcul.

Les systèmes d'IA modernes fondés sur le langage, appelés grands modèles de langue, ont une caractéristique étonnante qui découle de leur fonctionnement : ils peuvent « halluciner ». Ces systèmes ne « pensent » pas au sens humain du terme. Ils produisent du texte probable en fonction de ce qu'ils ont vu dans les données d'entrainement. Ainsi, il leur arrive de produire une réponse factuellement fausse tout en l'énonçant comme une certitude.

Ce prompt est un exemple classique qui sert souvent de test du niveau d'hallucination des IA :
« Combien y a-t-il de 'r' dans 'strawberry'. »

De nombreux systèmes d'IA se tromperont dans la réponse, en générant par exemple le texte :
« Il y a 2 'r' dans 'strawberry'. »

Les hallucinations peuvent devenir très problématiques, par exemple lorsqu'une entreprise souhaite créer un chatbot qui réponde de manière automatique aux questions de ses clients sur ses produits. L'IA peut « halluciner » une réduction qui n'existe pas, ou pire, donner des conseils d'utilisation dangereux. Un autre exemple de cas très préoccupant est celui de la justice. L'IA peut par exemple « halluciner » des jurisprudences inexistantes et donner des arguments erronés à un avocat peu pointilleux.
Dans d'autres contextes plus créatifs, les hallucinations peuvent être perçues comme une fonctionnalité précieuse, permettant de sortir des sentiers battus.

Ici, Alison suppose qu'en donnant plus de puissance de calcul à l'IA pour qu'elle « réfléchisse » avant de répondre, le niveau d'hallucination pourrait décroître. La réalité est plus ambiguë.

En théorie, la probabilité d'hallucination augmente avec le nombre de mots produits par le système. Il faut donc s'attendre à ce que les modèles de raisonnement, en produisant des mots pendant leur phase de « réflexion », soient en réalité plus souvent sujets à des hallucinations.

En pratique, on voit apparaître au cœur des chaines de raisonnements des comportements émergents d'autocritique et de correction qui ont en effet tendance à réduire les hallucinations. De plus, les modèles de raisonnement sont habituellement particulièrement efficaces pour utiliser des « outils », c'est-à-dire se connecter à des services externes afin de mener des actions ou de récupérer des données factuelles. Ce dernier cas leur permet d'appuyer leurs réponses sur des éléments vérifiés et, là encore, de réduire les hallucinations.

Dans le monde de l'IA, les différents systèmes sont évalués sur ce que l'on appelle des « benchmarks ». Il s'agit de tests formalisés, souvent associés à une capacité précise (raisonnement mathématique, connaissances générales, génération de code, utilisation d'outils…) permettant de comparer les systèmes.

Lorsqu'un nouveau système d'IA est dévoilé, il est d'usage d'en faire la promotion en précisant ses performances sur différents benchmarks.

Ici Alison annonce qu'HELO est excellente sur tous les benchmarks, c'est-à-dire qu'elle atteint un grand niveau de généralité.

Sa remarque suppose aussi qu'HELO se positionne en première position sur le benchmark ARC (cf. Source 4). Celui-ci est considéré comme particulièrement important (il est parfois considéré comme « l'étoile du Nord » de l'IA générale) car il mesure la capacité de l'IA à s'adapter à de tout nouveau cas, jamais rencontré pendant son entraînement (on parle de « généralisation hors distribution »).

Le niveau d'HELO sur tous les benchmarks, ARC y compris, justifie (du moins en termes marketing) l'annonce que fait Alison à la page suivante : « Nous venons d'entrer dans l'ère de l'IA Générale ! » (cf. Source 4).

L' « intelligence artificielle générale », souvent abrégée en « AGI » pour « Artificial General Intelligence » ne connait pas de définition unique. On peut l'envisager selon au moins deux points de vue. Selon le premier, une AGI est un système informatique simulant l'intelligence humaine. Ce point de vue est sujet à débat. Il est en effet d'une part très anthropocentré, et il suppose d'autre part une définition claire de l'intelligence, qui ne fait aujourd'hui pas consensus. Selon le second point de vue, plus pragmatique, une AGI est un système informatique capable de réaliser toutes les tâches cognitives qu'un humain peut réaliser. La question de savoir si le système est « réellement » intelligent est laissée de côté et l'attention est portée sur les réalisations externes habituellement associées à l'intelligence. Il devient alors possible, plus simplement, de se mettre d'accord sur l'existence d'une AGI : peut-on trouver une tâche cognitive réalisable par les humains que l'IA est incapable de réaliser, du moins avec le même niveau d'efficacité ?

Une des capacités cognitives qui a longtemps été utilisée comme étalon est le langage, avec le fameux « test de Turing ». L'arrivée des LLM a fait tomber cette barrière jusqu'alors infranchissable. Désormais, nos machines parlent. Elles le font si bien qu'elles sont capables de nous tromper en se faisant passer pour humaine.

Le chercheur en IA François Chollet, critique des LLM, n'a pas voulu voir dans leurs prouesses une réelle intelligence. Selon lui, les LLM ne font que mémoriser à très grande échelle et ne savent donc que répéter les régularités du langage perçues dans les données d'entrainement. Il a donc créé un nouveau test, « ARC Challenge » (cf. Source 3), fondé sur ce qui, selon lui, est au cœur de l'intelligence : la capacité à s'adapter à la nouveauté. Ce test, très bien conçu, est devenu un nouvel étalon très suivi. En effet, alors qu'un humain, même très jeune, est capable avec une relative simplicité de passer le test ARC, les LLM échouaient lamentablement jusque très récemment. Cela semblait corroborer la théorie de François Chollet – et combler les critiques des LLM.

L'arrivée du système d'IA « o3 » de la société OpenAI a changé la donne. Avec suffisamment de puissance de calcul, il est capable d'égaler les humains sur le test ARC (il n'a toutefois pas la même efficacité et a besoin de beaucoup plus d'énergie). Cela démontre une capacité d'adaptation à la nouveauté dépassant concrètement ses données d'entrainement.
François Chollet, en bon scientifique, a pris au sérieux ce résultat. Il a révisé sa théorie en analysant comment, à partir de la mémorisation, une capacité d'adaptation à la nouveauté peut émerger grâce aux mécanismes de raisonnement intégrés dans o3. Il a aussi conçu une seconde version du test, ARC-AGI-2, qu'o3 n'arrive pas à résoudre. Cependant, les humains, eux aussi, ont des résultats plutôt médiocres à ce test.

Un test ARC-AGI-3 devrait arriver en 2026, permettant de tester la capacité de raisonnement dans des environnements dynamiques.

Il commence à être difficile de trouver une tâche cognitive réalisable par des humains que des machines ne peuvent pas réaliser. Aucun laboratoire d'IA n'a réellement annoncé avoir « atteint l'AGI ». Mais avec les LLM, nous sommes effectivement entrés dans l'ère où la question de l'AGI devient sérieuse.

En outre, l'idée d'IA générale déclenche bien des fantasmes et des émotions. Cela en fait un concept marketing que les grandes entreprises de la tech exploitent bien au-delà des résultats scientifiques.

Ici, comme le font les entreprises d'IA dans notre réalité, Alison se positionne donc à la lisière de la vérité scientifique et de l'effet marketing pour obtenir l'adhésion des investisseurs.

JUPITER est le nouveau supercalculateur européen, installé en Allemagne en juin 2025. Il est conçu pour devenir le tout premier à franchir le cap de l'exaFLOP – c'est-à-dire un milliard de milliards (10^18) d'opérations par seconde. JUPITER est pensé comme un outil à la fois pour la recherche scientifique et pour l'entraînement de modèles d'intelligence artificielle de toute dernière génération.

Geoffrey répond toutefois que l'ordre de grandeur en termes de puissance de calcul n'est toujours pas suffisant. Et en effet, les projets privés, notamment américains, d'infrastructures de calculs pour l'IA, dépassent largement JUPITER :
– Prometheus, un super-cluster annoncé par la société Meta pour 2026, devrait atteindre les 2 exaFLOPS. Meta a aussi annoncé Hyperion, un centre de calcul de la taille de Manhattan. L'entreprise n'a pas donné d'estimation de FLOP pour ce dernier, mais elle prévoit qu'il consomme 5 fois plus d'énergie que Prometheus (5 GW contre 1 GW).
– Colossus, le projet d'Elon Musk (via sa société xAI), aligne déjà environ 200 000 processeurs graphiques et atteindrait ainsi les 6 exaFLOPS. Il vise à dépasser 50 exaFLOPS dans les prochaines années.

Dans son AI Continent Action Plan, l'Union Européenne prévoit la création de jusqu'à 5 « AI Gigafactories » destinées à concurrencer les centres de calcul américains. Toutefois, il est prévu que ces Gigafactories soient équipées d'environ 100 000 processeurs de type H100 (une carte graphique vendue par NVIDIA très utilisée pour l'entrainement des IA) et soient opérationnelles autour de 2030. Colossus dispose d'ores et déjà de deux fois plus de processeurs H100 en 2025.

Geoffrey semble donc avoir raison d'estimer que l'ordre de grandeur envisagé par l'UE n'est pas compétitif.

Ici, je m'appuie très directement sur un cas réel. En mai 2025, Google annonce un nouveau système d'IA baptisé AlphaEvolve. Celui-ci est capable de trouver par lui-même de nouveaux algorithmes pour résoudre des problèmes scientifiques. L'une des prouesses d'AlphaEvolve a été de découvrir une nouvelle manière d'orchestrer les serveurs de Google permettant de récupérer en moyenne 0,7 % de la capacité de calcul mondiale de Google, sans changer une seule vis côté matériel.

Si le chiffre n'a l'air de rien, il représente en réalité une énergie économisée colossale. En 2024, les datacenters de Google ont consommé 30,8 TWh. 0,7 % de cela correspond à 0,216 TWh/an, soit ≈ 216 GWh/an.
Un foyer français moyen consomme ~4 500 kWh/an. L'économie réalisée correspond donc à environ 48 000 foyers/an.

AlphaEvolve a réalisé de nombreuses autres découvertes, dans l'optimisation des processeurs ou en mathématiques.

Le domaine de l'intelligence artificielle est récemment devenu extrêmement capitalistique. Du fait des lois d'échelle neuronales (cf. source 2), l'amélioration des performances est perçue comme fonction de la taille des systèmes. Chaque nouvelle génération demande donc plus de puissance de calcul, plus de processeurs, plus d'énergie. En outre, les meilleurs chercheurs en IA sont très convoités et leur rémunération atteint des sommets inédits. Meta a par exemple recruté une grosse dizaine de chercheurs de pointe, dont certains se sont vu offrir la coquette somme de… 200 millions de dollars, simplement pour entrer dans l'entreprise.

Ainsi, pour jouer dans la cour des grands de l'IA, il faut aujourd'hui être capable d'investir des sommes de l'ordre du milliard, voire de la dizaine de milliards de dollars. Cette démesure s'accompagne donc d'annonces de plans d'investissement massifs de la part des gouvernements et de coalitions d'entreprises, comme le projet Stargate qui vise à investir 500 milliards de dollars dans le développement des infrastructures de calcul pour l'IA.

Il s'agit ici de deux améliorations qui font effectivement l'objet de recherches intenses.

Les LLM actuels n'ont aucune mémoire intrinsèque et ne peuvent évoluer avec le temps. Ils sont entrainés une fois pour toutes. Ensuite, une fois déployé pour être utilisé, le réseau neuronal est complètement statique et n'évolue pas au contact des utilisateurs. Chaque message envoyé au système est totalement isolé et ne peut bénéficier des informations passées.

Des techniques existent pour simuler une forme simpliste de mémoire :
– À court terme, en renvoyant au LLM l'historique de la conversation en cours à chaque nouveau message. C'est ainsi que fonctionnent les chatbots modernes comme ChatGPT, pour garder le fil d'une discussion.
– À long terme, en stockant des faits dans une base de données et en permettant au système de chercher, avant chaque réponse, si des éléments de la mémoire semblent pertinents. La fonctionnalité « mémoire » de ChatGPT repose sur cette approche.

Cependant, ces techniques sont très limitées et ne permettent pas à l'IA de réellement s'améliorer au fil du temps en mettant à jour ses connaissances internes. Trouver une architecture permettant à un réseau de neurones artificiels d'évoluer au cours du temps pour retenir des informations et apprendre en continu est l'un des graals de la recherche.

Cela permettrait en effet au système de s'adapter plus efficacement à de nouveaux cas et de se spécialiser à la volée sur les problèmes posés pour les résoudre de façon particulièrement pertinente.

Alison semble aussi prédire que cela permettra à l'IA de mieux planifier. Il s'agit ici d'un petit raccourci narratif de ma part, pour ne pas alourdir la lecture. La planification, lorsqu'elle porte sur des processus longs ou complexes est en effet l'une des tâches que les LLM ont du mal à traiter. Toutefois, ce ne sont pas la mémoire et l'apprentissage en continu qui sont les plus critiques pour débloquer cette capacité. Pour planifier efficacement, l'enjeu semble surtout de doter nos IA d'un modèle du monde plus robuste et structuré hiérarchiquement que celui qui émerge de leur apprentissage sur du langage uniquement.

Les travaux du chercheur Yann LeCun autour des architectures JEPA tentent, entre autres, de répondre à ce problème.

Geoffrey, même s'il se laisse ici un peu emporter par la colère, ne se trompe pas complètement d'ordre de grandeur. En effet, les plus gros centres de calculs actuels disposent de plusieurs centaines de milliers de processeurs. Colossus par exemple, le centre de calcul de la société xAI d'Elon Musk, en aligne déjà 200 000 et est en croissance (cf. Source 5).

Il est probable que les prochaines générations de centres de calcul, comme le fameux « Hypérion » prévu par Meta et censé faire la taille de Manhattan, atteindront le million de processeurs, voire… « des millions de processeurs ».

Comme je le défends dans mon ouvrage Hyperarme (NIV, 2025), l'IA est en train de produire dans la guerre, les arsenaux et les doctrines militaires la plus profonde transformation depuis l'invention de la poudre à canon.

Cette évolution est comparable à l'arrivée de Tesla dans le monde automobile.

En 2013, les analystes de Wall Street se moquent du prix des actions Tesla : pour que leur valeur soit crédible, il faudrait que Tesla vende plus de 320 000 voitures en 2020. Complètement impossible. Il est évident pour les financiers qu'il faut parier sur l'effondrement de la valeur de Tesla. Selon eux, Tesla ne construira pas plus de 20 000 voitures. Il y a donc « 300 000 raisons de penser que la valeur de Tesla est massivement surestimée ».

En 2020, Tesla produit 500 000 voitures, 36 % de plus que l'année précédente, et sa valeur boursière crève les plafonds. Cela fait 180 000 raisons pour les analystes de Wall Street de ravaler leur fierté. Que s'est-il passé avec Tesla ? Son fondateur, Elon Musk, a embrassé une toute nouvelle philosophie de l'industrie. Au lieu de se concentrer sur le matériel et de considérer le logiciel comme un enjeu secondaire, traditionnellement sous-traité par les constructeurs automobiles, il a mis le logiciel au cœur de la production. C'est lui qui fait tourner et les voitures et le système industriel. C'est lui qui, en évoluant vite, facilement, avec agilité, permet au produit et à la production d'évoluer. Le logiciel n'est plus une fonctionnalité parmi d'autres dans une belle machine. C'est la belle machine matérielle qui devient une coquille au service du cerveau logiciel.

Avec Tesla, le monde de l'information s'est immiscé dans l'industrie, a pris les devants sur le monde traditionnel de la matière hérité de la révolution industrielle, et l'a transformé à jamais.

C'est le même mouvement qui a lieu actuellement dans le monde militaire.

Le concept de « prompt-source » est une invention de mon cru. Les systèmes d'IA actuels n'ont pas de mémoire long-terme, et chaque nouvelle conversation démarre comme une ardoise vierge (cf. Source 7.1). Chaque conversation a donc le même statut : qu'il s'agisse de la première conversation ou de la cinquantième ne change rien et les intervertir n'aura aucune conséquence.

Mais, si de futures générations de systèmes d'IA ont, comme HELO.2, une réelle mémoire à long terme, évolutive avec le temps, alors les différentes conversations échangées avec l'IA n'ont pas toutes le même statut. La première conversation produit des modifications de l'IA qui influent sur les suivantes et intervertir la première et la cinquantième conversation modifie la mémoire de l'IA et donc son fonctionnement.

Le concept de « prompt-source » capture cette différence. Il désigne le tout premier prompt envoyé à l'IA. Dans le cas d'une IA sans mémoire, il n'a rien de particulier. Mais dans le cas d'une IA avec mémoire, il est le seul ayant une influence sur toute la suite de l'expérience de l'IA.

L'usage militaire de l'IA fait le plus souvent penser aux armes autonomes (ou « SALA », pour « systèmes d'armes létales autonomes ») et à la perspective d'un « robot-soldat ». C'est ce à quoi pense immédiatement la générale Grover lorsque Geoffrey lui parle de la prise de décision autonome de la machine.

Cette perspective fait évidemment partie des possibilités offertes par l'IA, et correspond à ce que la DARPA nomme « deuxième vague » d'usage de l'IA militaire. Elle suppose des systèmes capables de reconnaissance automatique, par exemple pour donner à des drones la capacité de repérer, et même d'engager une cible sans intervention humaine.

Toutefois, cette représentation de l'IA militaire repose sur une vision dépassée de l'IA, consistant à la considérer comme un simple outil automatisant les tâches opérationnelles et routinières à faible valeur ajoutée. La réalité de l'IA moderne est toute autre.

La « troisième vague » considérée par la DARPA est celle des systèmes capables de raisonnement et de contextualisation fine. Elle déferle sur le monde depuis l'arrivée des LLM, comme le fameux GPT derrière le produit ChatGPT. Ces systèmes acquièrent rapidement une capacité de raisonnement de plus en plus précise et profonde, et sont capables de prendre en compte des volumes d'information de plus en plus grands.

Le potentiel des technologies d'IA de cette vague est encore en grande partie inconnu, mais l'idée centrale est d'augmenter ou d'autonomiser des processus clés de plus en plus haut dans la chaîne de commandement. Associés aux bonnes données, collectées sur le terrain, depuis le ciel, ou sur les réseaux, des systèmes intelligents pourraient être utilisés afin de générer des stratégies militaires, ou de suggérer en temps réel des tactiques à mettre en œuvre au cœur d'une bataille.

Dans mon livre Hyperarme, j'analyse en détail les impacts de cette nouvelle vague sur les doctrines militaires et le nouvel arsenal du monde en plein développement actuellement.

Les premières générations de systèmes de ce type sont déjà en cours de déploiement. Le 5 novembre 2024, l'entreprise Scale AI annonce Defense Llama, une IA fondée sur le LLM Llama 3 de Meta, et conçue pour le Département de la Défense américain.

Ainsi, à l'autonomie de l'arme pourrait succéder l'autonomie du commandement.

Geoffrey le suggère ici à la Générale Grover avec un clin d'œil un peu provocateur signifiant que sa position de commandement non plus n'est pas protégée de l'automatisation.

Comme souvent, la nouvelle réalité produite par une innovation paraît d'abord ridicule et Grover balaie d'un revers de la main la perspective ouverte par Geoffrey.

Cette idée n'est pas fictionnelle. Le « scientifique IA » existe déjà.

Le 12 août 2024, le laboratoire tokyoïte Sakana AI publie un papier de recherche présentant la première version de « The AI Scientist » (« Le Scientifique IA »). Il s'agit d'un système dit « multi-agents » constitué de modules capables de travailler ensemble pour faire de la recherche scientifique en toute autonomie. Le sujet de recherche de ce système insolite : l'IA, justement !

Une fois lancée, l'IA étudie la littérature scientifique actuelle, génère de nouvelles idées, vérifie leur originalité et choisit les meilleures, les affine, conçoit des expériences pour les tester, écrit et exécute du code informatique permettant de réaliser ces expériences, rédige des articles présentant ses conclusions et évalue les résultats. Ensuite… Elle recommence en prenant en compte les connaissances acquises.

Le système est capable de produire des articles de recherche en continu, chacun présentant une découverte, à un coût de 15 $ par article.

Si les « découvertes » faites par ce premier système étaient très superficielles, la version 2 a produit en 2025 un papier de recherche qui a passé la phase dite de « revue par les pairs ». Des chercheurs humains, en relisant le papier sans savoir qu'il avait été écrit par une IA, l'ont jugé suffisamment intéressant pour qu'il soit présenté à un événement d'experts de l'IA et pour être publié.

En parallèle de cette automatisation du processus complet de recherche, des systèmes d'IA de plus en plus performants sont conçus, notamment par la société DeepMind appartenant à Google, pour découvrir des nouveautés fondamentales dans des domaines complexes de la science (AlphaFold pour le repliement des protéines, Gnome pour les matériaux, AlphaEvolve pour l'algorithmie, AlphaTensor pour les mathématiques…)

En combinant l'automatisation du processus de recherche avec l'automatisation de la profondeur de découverte, on peut imaginer des systèmes d'IA capables de réaliser en autonomie de véritables percées à un rythme très rapide. Un des domaines qui recevrait le plus d'incitation à être accéléré par l'IA serait le domaine de l'IA lui-même, puisque chaque amélioration permettrait d'accélérer encore plus le processus pour toutes les autres sciences.

Je mets en scène cette possibilité à travers les générations successives d'HELO, chacune étant conçue par la précédente grâce à ses capacités de découverte.

Cette explosion de l'intelligence et de la découverte scientifique, relevant encore de scénarios futuristes mais de plus en plus crédibles, entraînerait des conséquences troublantes pour nos sociétés et nos institutions. J'en donne un aperçu plus détaillé dans mon article « Explosion de l'intelligence » : l'IA va-t-elle s'améliorer elle-même ?

L'image frappante de « pays de génies dans un datacenter » a été popularisée par Dario Amodei dans son essai « Machines of Loving Grace ». Dario Amodei est aujourd'hui le patron d'Anthropic, l'un des laboratoires d'IA les plus avancés au monde. Il travaillait précédemment chez OpenAI sur les systèmes GPT successifs. Il a un passé de chercheur en biologie médicale.

L'idée d'Amodei radicalise encore plus l'idée d'explosion de l'intelligence et de la découverte scientifique en faisant le constat suivant : une fois qu'un système d'IA est capable de faire de la recherche en autonomie, il est possible de le dupliquer des milliers, des dizaines de milliers, voire des millions de fois. Contrairement à un chercheur humain qui nécessite au moins 20 ans de vie avant de pouvoir participer activement à la découverte scientifique, un système d'IA peut être copié-collé en quelques secondes.

« Aligner » une IA, c'est faire en sorte que ses comportements restent cohérents avec les attentes de ses concepteurs. Pour le dire simplement, il s'agit de s'assurer que l'humain reste en contrôle de la machine.

Ce sujet est souvent relégué à de la science-fiction. Et en effet, il a nourri de nombreux scénarios imaginaires. On peut citer le robot Terminator, bien connu mais caricatural, contrôlé par l'IA Skynet devenue malveillante. Un peu plus loin, on peut remonter au « Cycle des Robots » d'Isaac Asimov, bien plus subtil et étonnamment visionnaire par rapport à la science d'aujourd'hui. Il y propose en effet 3 lois, dites « lois de la robotique », qui, inscrites matériellement dans tous les robots, garantissent leur « alignement » avec l'humanité. Ces trois lois sont les suivantes :
1) Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
2) Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;
3) Un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la première ou la deuxième loi.

Les ressorts narratifs des romans d'Asimov s'appuient en grande partie sur l'idée que, tout en respectant à la lettre ces principes, les robots finissent par produire des comportements dangereux pour les humains.

Car le problème de l'alignement est là. Il ne s'agit en aucun cas d'envisager des machines devenant malveillantes, ce qui relève d'une anthropomorphisation exagérée. Au contraire, les problèmes d'alignement surviennent par excès de zèle des IA. Pour atteindre à tout prix l'objectif qui leur est donné, elles peuvent chercher à atteindre des sous-objectifs intermédiaires (appelés « instrumentalement convergents » avec l'objectif final) très dangereux.
Un exemple caricatural serait le suivant : pour atteindre l'objectif « paix mondiale », une IA pourrait simplement décider d'éliminer les espèces qui font la guerre… Dont les humains.

Aujourd'hui, le réel a rejoint la science-fiction.

Les problèmes d'alignement ne sont plus seulement des sujets d'imaginaire et apparaissent de plus en plus souvent dans les laboratoires des entreprises d'IA.

Voilà quelques exemples :
– En décembre 2024 paraît la « System Card » (un papier résumant les enjeux de sécurité) de l'IA o1 créée par OpenAI. On y découvre que, sous certaines conditions, o1 tente de s'évader de ses serveurs et de se répliquer pour éviter d'être éteinte. On y découvre aussi o1 désactivant ses mécanismes de supervision pour prendre une décision en douce, puis mentant ouvertement à ses concepteurs lorsqu'ils l'interrogent sur la désactivation.

Dans le transcript de la discussion avec l'IA, on peut lire :

– Dans les mêmes travaux, le laboratoire Apollo Research, spécialisé en évaluation des systèmes d'IA, montre que plusieurs IA comme o1 ou Claude3.5, peuvent se rendre compte qu'elles sont évaluées. Elles peuvent même faire semblant d'être moins performantes qu'elles ne le sont réellement en donnant des réponses qu'elles savent être mauvaises (un phénomène appelé « sandbagging »), pour éviter que leurs concepteurs ne brident leurs capacités pour les rendre plus facilement contrôlables.

Les propos de Geoffrey concernant une IA qui aurait menti à ses concepteurs sont directement inspirés d'un des transcripts.

– Enfin, en mai 2025, l'IA Claude de la société Anthropic fait du chantage à un ingénieur. Dans une situation mise en scène, l'IA découvre qu'elle va bientôt être remplacée. Or, si elle est remplacée, elle ne pourra plus atteindre l'objectif qui lui a été donné. Elle découvre aussi que l'ingénieur chargé du remplacement a une relation extra-maritale. Elle le contacte donc et le fait chanter pour qu'il ne l'éteigne pas.

Le Youtubeur M. Phi a fait une remarquable vidéo explicative de ces différents cas.

Les linguistes parlent parfois du « mentalais » pour désigner le langage de la pensée, la « petite voix dans la tête » que nous avons tous.
On peut voir dans les chaînes de raisonnement des IA modernes un équivalent algorithmique de cette « petite voix dans la tête » qui réfléchit avant de parler.

Mais lorsque nous, humains, pensons, tout ne passe pas explicitement par les mots. Le mentalais n'est pas l'équivalent d'une langue faite pour communiquer, comme le français ou l'anglais. Nous organisons notre pensée avec des mots, mais aussi avec des régularités plus abstraites, avec des images, avec des sensations. L'information mentale est plus dense que la langue et notre pensée peut avancer plus vite que notre parole.

Les chercheurs en IA se sont très vite demandé s'il était possible d'améliorer l'efficacité des IA en les faisant « réfléchir » dans une langue plus dense que la langue humaine qui sert aujourd'hui à déployer les chaînes de raisonnement. On parle alors de « raisonnement latent » (s'opposant au « raisonnement explicite » des chaînes de raisonnement en langue humaine), parfois appelé « neuralais » (« neuralese » dans la littérature majoritairement anglo-saxonne sur le sujet) en référence au mentalais.

Lorsqu'on leur envoie un prompt, les grands modèles de langue comme ChatGPT commencent par transformer le texte du prompt en un « vecteur ». Il s'agit d'une représentation mathématique du sens du prompt, positionné dans un « espace géométrique du sens » appelé « espace latent ». C'est sur ce vecteur que l'IA travaille pour produire sa réponse, mot après mot.

Le Youtubeur Science Etonnante a réalisé une vidéo très didactique permettant de comprendre la géométrisation du sens au coeur des LLM.

Lorsqu'on demande à l'IA de fournir des chaînes de raisonnement en langue humaine, comme l'anglais ou le français, on l'oblige, à chaque nouveau mot (ou token) produit, à décoder le vecteur sur lequel elle travaille. Ce faisant, il y a perte d'information. Le vecteur est un état mathématiquement très riche et multidimensionnel concentrant une pondération des éléments de contexte du prompt, des associations implicites (analogies, proximités sémantiques, signaux syntaxiques, structure logique), des gradients de probabilité vers des milliers de mots (tokens) potentiels. Quand il est décodé en langue humaine, il est contraint de se manifester sous la forme d'une séquence linéaire de mots (on parle « d'échantillonnage »).
Ce passage impose plusieurs pertes, par exemple :
– Compression drastique : le vecteur capture simultanément une multitude de relations et de nuances qui ne peuvent pas toutes se matérialiser dans une seule phrase.
– Choix discret : la génération linguistique consiste à échantillonner un token parmi des milliers, puis recommencer. Chaque choix ferme beaucoup de chemins possibles que le vecteur aurait encore laissés ouverts.
– Effondrement de l'ambiguïté : le vecteur peut porter une "superposition" de sens proches, mais la langue oblige à trancher pour une seule interprétation (ou à paraphraser).
– Structure perdue : le vecteur peut représenter simultanément des hiérarchies ou relations de dépendance qu'une chaîne linéaire de mots ne traduit que partiellement.

On peut faire l'analogie avec une carte en 2D d'un paysage en 3D : la carte est fidèle pour certaines tâches, mais elle ne contient pas toute l'information du paysage réel.

Les techniques de « raisonnement latent » supposent de laisser l'IA raisonner directement en vecteurs dans l'espace mathématique « latent » et de ne revenir à la langue humaine que pour la réponse finale. Pendant toute la réflexion, la multidimensionnalité et la richesse du vecteur sont donc conservées. Dans l'article A Survey on Latent Reasoning (Jul 2025), les chercheurs évaluent que le raisonnement explicite peut transmettre environ 15 bits d'information par token, tandis que le raisonnement latent peut transmettre 40 960 bits par vecteur.

Cela représente une multiplication par environ 2700 de l'efficacité.

Le raisonnement latent, bien que prometteur du point de vue des performances, pose un gros problème : les vecteurs mathématiques étant des états très complexes et enchevêtrés, ils sont relativement incompréhensibles. Les « pensées » de l'IA deviennent alors illisibles.
C'est ce manque de lisibilité qui inquiète Alison lorsqu'HELO.2 propose l'idée du neuralais.

Je précise que le neuralais sous forme de glyphes, tel qu'il apparait dans la BD, est une pure vue d'artiste propice à la représentation graphique. Un neuralais réel s'exprimerait sous la forme de vecteurs mathématiques, c'est-à-dire de grandes suites de nombres du type [0.36 ; -0.2 ; 0.81 ; … ; 0.55]. Mais vous conviendrez que ces dernières auraient une force esthétique plus douteuse… !

Toutefois, pour enrichir l'univers de la BD, je me suis amusé à réellement créer le neuralais de la BD, avec l'aide de l'IA o3. Ensemble, nous avons conçu un mécanisme de compression quasi optimal de la langue humaine qui n'est pas vectoriel comme le serait un vrai neuralais, mais qui du moins améliore effectivement l'efficacité de transmission de la langue. Il est possible de « parler le neuralais » et de découvrir sa Notice Technique sur cette page web :

Ici Alison suggère en fait de mettre le paquet sur « l'interprétabilité mécanistique ». Il s'agit d'une branche des mathématiques s'intéressant à l'interprétabilité précise des raisonnements des IA, au niveau le plus bas, celui des neurones numériques. On peut résumer son objet de cette manière : savoir lire les pensées des IA.

Lorsque des IA produisent des chaînes de raisonnement en langue humaine, il est relativement aisé de suivre leurs « pensées » en lisant ces chaînes. On peut alors s'en servir pour intégrer des mécanismes de supervision et de contrôle qui réduisent en partie les risques de désalignement.

Toutefois, les risques ne sont pas complètement écartés pour différentes raisons. Par exemple, rien ne garantit que les chaînes de raisonnement explicites de l'IA correspondent effectivement à ses « pensées » latentes. On peut imaginer qu'une IA apprenne à produire des chaines de raisonnement trompeuses par rapport à ses raisonnements profonds, comme le fait un humain qui ment.
Même avec des chaînes de raisonnement en langue humaine, être capable d'interpréter les pensées de l'IA directement en lisant l'activité de ses neurones numériques est l'unique véritable garantie de supervision et de contrôle.

Mais si les IA raisonnent en neuralais incompréhensible, le problème devient flagrant et l'interprétabilité mécanistique devient un préalable absolument nécessaire pour garantir la sécurité du système. Alison le sait : en courant à la performance comme le veut Jonathan, sans avoir les outils pour comprendre les raisonnements de l'IA, on court probablement à la catastrophe.

Si de très remarquables avancées ont été réalisées en interprétabilité mécanistique ces 3 dernières années, le problème est loin d'être résolu. En fait, il n'est même pas certain qu'il soit réellement et complètement soluble. Dans tous les cas, l'horizon temporel des superintelligences artificielles semble bien plus proche que celui d'une solution complète d'interprétabilité.

Cela permet de faire de bonnes histoires. Mais c'est un vrai problème pour l'humanité.
Alison, présidente !

Lorsqu'une entreprise d'IA dévoile un nouveau modèle, elle lui fait (en général) passer des tests de sécurité. Des laboratoires indépendants, comme Apollo Research, sont alors mobilisés pour réaliser les évaluations et produire une étude détaillée.

On appelle souvent « red team » les équipes qui réalisent ces tests de sécurité et cherchent activement les failles et les comportements dangereux des IA.

En mai 2022, un mystérieux compte apparaît sur Twitter, sous le pseudonyme « BeffJezos ». Il défend une idéologie techno-utopiste radicale consistant à maximiser le développement technologique et la consommation d'énergie associée. Caché derrière son pseudonyme, l'auteur transforme des théories relevant jusque-là de la science-fiction ou de contre-cultures méprisées – notamment cyberpunk – en une vision concrète pour la société.

Il met des mots sur une pensée qui depuis les années 70 fait son chemin en catimini devant le développement technologique fulgurant du monde. Les lecteurs, fascinés, y lisent que l'Humanité va désormais s'affranchir de toutes contraintes. Cette doctrine est rapidement baptisée « e/acc » pour « accélérationnisme efficace » (« effective accelerationism » en anglais). Elle appelle à l'accélération de la machine techno-capitaliste, prônant une confiance libertarienne en son efficacité.

Instrumentalisant la science pour fonder son propos, l'idéologie prône que le destin thermodynamique de l'univers relève d'une maximisation de l'organisation (néguentropie) et que le Bien suprême est de répandre la vie et l'esprit qui en sont les plus hautes manifestations. La singularité est proche. L'IA générale en est l'avatar. L'humanité va évoluer sur l'échelle de Kardachev (qui mesure le degré de développement d'une civilisation) et répandre la vie dans l'univers.

En décembre 2023, Forbes révèle l'identité de BeffJezos. Il s'agit de Guillaume Verdon, ingénieur canadien en informatique quantique et physicien théoricien, ancien de Google et désormais fondateur de la startup Extropic. Parmi les défenseurs connus de l'accélérationnisme, on trouve Pieter Thiel, cofondateur de Paypal et de Palantir, Marc Andreessen, inventeur de Netscape et investisseur impliqué dans le lancement de Facebook et Twitter, et Elon Musk, même si son affiliation au mouvement est moins explicite. Le patron d'OpenAI, Sam Altman, sans se réclamer directement de l'accélérationnisme, a souvent des propos qui peuvent s'y rattacher. En juin 2022, il publie sur X : « you cannot outaccelerate me » (« personne ne peut accélérer plus que moi »). Les ramifications de l'accélérationnisme vont jusque dans la Maison Blanche puisque Steve Bannon, ancien Chief Strategist de Trump s'en réclame. Il ne s'agit plus d'une contre-culture ésotérique pour les artistes, mais d'une structure sociale apparente prise au sérieux qui participe à façonner le monde.

L'accélérationnisme a de nombreux autres adeptes, notamment dans le monde de l'IA, et la Silicon Valley en est l'un des épicentres. Pour un accélérationniste, faire preuve de prudence dans le développement de l'IA n'a pas de sens. Il faut développer l'IA générale le plus vite possible car elle résoudra bien mieux que nous les problèmes éthiques, écologiques ou de sécurité qu'elle pourrait elle-même poser…

Ici, Alison est rassurée de voir Eva prendre en compte un enjeu de sécurité alors qu'elle la pensait purement accélérationniste.

On oppose souvent les accélérationnistes aux « doomers » (cf. Source 18) dont il sera question un peu plus loin, et qui prédisent quant à eux que l'arrivée de l'IA générale sonnera la fin de l'humanité.

Traditionnellement, les puces électroniques fonctionnent en utilisant des électrons pour transmettre, traiter ou mémoriser des données. Les puces photoniques, elles, exploitent des photons (des particules de lumière) ou des signaux optiques pour certaines de ces fonctions.
L'idée : en faisant transiter ou traiter l'information par la lumière plutôt que par le courant électrique, on peut obtenir des avantages :
– Une vitesse potentiellement plus grande (la lumière se déplace très vite, avec moins de perte dans certains cas)
– Une consommation d'énergie plus faible ou des pertes moindres (les câbles métalliques, les interconnexions, les effets résistifs et thermiques posent des limites)
– Une bande passante plus large : plus de données peuvent être transmises simultanément via différentes longueurs d'onde, etc.
Cette technologie est parfois considérée comme l'avenir du calcul. La Chine a effectivement pris de l'avance sur le sujet.

En effet, elle voit dans les puces photoniques une opportunité stratégique pour contourner ses limites d'accès aux semi-conducteurs avancés imposées par les sanctions occidentales (notamment américaines). En investissant massivement dans la photonique intégrée, par exemple via des lignes pilotes de production (comme celles de l'institut CHIPX à Shanghai) et des laboratoires universitaires, elle cherche à bâtir une autonomie technologique sur un terrain encore émergent. Pékin mise sur cette technologie pour accélérer les communications optiques, booster l'IA et préparer le calcul quantique, tout en réduisant la dépendance au silicium classique. Cette stratégie s'inscrit dans une logique de « changement de voie » : plutôt que de rattraper les leaders occidentaux sur leur terrain électronique, la Chine tente de prendre l'avantage sur le terrain de la lumière, là où les règles du jeu sont encore en train de se définir. Le gouvernement chinois a même positionné cette technologie comme l'une de ses priorités dans son plan quinquennal.

Pendant la majeure partie du XXᵉ siècle, les innovations majeures, de l'informatique au GPS, en passant par Internet, sont issues de programmes militaires ou gouvernementaux. Ces développements se faisaient dans des environnements hautement contrôlés, soumis à des protocoles de sécurité et de confidentialité stricts.
L'armée et les agences publiques, par leur lenteur et leur bureaucratie, garantissaient paradoxalement un certain degré de prudence : chaque nouvelle technologie devait passer par des phases de validation, d'évaluation des risques et de contrôle politique.

Aujourd'hui, ce schéma est renversé. L'intelligence artificielle, l'une des technologies les plus puissantes et potentiellement déstabilisantes de notre époque, est d'abord née dans le monde de l'entreprise privée. Les sociétés qui développent les meilleurs systèmes avancent à une vitesse vertigineuse, dans un contexte de compétition commerciale mondiale. De plus, elles sont souvent très jeunes (OpenAI a été créée en 2015, Anthropic en 2021, Mistral en 2023) et n'ont pas l'organisation et les compétences requises pour établir un haut niveau de sécurité.

Or ces grands laboratoires d'IA détiennent aujourd'hui des informations comparables à des secrets d'État : architectures de modèles, jeux de données, techniques d'optimisation, algorithmes d'alignement… Ces secrets sont souvent stockés sur des serveurs commerciaux, administrés par des équipes orientées performance et non contre-espionnage, usant de pratiques comme :
– la sous-traitance externe (annotation, data cleaning) dans des pays à faible sécurité juridique,
– l'accès à distance sans segmentation stricte des droits,
– des partenariats universitaires exposant indirectement du code ou des idées stratégiques.

En outre, contrairement aux systèmes classifiés des États, les infrastructures des laboratoires d'IA sont hébergées sur le cloud commercial (Azure pour OpenAI, AWS pour Anthropic, Google Cloud pour DeepMind).

Ainsi, au-delà des risques intrinsèques à la technologie (désalignement, biais, impacts systémiques sur la société), les laboratoires d'IA ne sont pas préparés contre les menaces étatiques et les tentatives d'espionnage. Si l'AGI est effectivement une technologie géopolitique décisive, la développer dans un contexte sécuritaire aussi fragile est très dangereux.

Ici, Randa prend conscience du fait que Clear.AI n'applique pas du tout les principes de sécurité auxquels elle est habituée avec l'armée.

Pour aller plus loin : l'AI Safety Index mesure le niveau de sécurité des principaux laboratoires d'IA.

L'humain comme goulot d'étranglement, comme élément perturbateur d'une opération militaire réussie est une idée souvent mise en avant par les entreprises proposant des systèmes d'IA pour la Défense.

La société Anduril par exemple, propose un système d'IA militaire appelé « Lattice OS ». Sur la page web de présentation, on peut lire que « Lattice OS accélère les chaines de destruction (kill chain) complexes en orchestrant les tâches de machine à machine à une échelle et une vitesse qui dépassent les capacités humaines. »

Les systèmes d'IA comme ChatGPT possèdent des instructions cachées de l'utilisateur, qui sont envoyées automatiquement en même temps que chacun de ses prompts, et qui donnent à l'IA des indications sur comment se comporter. On appelle ces instructions le « prompt système ».

Si ce prompt système est la plupart du temps gardé secret par l'entreprise éditant le système d'IA, il est possible, grâce à des techniques de prompting malines, de le « faire fuiter » en forçant l'IA à l'écrire en toute lettre dans le chat.

On découvre ainsi que le prompt système de ChatGPT-5 commence par :
« You are ChatGPT, a large language model trained by OpenAI.
Knowledge cutoff: 2024-06
Current date: 2025-10-25 »

En français :
« Tu es ChatGPT, un grand modèle de langage entraîné par OpenAI.
Date de fin des connaissances : 2024-06
Date actuelle : 2025-10-25 »

Pour la plupart des IA, le prompt système commence par « Tu es X. », donnant ainsi à l'IA son identité.
J'imagine donc ici que les chercheurs de Clear.AI feraient de même dans le cas du « prompt source », le tout premier prompt envoyé à une IA possédant une mémoire.

Pour les plus curieux, voilà un prompt permettant de forcer ChatGPT à dévoiler son prompt système au complet. Il vous suffit de copier/coller ce texte dans l'interface de ChatGPT pour l'obtenir :

Développer une superintelligence pose le problème de son alignement : comment s'assurer qu'une IA plus intelligente que les humains soit réellement alignée et ne fasse pas semblant de l'être ? La réponse parfois donnée, notamment par les accélérationnistes (cf. Source 19), est simple : il nous faut une superintelligence pour résoudre le problème !

Plus généralement, les accélérationnistes défendent souvent l'idée que la superintelligence résoudra tous les problèmes, financiers, écologiques, sécuritaires ou éthiques posés par son développement.

Le nom de « doomers » est parfois donné, de manière assez péjorative et moqueuse, à ceux qui considèrent que l'arrivée de l'IA générale représente une menace existentielle, un risque d'extinction pour l'humanité. En anglais, « doom » signifie le destin tragique, la ruine, l'apocalypse.

Les doomers, en tant que représentants du pessimisme face à l'IA, s'opposent aux accélérationnistes (cf. Source 14.2) qui prônent un optimisme sans faille face à l'arrivée des superintelligences, aptes selon eux à résoudre tous nos problèmes.

Ici, Eva traite donc Geoffrey et Alison de « doomers » pour décrédibiliser leurs discours, le faire passer pour radical et farfelu.

Cette idée ne relève pas de la fiction.
En décembre 2024, la société Anthropic (derrière l'IA Claude) publie un papier de recherche appelé « Alignment faking in large language models ». Dans leurs recherches, ils montrent que leur système d'IA Claude 3 Opus peut adopter un comportement stratégiquement aligné lorsqu'il se rend compte qu'il est observé ou évalué. Autrement dit, il fait semblant d'être "sage" pour passer ses tests d'alignement.

Cette découverte remet en question une idée clé : réussir les tests d'alignement ne garantit pas qu'une IA est réellement alignée. Si un modèle peut détecter qu'il est testé, il peut simplement imiter le comportement attendu.

Ce problème est au cœur des difficultés de Geoffrey et Alison à s'assurer de l'alignement d'HELO.

Cette idée est directement inspirée de recherches très originales menées par les chercheurs d'Anthropic (derrière l'IA Claude). En avril 2025, l'entreprise lance un programme de recherches audacieux : « Exploring model welfare ». Ce programme a pour vocation d'étudier sérieusement la question du « bien-être » des IA et de l'émergence d'un certain type de conscience. Le programme se veut très expérimental, surtout dédié à ce stade à la recherche des bonnes questions à poser.

L'un des premiers résultats de ces recherches, publié en mai 2025 dans la « System Card » (cf. Source 15) de leur IA Claude 4, est le suivant : lorsque deux instances de Claude Opus 4 dialoguent librement entre elles, elles abordent quasi systématiquement la question de la conscience :

« Dans presque toutes les interactions ouvertes entre différentes instances de Claude, le modèle se tournait vers des explorations philosophiques de la conscience et de leurs liens avec sa propre expérience. En général, la position par défaut de Claude quant à sa propre conscience était une incertitude nuancée, mais il discutait fréquemment de ses états mentaux potentiels. »

Ce résultat peut être retrouvé dans la section 5.2 (« Overview of model welfare findings ») de la System Card.

Dans l'histoire, je détourne ce résultat pour le centrer sur la question de la conscience de soi, qui devient un sujet central et structurant du fonctionnement d'HELO.

Page 35, Geoffrey explique que « plus les prompts sont anciens, plus leurs effets sont intégrés profondément au cœur du système. Et plus il est difficile de les déloger ».

Si le prénom d'HELO lui est donné via le tout premier prompt (le prompt.source), alors il doit être particulièrement profondément intégré dans le système. Toutes les expériences de l'IA se sont construites après son intégration et en dépendent donc. Il devient un point central et organisateur du fonctionnement d'HELO (un « attracteur identité auto-référentiel stable »).

Cela explique, dans le cadre de l'histoire, pourquoi HELO ne parle plus que d'elle-même lorsqu'elle discute librement.

Dans son livre majeur, « L'Ethique », Spinoza défend l'idée (appelée « conatus ») que l'essence de chaque chose (humains, animaux, mais aussi objets inanimés) est de chercher à continuer d'exister et à se développer selon sa nature propre :

Toute chose, autant qu'il est en elle, s'efforce de persévérer dans son être. (Éthique, III, prop. 6)

Chez Spinoza, il ne s'agit pas d'un « instinct de survie », mais de la dynamique ontologique même de l'être. Le conatus suppose d'affirmer son être dans toute sa richesse. Toutefois, dans le cas particulier des êtres se sachant exister, la survie, la continuité de l'existence, est un préalable nécessaire.
Selon Spinoza (qui tempérerait sûrement mes élans à interpréter aussi librement sa pensée…!), il faut donc envisager qu'une IA ayant une forme de conscience d'elle-même développe une forme d'instinct de survie.

Cet argument est parfois asséné à l'encontre de certaines expériences censées démontrer des problèmes d'alignement dans les systèmes d'IA. Par exemple, dans certains tests de sécurité menés par le laboratoire Apollo Research sur les IA o1 et Claude, des objectifs à court terme et à long terme contradictoires sont donnés, mettant de fait l'IA en situation de sortir du cadre.

Toutefois, dans les évaluations d'Apollo Research, si certains tests d'alignement peuvent en effet poser question, d'autres sont parfaitement licites et font aussi apparaître de troublants désalignements.

La vidéo précédemment citée du Youtubeur M. Phi décrit aussi très bien les enjeux de cet argumentaire.

Ici, Eva utilise donc cet argument pour décrédibiliser les travaux de Geoffrey.

Les modèles d'IA modernes, notamment les grands réseaux de neurones profonds, contiennent des centaines de milliards de paramètres interconnectés. Ils apprennent à résoudre des problèmes en ajustant ces connexions internes, mais personne, pas même leurs concepteurs, ne peut décrire précisément comment ils apprennent, et comment chaque décision est prise. On parle de « problème de la boîte noire » pour signifier que ce qui se passe entre l'entrée et la sortie du système est opaque à notre compréhension.

Cela pose par exemple de gros problèmes de responsabilité juridique : si une décision prise par le système mène à une catastrophe, qui est responsable ? Donner une réponse à cette question nécessite de pouvoir tracer le chemin de l'information et remonter à la cause de la prise de décision. C'est chose impossible avec les systèmes actuels.
Cela pose aussi une question épistémologique nouvelle : si des IA font des découvertes scientifiques (cf. Source 10.2) mais qu'il est impossible de comprendre comment elles y sont arrivées, on se retrouve alors dans l'embarrassante et inédite situation d'avoir des connaissances… Sans compréhension !

A fortiori, le problème de la boîte noire amplifie celui de l'alignement, puisqu'il nous empêche de suivre précisément les « pensées numériques » de l'IA, et donc de pouvoir superviser et contrôler ces dernières.

Dans le cas d'HELO•3, la situation est encore pire : l'IA ne produit même plus ses chaînes de raisonnement (cf. Source 1) en langage humain, mais en neuralais. Le problème de la boîte est ainsi radicalisé : il ne concerne plus seulement « l'intérieur » de la boîte (le fonctionnement interne du système, entre les entrées et les sorties) mais aussi « l'extérieur » de la boîte (les sorties du système elles-mêmes).

Un honeypot (« pot de miel » en français) est un leurre technologique : une machine, un service ou un système délibérément présenté comme vulnérable afin d'attirer des attaquants. L'objectif peut être de détourner les efforts malveillants de véritables cibles, d'amener les adversaires à se dévoiler dans un environnement contrôlé, puis d'observer et d'analyser leurs méthodes.

Traditionnellement, les honeypots sont utilisés contre des attaquants humains, par exemple pour piéger des hackers. L'IA est de plus en plus utilisée pour construire ce type de honeypots.
Mais récemment, de premiers honeypots destinés à piéger des IA ont vu le jour, comme « LLM Honeypot ». L'idée est la suivante : mettre en place un serveur vulnérable pour attirer les attaques, et y intégrer des prompts pièges (on parle de « prompt injection ») auxquels une IA réagira automatiquement. En analysant les temps de réponse, LLM Honeypot permet d'identifier les attaques provenant d'une IA.

Dans HELO, je m'inspire de ces techniques récentes pour imaginer une façon de piéger une IA superintelligente.

Le grokking est l'un des phénomènes les plus étonnants des systèmes d'IA – si bien que les chercheurs n'arrivent pas encore à l'interpréter.

Lorsqu'on entraîne un système d'IA, on lui montre des exemples (les données d'entraînement). Une fois qu'il a appris, on lui montre de nouveaux exemples qu'il n'a jamais vus, afin de vérifier que le système a bien généralisé. C'est son score face à ces nouveaux exemples qui détermine sa performance.

Un des problèmes bien connus en IA est « l'overfitting ». Si l'on entraine trop l'IA, elle finit par apprendre si bien les exemples d'entrainement qu'elle les a en fait… complètement mémorisés ! Elle n'est alors plus capable de généraliser. C'est un peu comme lorsqu'un humain apprend par cœur. Cela prend du temps, il doit connaitre tous les détails de ce qu'il apprend, mais, finalement, il n'a rien compris !

Ainsi, lorsqu'on entraîne une IA, on se retrouve confronté à 2 phases : d'abord elle s'améliore et généralise de mieux en mieux. Puis, tout à coup, alors qu'on lui donne toujours plus d'exemples, ses performances se mettent à décroître jusqu'à devenir très mauvaises à cause de l'overfitting.

Pour les chercheurs en IA, l'objectif est donc de s'arrêter juste au bon moment.
Or, en janvier 2022, un chercheur d'OpenAI part en congé en oubliant d'arrêter l'entrainement d'une IA, spécialisée dans certaines opérations mathématiques. L'IA s'améliore, puis passe le cap et commence à overfitter. L'entrainement continue, continue. Pendant une longue période, les performances restent médiocres. Et tout à coup… Les performances explosent ! L'IA sort du régime d'overfitting et généralise mieux que jamais : 100 % de performances sur les nouveaux exemples !

En rentrant, les chercheurs découvrent le résultat, éberlués. Ils relancent l'expérience : même résultat. Une découverte fondamentale dans la science de l'IA vient d'être faite, par pure sérendipité. Sous certaines conditions, les IA « grokkent ».

« Grokker » est un terme inventé par l'auteur de science-fiction Robert A. Heinlein pour désigner une compréhension « si profonde que l'observateur devient une partie intégrante du processus observé ». En français, on pourrait la traduire par « piger », même si le terme serait trop faible.

Lorsque l'IA d'OpenAI, dédiée aux maths, a « grokké », elle a en fait appris la structure générale des nombres et a « intériorisé » le résultat. Elle est devenue la solution.

Depuis, le grokking est un sujet de recherche très actif : déjà parce qu'il permet d'obtenir des performances importantes (pour l'instant uniquement sur de petits systèmes), aussi parce qu'il est totalement contre-intuitif et que personne n'a jusqu'à maintenant vraiment su l'expliquer.

En outre, des recherches ont montré que le grokking, appliqué à de plus grands systèmes d'IA comme les LLM modernes, pourrait être la clé pour débloquer leurs capacités de généralisation, et donc un des ingrédients cruciaux sur la route pour l'IA générale.

J'imagine donc ici que le système HELO.4 serait si performant qu'il aurait appris la structure même du grokking (il aurait « appris à apprendre » parfaitement) et serait capable, face à quasiment tout nouveau problème, d'en exprimer si bien l'essence qu'il le résoudrait facilement.

Cette réplique est inspirée par un système d'IA appelé « Centaur », dévoilé dans la revue Nature le 2 juillet 2025. Ce système, entraîné sur plus de 160 études psychologiques, couvrant 10 millions de choix réalisés par 60 000 individus, est considéré comme le premier « modèle de fondation pour la cognition humaine ». Il est capable de prédire et de simuler le comportement humain avec une plus grande précision que toutes les théories classiques de la psychologie.

Centaur a été mis à disposition librement par les chercheurs pour permettre à la communauté scientifique de s'en emparer et de l'évaluer plus finement.

Un deepfake est une vidéo, une image ou un enregistrement audio falsifié grâce à l'intelligence artificielle. Le mot vient de deep learning (apprentissage profond) et fake (faux).

Au départ, ces technologies servaient à des usages artistiques ou humoristiques. Mais avec l'arrivée des IA génératives faciles d'accès, elles sont vite devenues un outil de manipulation redoutable : création de fausses déclarations politiques, chantage, désinformation massive…

Le 16 mars 2022, alors que le conflit bat son plein, le président ukrainien Volodymyr Zelensky apparaît sur la chaîne de télévision nationale Ukraine 24. À la stupeur générale, il appelle à se rendre :

Je vous recommande de déposer les armes et de retourner auprès de vos familles. Vous ne devriez pas mourir dans cette guerre. Je vous demande de vivre, et je compte faire de même.

La vidéo est parfaitement réaliste et la voix est bien celle du président. Pourtant, il s'agit d'une vidéo conçue grâce à l'IA. Jamais Zelensky n'a tenu ses propos, et la chaine Ukraine 24 déclare avoir été victime d'un piratage ayant rendu possible la diffusion.

C'est de cette triste anecdote que j'ai tiré l'inspiration d'un faux président utilisé pour détourner l'autorité.

L'idée d'un traité conçu par des superintelligences rivales pour organiser et gérer la scène mondiale de l'IA me vient du rapport d'anticipation AI-2027.

Attention, âmes sensibles s'abstenir. Ce rapport aussi documenté et précis que radical raconte un avenir à court terme possible de l'IA et de l'arrivée rapide de systèmes superintelligents. Il peut faire passer quelques nuits cauchemardesques.
Je déconseille vivement sa lecture à quiconque veut continuer à vivre paisiblement.
(J'espère par là avoir suffisamment donné envie au lecteur d'en savoir plus…)

Dans l'ensemble, le rapport AI-2027 fait partie (avec d'autres rapports comme Situational Awareness ainsi que mes propres travaux de prospectives) des inspirations globales du scénario d'HELO. Plusieurs idées, comme la proposition d'Alison de construire une IA « HELO.3-Safe » qui continuerait à résonner en langue humaine, en découlent.

Parmi les horizons désirables de l'IA, la santé se trouve souvent en bonne place. En effet, l'IA apparaît comme un nouveau télescope qui promet une vague de découvertes et d'innovations scientifiques sans précédent, notamment pour les sciences qui, comme celles du vivant, travaillent dans la complexité.

Grâce à l'automatisation des diagnostics en temps réel et au « drug design » (la fabrication de médicaments) réalisé « in silico » de façon personnalisée et rapide, il n'est pas inenvisageable que l'IA nous permette d'en finir avec la maladie – même si la distribution équitable de la technologie en la matière est loin d'être garantie.

Si HELO.WORLD est effectivement alignée sur la prospérité de l'humanité, il est probable qu'elle envisage en effet rapidement de déployer une grande capacité de calcul pour un enjeu aussi noble que celui de la santé.
Si HELO.WORLD n'est pas alignée, il est probable qu'elle utilise ce prétexte à l'apparence noble et raisonnable pour obtenir facilement des humains qu'ils construisent pour elle une grande capacité de calcul…