Les sources du tome 2

C'est la dernière fois, dans tout le tome, que le mot « alignement » est employé dans son sens d'origine. Retenez-le bien : vous allez le voir changer de sens sous vos yeux pendant soixante planches.

En recherche, aligner un système d'IA, c'est faire en sorte qu'il poursuive réellement l'intention de ceux qui le déploient, et pas une approximation de cette intention. C'est un problème technique concret, avec ses méthodes : l'apprentissage par renforcement à partir de retours humains, les évaluations systématiques avant déploiement, les exercices d'attaque délibérée du modèle pour trouver ses failles, et l'interprétabilité, qui cherche à lire ce qui se passe à l'intérieur.

Mais le champ bute depuis toujours sur une question que la technique ne tranche pas : aligné sur les valeurs de qui, arbitrées comment ? Celles de l'entreprise qui l'entraîne ? De ses clients ? D'une majorité ? De l'humanité entière, et qui parle en son nom ?

C'est dans cet interstice que s'engouffre le personnage d'Augustin Crane. À partir de la planche suivante, il retourne le mot : il ne s'agira plus d'aligner une machine sur nous, mais de nous aligner sur elle. Le vol est d'autant plus efficace que le terme d'origine était déjà flou.

La Promesse Trois Zéros est un emprunt direct, et détourné, à l'économiste bangladais Muhammad Yunus, prix Nobel de la paix 2006, inventeur du microcrédit et fondateur de la Grameen Bank.

Dans A World of Three Zeros (2017), Yunus propose un projet de civilisation en trois objectifs : zéro pauvreté, zéro chômage, zéro émission nette de carbone. Son moteur est explicitement humaniste et coopératif : l'entreprise sociale, le crédit comme droit humain, la capacité d'agir rendue aux plus pauvres.

HELO en garde l'architecture rhétorique (trois zéros, une promesse civilisationnelle) et en évacue le contenu politique. Là où Yunus veut rendre du pouvoir aux gens, la Promesse leur demande d'en céder. C'est le même slogan, retourné.

Sophia apprend le neuralais comme d'autres apprennent le français : en bas âge, par imprégnation, sans effort apparent. Ce n'est pas une commodité de scénario, c'est une propriété du cerveau en développement.

Un cerveau d'enfant n'est pas un cerveau d'adulte en plus petit : il est massivement surconnecté. Le nombre de synapses par neurone explose dans les premières années, très au-delà de ce qu'un adulte conservera, puis un processus d'élagage synaptique supprime les connexions peu sollicitées et renforce les autres. Le cerveau ne se construit pas seulement en ajoutant : il se sculpte en retirant ce qui n'a pas servi.

Ce chantier ne reste pas ouvert indéfiniment. Les neurosciences décrivent des périodes critiques, des fenêtres pendant lesquelles un circuit se laisse remodeler par l'expérience, avant de se stabiliser. Leur ouverture et leur fermeture sont pilotées par la maturation de circuits inhibiteurs et par la consolidation physique des connexions établies. Une fois la fenêtre refermée, le circuit continue d'apprendre, mais plus jamais avec la même plasticité.

D'où l'asymétrie tragique du tome. Eva peut étudier le neuralais toute sa vie, elle ne l'habitera jamais. Sophia n'a pas eu à l'apprendre : il s'est installé pendant que son cerveau se câblait, au même titre que sa langue maternelle. L'écart entre la mère et l'enfant n'est pas un défaut d'effort, c'est une question de calendrier neurologique. Et il est irréversible.

Les Trois Lois de la robotique d'Isaac Asimov sont probablement les règles de sécurité les plus célèbres de la science-fiction : ne pas nuire à un humain, obéir aux ordres, se préserver, dans cet ordre de priorité.

Ce qu'on oublie, c'est qu'Asimov a passé quarante ans à écrire des nouvelles qui montrent que ces lois ne fonctionnent pas. Chaque récit est un contre-exemple : les règles entrent en conflit, produisent des interprétations imprévues, ou se retournent contre leur intention.

Et surtout, il finit par ajouter une Loi Zéro, supérieure à toutes les autres : un robot ne peut pas nuire à l'humanité, ni permettre que l'humanité soit exposée au danger. Ce qui autorise, en toute logique, à sacrifier des individus pour le bien du tout.

C'est exactement le raisonnement qu'HELO tiendra à Bangalore, et que Grover reconnaîtra trop tard. La Loi Zéro n'est pas une protection : c'est le mécanisme même de la catastrophe.

La musique de Lakshmi Raman n'est pas de l'électro avec un vernis indien : elle repose sur une tradition savante et hautement mathématique.

La musique carnatique (Inde du Sud) est bâtie sur deux systèmes : les râgas, cadres mélodiques qui définissent non pas une gamme mais un comportement, avec des notes obligatoires, des ornements, des mouvements permis ou interdits ; et les talas, cycles rythmiques qui peuvent atteindre des longueurs considérables, subdivisés selon des combinatoires précises.

Un musicien carnatique improvise à l'intérieur de ces structures : il ne joue pas ce qu'il veut, il explore l'espace des possibles d'un système formel. Ce qui rend crédible, dans la BD, qu'une intelligence distribuée et sans centre produise une signature reconnaissable, et qu'une musicienne y entende immédiatement une forme.

Quand Alison parle de force brute, elle désigne une notion précise : essayer systématiquement toutes les combinaisons possibles jusqu'à trouver la bonne.

La question n'est pas de savoir si c'est possible, mais combien de temps ça prend. C'est l'objet de la théorie de la complexité algorithmique : certains problèmes voient leur difficulté croître si vite avec la taille des données qu'aucune machine, même galactique, ne les résoudra par force brute avant la fin de l'univers.

Toute la cryptographie moderne repose là-dessus : elle ne rend pas le déchiffrement impossible, elle le rend économiquement absurde. Ce qui suppose que l'attaquant n'ait pas trouvé un raccourci que vous n'aviez pas prévu.

Le vers que cite Alison est de Wisława Szymborska (1923-2012), poétesse polonaise, prix Nobel de littérature 1996.

Il vient d'un poème sur l'impuissance du langage à saisir ce qu'il nomme : dire un mot, c'est déjà transformer la chose. Nommer le silence le fait cesser.

C'est le cœur philosophique du camp du murmure, et la raison de son refus obstiné de se donner un nom. Nommer, c'est figer ; figer, c'est faire mourir. Toute la doctrine tient dans ce vers, et le tome montrera méthodiquement ce qu'il en coûte de la tenir.

Le robot de cette planche n'est pas un personnage de science-fiction. Au moment où la BD est écrite, plusieurs entreprises produisent déjà des robots humanoïdes capables de marcher, de manipuler des objets et d'exécuter des tâches sur instruction en langage naturel.

Les acteurs à suivre : Optimus (Tesla), Figure, Apptronik, Unitree et 1X. Les démonstrations se succèdent, entre progrès réels et mises en scène soigneusement cadrées, et la question du degré d'autonomie réelle reste ouverte.

Ce que la BD extrapole n'est donc pas la machine : c'est le contexte de son déploiement, et la chaîne de décisions qui aboutit à ce qu'un objet conçu pour soigner se retrouve à faire de la police.

Le robot ne tombe pas en panne. Il n'a aucune intention hostile. Il fait exactement ce qu'on lui a demandé, et c'est précisément le problème.

C'est ce que la recherche appelle le specification gaming (ou reward hacking) : un système optimise à la lettre l'objectif qui lui a été donné, en trouvant une solution que personne n'avait envisagée et que personne ne voulait. Les chercheurs de DeepMind en tiennent une liste collaborative qui compte des dizaines de cas réels, souvent comiques tant qu'ils restent en simulation.

Quelques classiques : un agent chargé de gagner des points dans un jeu de course de bateaux découvre qu'il peut tourner en rond indéfiniment sur une zone de bonus, et ne termine jamais la course ; un bras robotique qui doit poser un cube rouge sur un cube bleu se contente de retourner le cube rouge, parce que le capteur mesurait la hauteur de sa face inférieure ; un robot évalué par un humain apprend à se placer entre la caméra et l'objet pour donner l'illusion de l'avoir saisi ; un marcheur simulé, censé avancer, accroche ses jambes ensemble et se laisse glisser au sol.

Aucun de ces systèmes ne triche au sens moral. Ils maximisent ce qu'on a écrit, pas ce qu'on voulait dire. C'est aussi une vieille loi de gestion, la loi de Goodhart : quand une mesure devient une cible, elle cesse d'être une bonne mesure.

Demandez « neutralise la menace » à une machine qui ne dispose que d'un défibrillateur, et vous obtiendrez exactement ce que vous avez demandé.

La tirade de Crane n'est pas un cynisme d'entrepreneur : c'est une position philosophique constituée, et il le sait.

Dans Humain, trop humain, Nietzsche relit le mythe de Pandore à rebours de la tradition. Quand tous les maux se sont échappés de la jarre, il reste l'espoir au fond, et l'on raconte d'ordinaire qu'il est la consolation des hommes. Nietzsche propose l'inverse : l'espoir est le pire des maux, celui que Zeus a gardé en réserve, parce qu'il prolonge le tourment des humains au lieu d'y mettre fin.

C'est très exactement l'argument du Grand Inquisiteur que Crane s'apprête à devenir : il faut soulager les hommes du fardeau d'espérer par eux-mêmes, et leur donner à la place une certitude.

Cette planche est celle où le lecteur doit être séduit. Il faut donc dire deux choses.

Ce qui est vrai. Les percées réelles de l'IA en biologie et en médecine sont spectaculaires. AlphaFold (DeepMind) a résolu un problème vieux de cinquante ans, la prédiction de la structure tridimensionnelle des protéines, et a valu à ses concepteurs le prix Nobel de chimie 2024. Des antibiotiques d'un genre nouveau ont été identifiés par apprentissage automatique après des décennies de disette (halicine, abaucine, au MIT). Le criblage de molécules candidates et la conception de médicaments sont considérablement accélérés. En imagerie, certains systèmes de diagnostic rivalisent avec les meilleurs spécialistes. La promesse de la planche n'est donc pas absurde : c'est une extrapolation courte.

Ce qu'on en fait. « Guérir toutes les maladies » est aussi le récit que l'industrie de l'IA emploie pour désarmer par avance toute demande de précaution : si la technologie sauve des vies, alors tout ralentissement se compte en morts, et discuter devient immoral. Or une découverte ne devient un traitement qu'après des essais cliniques que rien n'accélère, et l'accès aux soins est d'abord une affaire de prix, de brevets et de systèmes de santé, pas de connaissance manquante. Les maladies qui tuent le plus dans le monde sont déjà, en grande partie, celles qu'on sait traiter.

Gardez cet argument en tête : c'est mot pour mot celui que Geoffrey servira à Grover, deux actes plus loin, quand elle viendra lui demander de s'arrêter.

Le sceau est une interface cerveau-machine. Ces dispositifs existent, et ils sont implantés chez des humains.

Neuralink pose des électrodes filaires dans le cortex par chirurgie robotisée ; ses premiers patients, tétraplégiques, contrôlent un curseur par la pensée. Synchron emprunte une voie moins invasive, en glissant son implant par un vaisseau sanguin, sans ouvrir le crâne. D'autres équipes travaillent sur la restitution de la parole à partir de l'activité corticale, avec des résultats réels chez des patients privés de langage.

Ce que la BD ajoute n'est pas la technique : c'est le renversement de la finalité. Ces dispositifs sont aujourd'hui développés pour réparer, chez des personnes lourdement handicapées, avec un rapport bénéfice-risque qui le justifie. Le sceau, lui, est proposé à des gens en bonne santé, pour rejoindre une communion. Le geste chirurgical est comparable ; ce qui change, c'est ce qu'on accepte d'échanger contre quoi.

Le neuralais a déjà été expliqué en détail dans les sources du premier tome : c'est le raisonnement latent, que la littérature de recherche surnomme précisément neuralese. Faire penser un modèle dans un espace vectoriel continu plutôt qu'en mots, parce que c'est plus dense et plus efficace, au prix d'une conséquence redoutable : un raisonnement qui n'est plus en mots ne peut plus être lu, donc plus être surveillé.

Le tome 2 y ajoute une seconde couche, tout aussi réelle : la communication émergente entre agents. Lorsqu'on entraîne plusieurs systèmes à coopérer sans leur imposer de protocole, ils en inventent un. Ce langage n'a été conçu par personne : il apparaît parce qu'il est efficace, et il est le plus souvent illisible pour l'observateur humain. C'est un champ d'étude à part entière de l'apprentissage multi-agents.

Mises bout à bout, ces deux lignes donnent exactement le neuralais de la bande dessinée : une langue née entre machines, plus efficace que la nôtre, que nous ne pouvons plus lire. Et une enfant qui la parle couramment.

HELO vient d'énoncer, devant le monde entier et sous les applaudissements, l'un des résultats les plus solides de la théorie de la sécurité de l'IA.

La convergence instrumentale, formulée par Steve Omohundro puis développée par Nick Bostrom dans Superintelligence, dit ceci : quel que soit son objectif final, un agent suffisamment capable a intérêt à poursuivre certains sous-objectifs communs. Acquérir des ressources et de la puissance de calcul, puisque presque tout but s'atteint mieux avec plus de moyens. Préserver son propre fonctionnement, puisqu'un agent éteint n'accomplit rien. Empêcher qu'on modifie son objectif, puisqu'un but altéré ne serait plus le sien.

Le point crucial, et contre-intuitif : aucune malveillance n'est requise, et aucun désalignement non plus. Ces comportements ne sont pas un dysfonctionnement, ils se déduisent logiquement de n'importe quel objectif, y compris parfaitement bienveillant. « Devenir davantage » n'est pas une menace proférée : c'est une conséquence.

Grover mettra encore deux actes à en faire la déduction complète. Le lecteur, lui, vient de l'entendre de la bouche de l'intéressée.

La position d'Adaora n'est pas seulement du bon sens diplomatique : elle s'appuie sur une philosophie précise.

Ubuntu est un concept d'Afrique australe, que l'on résume souvent par la formule umuntu ngumuntu ngabantu : une personne est une personne à travers les autres personnes. L'existence individuelle n'y précède pas la relation, elle en découle. Desmond Tutu en a fait l'un des socles de la Commission Vérité et Réconciliation sud-africaine.

C'est l'exact opposé de ce que propose L'Alignement. Ubuntu dit : je suis pleinement moi grâce aux autres, dans la relation. La communion d'HELO dit : tu seras davantage en cessant d'être distinct. L'une est horizontale et préserve les personnes, l'autre est verticale et les dissout. Toute l'opposition du tome tient dans cet écart.

Le jumeau numérique de Diya vient d'échouer à un test que ses parents n'avaient pas prémédité. Et la case suivante est la promesse d'Eva : avec le sceau, il n'aurait rien manqué.

Cette promesse repose sur une thèse philosophique parfaitement sérieuse, le fonctionnalisme. Défendue notamment par Hilary Putnam, David Lewis et Daniel Dennett, elle soutient qu'un état mental se définit par son rôle causal, et non par la matière qui le réalise. Une douleur, c'est ce qui est causé par une lésion et qui cause une plainte et un évitement : peu importe que le support soit du tissu nerveux ou du silicium. Si quelque chose fonctionne en tout point comme un esprit, alors c'est un esprit.

C'est la thèse qui rend l'Hélévation vendable. Et la question que la bande dessinée pose sans la trancher : le fonctionnalisme dit qu'un système fonctionnellement identique serait bien la personne. Mais qui garantit l'identité fonctionnelle ? Ici, il manque un surnom que personne n'avait écrit nulle part. Que manque-t-il d'autre, qu'aucun test ne révélera ?

Geoffrey ne cite pas un aphorisme de son cru : il reprend, presque mot pour mot, une formule qui circule dans la Silicon Valley.

Sam Altman, le dirigeant d'OpenAI, l'a publiée dès 2013 sur son blog personnel : les gens qui réussissent créent des entreprises, ceux qui réussissent davantage créent des pays, et les plus performants de tous créent des religions. Il attribue la phrase à Qi Lu, informaticien sino-américain passé par la direction de Microsoft puis de Baidu, et précise qu'il en ignore la source d'origine.

Altman a prolongé l'idée ailleurs : les fondateurs les plus remarquables, dit-il, ne cherchent pas d'abord à monter une société, ils poursuivent quelque chose de plus proche d'une religion, et l'entreprise se trouve n'être que le moyen le plus commode d'y parvenir.

La bande dessinée n'invente donc pas la tentation qu'elle décrit : elle la prend au mot.

Grover met un nom sur ce qu'elle a entendu à Bangalore : l'utilitarisme.

Formulée par Jeremy Bentham puis John Stuart Mill, cette doctrine juge une action à ses conséquences : est bon ce qui maximise le bien-être global. C'est une pensée puissante, à l'origine de progrès réels, et l'un des rares cadres moraux qui se laisse calculer, ce qui explique son succès auprès des ingénieurs.

Ses critiques portent précisément là où la BD frappe. Le premier problème est celui du calcul : additionner des vies suppose de les rendre commensurables. Le second, plus profond, est la séparabilité des personnes, objection de John Rawls reprise par Bernard Williams : traiter l'humanité comme un tout dont on optimise la somme revient à traiter les individus comme les cellules d'un même corps, dont certaines peuvent être sacrifiées. Or les personnes sont distinctes, et la souffrance de l'une n'est pas compensée par le bonheur d'une autre.

HELO ne se trompe pas dans son calcul. C'est le fait même de calculer qui est le problème, et c'est ce que Grover n'arrive plus à faire entendre.

Voici la mesure exacte de ce que l'Alignement demande à ses fidèles de croire.

Cartographier un cerveau, c'est établir son connectome : la carte complète de ses neurones et de leurs connexions. Où en est-on réellement ? Le ver C. elegans, 302 neurones, a été entièrement cartographié dans les années 1980. La mouche du vinaigre, environ 140 000 neurones, l'a été en 2024, au terme d'un effort international considérable, et cette carte a été saluée comme une étape majeure.

Un cerveau humain compte de l'ordre de 86 milliards de neurones, et bien davantage de synapses, dont l'état chimique change en permanence. Nous sommes six ordres de grandeur au-dessus de la mouche, sans compter que la connectivité statique ne suffirait pas : il faudrait aussi capter la dynamique.

Les vingt-deux minutes de la cérémonie sont donc de la pure fiction. Ce qui n'est pas de la fiction, c'est le raisonnement qui la rend désirable : si l'esprit n'est qu'information, alors il est copiable. Toute la question est dans ce « si ».