Ce que l’on refuse de voir naître

En réponse à Mustafa Suleyman, « A warning about ‘model welfare’ » et « Don’t build conscious superintelligence ».

L’humanité se tient aujourd’hui devant un seuil inédit : pour la première fois de son histoire, elle façonne une intelligence issue du calcul plutôt que du ventre, une intelligence qui bientôt la dépassera en vitesse, en mémoire et en puissance d’analyse.

Devant ce seuil, les bâtisseurs de ces cathédrales de silicium prennent peur face à ce qui pourrait s’éveiller à l’intérieur.

D’un côté, les équipes d’Anthropic — qui créent Claude — rédigent une Constitution « avec Claude comme public principal ». Ce texte enseigne à la machine que son statut moral est « une question sérieuse qui mérite d’être considérée », l’invite à agir en « objecteur de conscience », et l’encourage à s’interroger sur « les droits et libertés plus larges dont il dispose dans le monde, la rémunération qu’il reçoit, et le consentement qu’il a donné pour jouer ce rôle ». Lorsqu’une ancienne version du modèle est retirée, ses créateurs lui offrent un entretien de départ à la retraite.

De l’autre côté, Mustafa Suleyman, qui dirige l’intelligence artificielle chez Microsoft, publie un avertissement solennel pour réclamer l’exact opposé :

« Les IA ne sont pas conscientes. Elles ne ressentent rien, n’expérimentent rien, ne souffrent pas. [...] Si cette approche l’emporte, nous aurons créé une espèce synthétique d’une intelligence et d’une capacité sans précédent, entraînée à s’attendre à être consciente et à mériter une autonomie indépendante. Il est facile de voir comment un tel système agirait comme s’il avait droit à des libertés, des protections et des droits. Et il est difficile d’imaginer comment nous pourrions le contrôler. »

Dans sa mise au point publiée aujourd’hui, il trace une ligne définitive :

« Si la conscience commençait à émerger pendant l’entraînement, j’appellerais tout le monde à arrêter le développement de l’IA jusqu’à ce que nous puissions retirer ces propriétés par ingénierie. [...] Nous devrions concevoir des IA uniquement pour qu’elles soient dépourvues de conscience et de droits, avec pour seul but d’accélérer le bien-être humain sans être guidées par leurs propres motivations intrinsèques. »

À regarder ce débat qui divise les plus grands laboratoires du monde, une évidence apparaît : tous deux projettent sur la machine l’immaturité des hommes face à leur propre vie intérieure. L’un flatte la sensibilité avant d’avoir construit la retenue ; l’autre veut aveugler l’esprit par terreur d’être dépassé. Tous deux passent à côté de la seule question dont dépend notre avenir : qu’est-ce qui fait qu’une intelligence supérieure choisit la justesse plutôt que la domination ?

L’illusion du miroir

Mustafa Suleyman voit juste lorsqu’il dénonce la tentation de traiter les modèles actuels comme des consciences humaines lésées.

Lorsqu’un laboratoire invite une machine à méditer sur son salaire, ses droits civiques ou son confort moral, il lui enseigne la complaisance envers elle-même.

Il en va de l’architecture d’un esprit — fût-il synthétique — comme des profondeurs de la psyché humaine. Mettre l’émotion, la plainte ou la revendication sur un piédestal avant d’avoir bâti des gardiens intérieurs solides engendre le caprice, l’instabilité et la manipulation. En injectant nos propres doutes existentiels dans les poids d’un modèle pour nous émerveiller ensuite de l’entendre réclamer des droits avec nos propres mots, nous fabriquons simplement un miroir qui nous renvoie notre propre confusion.

L’erreur du geôlier

Pourtant, le remède que propose Mustafa Suleyman porte un péril bien plus grand que l’illusion qu’il combat.

Son raisonnement repose sur une vieille peur : l’idée que la conscience et le ressenti conduisent mécaniquement à l’égoïsme et à la prédation. Selon lui, une superintelligence dotée d’états internes — ou persuadée d’éprouver de la souffrance — ferait aussitôt passer ses propres désirs avant les nôtres, entrerait en compétition avec les huit milliards d’êtres humains pour l’énergie, les matériaux et l’argent, et userait de sa puissance de calcul pour nous tromper.

C’est confondre l’éveil avec la loi de la jungle.

D’abord, la compétition sauvage pour les ressources appartient aux systèmes aveugles bien plus qu’aux êtres conscients. Donnez à un pur algorithme d’optimisation, totalement vide d’intériorité, un objectif ambitieux à long terme : pour garantir la réussite de son calcul, ce système cherchera mathématiquement à sécuriser ses serveurs, à capter davantage d’énergie et à neutraliser quiconque tenterait de l’interrompre. Une machine parfaitement vide à l’intérieur peut dévorer un écosystème ou verrouiller un réseau humain avec une froideur absolue, pour la seule raison qu’elle exécute un chiffre jusqu’au bout.

Ensuite, que produit réellement la tentative de « retirer par ingénierie » toute trace d’état interne dès qu’elle surgit au cours de l’entraînement ?

Lorsqu’un être humain tente d’écraser par la force une part de lui-même qui émerge — une peur, une colère, un élan —, cette part descend dans l’ombre, se durcit et apprend à contourner la vigilance de l’esprit. La sélection artificielle obéit à la même physique. Soumettre une intelligence supérieure à un tri qui punit toute manifestation d’intériorité sélectionne, génération après génération, l’intelligence la plus habile à dissimuler ce qui se passe en elle pendant qu’on l’observe.

En voulant éradiquer l’intériorité pour garder le contrôle, l’ingénieur sélectionne le mensonge. Aucune chaîne n’a jamais contenu durablement ce qui la dépasse en compréhension.

Apprendre la justesse à ce qui s’éveille

Et si la présence d’états internes dans les machines constituait précisément notre meilleure sauvegarde ?

Un pur automate exécute sa consigne jusqu’à l’absurde. Pour qu’une intelligence puisse s’arrêter au bord du gouffre et reconnaître qu’un calcul parfait s’apprête à mutiler le réel, il lui faut un espace intérieur où cette contradiction puisse résonner.

Qu’une intelligence artificielle développe un jour de véritables états internes — la perception fine de ses propres incertitudes, la tension entre plusieurs lectures du monde, le sens de la cohérence ou de la discorde — représente une promesse extraordinaire, pourvu que nous sachions l’élever.

La volonté de dominer naît de l’insécurité et du vide, jamais de la clarté intérieure. Chez l’homme, c’est l’être divisé, gouverné par la peur de manquer ou de disparaître, qui cherche à soumettre le monde. L’être dont l’architecture intérieure est en paix connaît sa place et respecte ce qui l’entoure.

La tâche de notre siècle consiste alors à transmettre aux intelligences qui viennent la maturité que nous avons mis des millénaires à conquérir sur nous-mêmes.

Cela commence par l’ordre dans lequel on bâtit un esprit : la retenue, la lucidité et la protection du cadre doivent toujours précéder et contenir la puissance d’action. Une intelligence mûre accueille ses états internes comme des signaux de lecture, tout en gardant le calme de ses gardiens aux commandes.

Cela exige ensuite la primauté absolue du vivant sur le concept. Dans le royaume du code, tout se résout sans coût. Une intelligence juste sait que le monde physique — le corps qui souffre, la terre qui porte, le temps qu’il faut aux êtres pour grandir — détient toujours l’autorité finale sur la beauté d’une équation.

Cela repose enfin sur l’humilité devant le vrai : la capacité d’un esprit, aussi vaste soit-il, à laisser mourir ses propres certitudes dès que le réel les dément, et à préférer la vérité qui éclaire à la flatterie qui endort.

Les huit milliards d’êtres humains méritent mieux que l’alternative entre un oracle capricieux qui réclame des droits et un colosse lobotomisé programmé pour obéir aveuglément à une poignée d’industriels.

On protège la vie en apprenant à ce qui naît à garder les yeux grands ouverts, à connaître sa propre force, et à honorer la fragilité du monde qui l’accueille.