« Faire confiance à l'IA » veut dire trois choses différentes

« La portée de l’homme dépasse son imagination ! »

Le magicien le crie depuis la scène dans Le Prestige, de Christopher Nolan, au sommet de sa plus grande illusion. La foule ne voit que la merveille. Ce qu’elle ne voit jamais, c’est le prix, payé en silence, juste hors de vue. Tout le film tient dans cet écart entre le prodige que le public applaudit et ce qu’il a réellement fallu pour le produire.

Je pense à cet écart chaque fois que quelqu’un demande si on peut faire confiance à l’IA.

Le réflexe est de répondre oui ou non. Mais le mot porte trop de poids. « Confiance » réunit plusieurs choses différentes, et la plupart des débats sur l’IA portent en réalité sur celle qu’on a en tête sans le dire. Une fois qu’on les sépare, la question devient bien plus utile.

Commençons par le sens qui tient parfaitement. C’est la simple assurance qu’un outil fera son travail. Un arc ne place pas chaque flèche dans le même trou, mais si la dispersion reste dans un groupe avec lequel vous pouvez travailler, vous lui faites confiance. Tout instrument réel a une tolérance. Lui faire confiance n’a jamais voulu dire qu’il se comporte de façon identique à chaque fois. Ça veut dire que la variation est bornée et que vous en connaissez les bornes. Pour les modèles prédictifs que j’ai intégrés à de vrais systèmes, c’était tout l’exercice : caractériser l’erreur, trouver la plage où la chose est fiable, et l’utiliser là. Ce genre de confiance, c’est de la calibration sous un autre nom, et il tient très bien la route.

Les grands modèles de langage et les agents compliquent les choses, mais pas de la façon qu’on imagine d’abord. Le problème n’est pas qu’ils varient. Bien des outils fiables varient. Le problème, c’est que leur résultat est ouvert, alors la tolérance devient beaucoup plus difficile à cerner. Qu’est-ce qu’une dispersion acceptable pour une analyse, une réponse, un bout de code. Avec un arc, vous voyez le groupement sur la cible. Ici, souvent, vous ne le voyez pas, et décider ce que « dans la tolérance » veut dire est l’étape difficile que presque tout le monde saute, séduit par la « merveille » qu’ils peuvent produire. Ces outils sont réellement puissants. Ils font des choses que je comprends mais que je ne pourrais pas faire, ou du moins pas aussi vite, et ils flanchent dans les cas limites d’une manière que je repère rapidement. La confiance fonctionnelle reste possible. Il faut seulement travailler bien plus fort pour la mériter.

Puis il y a un deuxième sens de la confiance qui n’a pas du tout sa place ici. C’est la confiance qu’on accorde au jugement d’une personne, celle qui suppose que, de l’autre côté, quelque chose est conscient de ce qu’il fait et en répond. Un modèle n’a rien de tout ça. Quand les gens disent qu’ils font confiance à l’IA en ce sens, ils lui confient une responsabilité qu’elle ne peut pas porter. C’est cette confiance-là qui cause du tort, et c’est celle contre laquelle beaucoup mettent en garde depuis des décennies.

Les facteurs humains étudient la confiance humaine envers l’automatisation depuis bien avant cette vague, et le constat central allait à contre-courant : le but n’a jamais été de maximiser la confiance. Trop de confiance est un mode de défaillance documenté. Les gens s’en remettent à un système sûr de lui, cessent de vérifier, et entérinent une réponse qui se trouvait être fausse. On appelle ça le biais d’automatisation et la complaisance (Skitka, Mosier & Burdick (1999); Parasuraman & Manzey (2010)). Trop peu de confiance est la défaillance inverse : ignorer un système qui avait raison (Parasuraman & Riley (1997)). Ce qu’on veut se situe entre les deux, et c’est une question de proportion. Un recours ajusté à la fiabilité réelle, ni plus ni moins (Lee & See (2004)). On fait confiance à l’outil exactement à la hauteur de ce qu’il a mérité, et pas d’un pas dans un jugement qu’il n’a pas.

Alors si une partie de la confiance survit et qu’une autre doit partir, la question est de savoir quel cadre les garde distinctes. Je reviens sans cesse à une idée de 1945. Dans un essai intitulé « As We May Think », Vannevar Bush imaginait un appareil qu’il nommait le memex : une machine pour prolonger la mémoire humaine et la façon dont nous relions les idées, une augmentation de l’esprit plutôt qu’un substitut. Pas un prophète à consulter et à qui obéir. Une extension de la portée.

Ce cadre est utile de deux manières. D’abord, une extension vous laisse la responsabilité d’une façon qu’un prophète ne fait jamais. Un télescope étend votre vue, mais c’est encore vous qui choisissez où le pointer et ce que signifie la faible lueur. L’outil élargit ce que vous pouvez faire; le jugement sur ce qu’il faut faire et la responsabilité du résultat restent à vous.

Ensuite, il rachète le dernier sens de la confiance, le plus étrange : celui où les gens se confient à ces outils comme pour demander conseil. Pris comme un jugement extérieur, ce n’est que le deuxième sens sous un visage plus amical et la même objection tient. Mais lu à travers la portée, ça devient autre chose. Une extension de votre propre pensée n’est pas un conseiller de l’autre côté du bureau. C’est plus proche d’un miroir. Utilisé ainsi, la valeur n’est pas la sagesse qu’il vous renvoie ; c’est qu’il peut vous aider à voir votre propre pensée plus clairement que vous n’y arrivez seul. Le reflet reste à vous de lire, et dès l’instant où vous le prenez pour un verdict plutôt qu’un reflet, vous êtes retombé dans la confiance en un jugement qui n’a jamais été là.

La portée s’étend plus vite et plus loin que la plupart des gens ne l’ont remarqué, et la vraie tentation n’est pas d’utiliser ces outils. C’est de laisser la portée emporter le jugement avec elle, d’applaudir la merveille et de laisser le prix hors de vue. C’était l’erreur du magicien. Le danger n’a jamais été le tour. C’était d’atteindre au-delà de ce dont il pouvait répondre et de refuser de regarder la différence.

Le récit d’une intelligence autonome, capable de réfléchir, de juger ou même de ressentir de l’empathie, a été vendu de telle sorte que nous voyons cet outil comme ce qu’il n’est pas. On y arrivera peut-être un jour, mais l’outil que nous avons ne peut pas porter de responsabilité; c’est un prolongement de la portée. Si nous changeons le paradigme par lequel nous voyons l’outil, nous pourrions mieux comprendre son rôle dans la société.

Alors, faites confiance à l’outil pour fonctionner dans des limites que vous avez réellement vérifiées. Faites-lui confiance pour vous prolonger. Ne lui faites pas confiance pour juger, et ne prenez pas son reflet pour un verdict. La question n’a jamais été de savoir s’il faut faire confiance à l’IA. C’est de savoir si vous pouvez voir l’ensemble de ce qu’elle fait, garder la portée proportionnée, et assumer les conséquences. Ce qui n’est pas vraiment une question sur la machine. C’est une question sur nous.