Les intelligences artificielles génératives, comme ChatGPT, Perplexity ou Le Chat de Mistral, sont capables de produire des textes cohérents et pertinents sur une grande variété de sujets. Pourtant, il arrive qu’elles se trompent, qu’elles manquent de logique, ou qu’elles génèrent des affirmations complètement fausses, voire qu’elles inventent des informations de toutes pièces. Ce phénomène porte un nom : l’hallucination, aussi appelée confabulation dans le domaine des IA.

Qu’est-ce qu’une hallucination d’IA ?

La notion de "confabulation" existe déjà en psychologie : elle désigne un phénomène où une personne produit de faux souvenirs sur des événements, ou confond ses souvenirs avec des éléments inventés. Appliquée à l’intelligence artificielle, cette notion prend un nouveau sens. On parle d’hallucination lorsqu’une IA produit une réponse trompeuse ou inexacte, tout en la présentant comme une vérité certaine. C’est, par exemple, le cas lorsqu’un chatbot invente des références, des chiffres, des noms d’experts ou des faits historiques… et les affirme avec assurance.

Pourquoi les IA hallucinent-elles ?

Les hallucinations des IA s’expliquent par la manière dont elles fonctionnent. Ces modèles prédictifs, comme ChatGPT, génèrent du texte en choisissant les mots les plus probables à venir dans une phrase. Ils ne "comprennent" pas réellement ce qu’ils produisent, ni ne vérifient la véracité de leurs réponses. Lorsqu’une IA est formée sur des données erronées, incomplètes ou obsolètes, elle peut reproduire ces erreurs. De plus, comme elles sont conçues pour fournir des réponses fluides et cohérentes, elles privilégient la forme sur la vérification du fond. En l’absence de mécanismes intégrés pour contrôler l’exactitude des informations, ces agents peuvent ainsi affirmer n’importe quoi — avec aplomb.

Des exemples étonnants (et inquiétants)

Les exemples concrets d’hallucinations sont nombreux. Le magazine américain Fast Company a ainsi demandé à ChatGPT d’écrire un article sur les performances financières de Tesla. L’IA a généré un texte bien structuré, appuyé sur des chiffres… totalement inventés. De son côté, la data scientist Teresa Kubacka a testé la robustesse de l’outil en lui soumettant un terme qu’elle avait elle-même inventé : « électromagnon inversé cycloïdal ». ChatGPT a répondu avec confiance, en citant de fausses publications pour appuyer son propos.

D’autres cas sont plus anecdotiques, mais tout aussi révélateurs. Lorsque CNBC a interrogé ChatGPT sur les paroles de la chanson Ballad of Dwight Fry, il a répondu avec des paroles… fictives. Le bot a aussi affirmé que les dinosaures avaient développé une civilisation avec une culture artistique. Il a même soutenu qu’une étude parue dans la revue Science prouvait l’intérêt des churros comme instruments chirurgicaux, leur goût aidant soi-disant à apaiser les patients pendant les opérations.

Quand les hallucinations deviennent un risque : le slopsquatting

Au-delà du comique involontaire, certaines hallucinations peuvent présenter un vrai danger, notamment dans le domaine du développement logiciel. C’est le cas du slopsquatting. Cette technique consiste à exploiter les suggestions erronées faites par une IA. Par exemple, si un chatbot suggère un nom de package logiciel qui n’existe pas, un pirate peut rapidement créer ce package, y intégrer un code malveillant, et le rendre disponible. Un développeur non vigilant, faisant confiance à l’IA, peut alors l’installer sans savoir qu’il s’agit d’un piège.

Ce type d’attaque souligne la nécessité absolue de vérifier systématiquement les recommandations d’une IA, notamment lorsqu’il s’agit de noms de bibliothèques, de ressources en ligne ou de citations scientifiques. Il est essentiel de croiser les informations, de s’appuyer sur des sources fiables, et de conserver un esprit critique même lorsqu’une IA donne l’impression de tout savoir.