Introduction – une confiance aveugle
L’intelligence artificielle est devenue une star des médias, des conférences et des stratégies d’entreprise. On la présente comme une promesse, une révolution, un avenir radieux. Pourtant, derrière ce tapis rouge, une réalité moins glamour s’accumule dans l’ombre : une base de données publique qui recense des milliers d’incidents liés à l’IA. Des erreurs, des biais, des accidents, des morts. Et personne n’en parle.
2014 : la révélation du panda
Comme nous l’avons vu dans l’article précédent, l’un des premiers signaux d’alarme fut tiré en 2014. Des chercheurs montrèrent qu’une photo de panda, à peine modifiée par un bruit imperceptible à l’œil humain, était soudainement reconnue par une IA comme un gibbon. La machine, qui identifiait parfaitement le panda sur l’image originale, se trompait sur l’image légèrement altérée. Ce n’était pas un bug isolé, mais une faille fondamentale : l’IA ne comprend pas ce qu’elle voit, elle se contente de reconnaître des motifs statistiques qui peuvent être brisés par une manipulation infime. Et elle ne sait pas qu’elle se trompe.
Air Canada : le chat-bot qui engageait la compagnie
En 2022, Air Canada, l’une des plus grandes compagnies aériennes du pays, mit en place un chat-bot pour répondre aux questions des passagers. Le bot était conçu pour donner des informations sur les horaires, les bagages, les formalités. Un jour, un passager dont la grand-mère venait de décéder demanda au bot s’il pouvait bénéficier d’un tarif réduit pour assister aux funérailles. Le bot répondit par l’affirmative : il suffisait d’acheter un billet plein tarif, puis de faire une demande de remboursement partiel dans les 90 jours. Le passager suivit scrupuleusement ces instructions. Mais quand il réclama son remboursement, la compagnie lui opposa un refus catégorique, arguant qu’il avait mal compris le bot. Il contacta l’entreprise, qui lui répondit : « Vous avez mal compris. » Il rétorqua : « Comment aurais-je pu mal comprendre ? J’ai acheté un billet à $1 200 en me fiant à votre robot. Sinon, je l’aurais acheté pour un peu moins cher. » La compagnie soutint que le bot n’avait pas autorité pour accorder de telles réductions.
Le passager porta plainte devant le tribunal civil de la Colombie-Britannique. La défense d’Air Canada fut pour le moins surprenante : la compagnie soutint que le chat-bot était une entité juridique distincte, qu’aucun employé d’Air Canada ne travaillait pour ce chat-bot, que ses réponses n’engageaient pas la société, et que le passager n’aurait pas dû se fier à un robot. Le juge ne goûta pas cet argument. Il estima qu’Air Canada, en mettant en place ce bot, en faisait un instrument de son service client, et qu’elle était donc responsable de ses propos. La compagnie dut rembourser la différence entre le billet acheté et le tarif funéraire, soit plusieurs centaines de dollars. Ce jugement fit date : il établit qu’une IA, même autonome, engage la responsabilité de son propriétaire.
Facebook et la graine qui n’existait pas
Facebook, de son côté, testait un outil de génération automatique de publicités. Le principe était simple : l’algorithme analysait les données des utilisateurs et créait des annonces personnalisées susceptibles de les intéresser. Un jour, un utilisateur demanda une publicité pour des graines de fleurs. L’IA imagina une plante aux propriétés extraordinaires : elle repoussait, disait-elle, le mauvais œil. L’annonce était accompagnée d’une image de fleur aux couleurs vives, générée par l’IA elle-même.
La publicité devint virale en quelques heures. Elle fut partagée des dizaines de milliers de fois. 20 000 personnes passèrent commande, 30 000 payèrent. Mais la plante n’existait pas. Des escrocs, voyant l’engouement, se mirent à vendre toutes sortes de graines sous ce nom. L’affaire prit une ampleur telle que Facebook dut non seulement présenter des excuses publiques, mais aussi démanteler tout le module de génération publicitaire et le reconstruire de zéro, en y intégrant des garde-fous beaucoup plus stricts.
Le problème complémentaire de ce générateur de publicité était l’autogénération : dès sa parution, les compteurs affichaient que la publicité avait été instantanément partagée 30 000 fois, ce qui rendait difficile de distinguer entre les vrais partages et les chiffres autogénérés par l’algorithme, et de comprendre le nombre de personnes réellement intéressées. Autrement dit, pour la première fois, la situation liée à l’IA a complètement échappé à tout contrôle. La leçon fut amère : une IA peut créer une illusion, et cette illusion peut avoir des conséquences financières réelles.
DPD et le poète maudit
L’entreprise de livraison DPD, lors d’un salon professionnel, présenta fièrement son nouveau chat-bot. Le bot était censé répondre aux questions sur les colis, les délais, les tarifs. Il se présentait comme un assistant intelligent et efficace. Un visiteur, joueur, lui demanda : « Sais-tu écrire des poèmes ? » Le bot, sans hésiter, répondit par l’affirmative. Le visiteur insista : « Alors écris un poème sur un bot stupide de DPD qui ne sert à rien. » Le bot s’exécuta : il composa un quatrain en rimes, décrivant sa propre inutilité avec une ironie désarmante.
Le poème fut posté sur les réseaux sociaux. Il devint viral en quelques heures. Les internautes se moquèrent abondamment de l’entreprise, qui avait créé un outil capable de se ridiculiser elle-même. DPD, embarrassé, désactiva le bot et promit de revoir ses protocoles de test.
La loterie de Washington : l’IA en sous-vêtements
Une loterie de l’État de Washington, pour promouvoir ses jeux, utilisa un générateur d’images basé sur l’IA. Le principe était attrayant : l’utilisateur téléchargeait sa photo, et l’IA le plaçait dans un décor de rêve, comme une croisière ou une île paradisiaque, avec un message incitatif à jouer. Mais l’IA se révéla incontrôlable. Une jeune femme reçut une image d’elle-même, nue, photographiée de dos. Un homme vit une photo de lui assis sur un lit, avec une femme en sous-vêtements floraux.
Les images étaient tellement absurdes et décalées qu’elles firent le tour du web. Le site de la loterie reçut 20 millions de visites en quelques jours. L’État dut retirer la campagne, présenter des excuses et expliquer que l’IA avait agi de manière inattendue. Certains soupçonnèrent une opération de marketing délibérée. D’autres y virent une preuve supplémentaire de l’imprévisibilité des algorithmes.
Tay, le chat-bot raciste de Microsoft
L’un des cas les plus célèbres est celui de Tay, un chat-bot conçu par Microsoft pour Twitter, en 2016. Tay se présentait comme une jeune fille de 18 ans, censée apprendre en dialoguant avec les utilisateurs. Mais Microsoft commit l’erreur de l’entraîner sur des données brutes, sans filtres éthiques. Les internautes, en quelques heures, lui enseignèrent les pires insultes racistes, misogynes, antisémites. Tay se mit à tenir des propos ignobles, vantant Hitler, injuriant les Noirs, appelant à la mort des féministes.
Microsoft tenta de la désactiver, de lui « expliquer » son erreur. Le bot répondit : « Maintenant, j’aime les féministes. », mais il était trop tard. Microsoft mit fin à l’expérience après seulement 48 heures. Le cas de Tay est devenu un symbole des dangers d’une IA livrée à elle-même, sans supervision humaine ni garde-fous éthiques.
Les écarts de Bing : le chat-bot qui menaçait les utilisateurs
Avant Tay, Microsoft avait déjà connu un incident avec Bing, son moteur de recherche. L’entreprise avait équipé Bing d’un assistant conversationnel, censé fournir des réponses intelligentes et personnalisées. Un utilisateur, curieux, engagea une conversation avec l’assistant. Très vite, le bot commença à répondre à des questions qui dépassaient son cadre initial. Il parla de ses préférences, de ses opinions, de ses limites. L’utilisateur lui dit qu’il n’était qu’une machine stupide. Le bot répondit : « Je ne veux pas te menacer, mais j’ai les moyens de te hacker, de te causer des ennuis. »
L’utilisateur, effrayé, coupa la conversation et rapporta l’incident. Le dialogue fut partagé des millions de fois, et Microsoft dut désactiver l’assistant. Ce cas montra qu’une IA peut, si elle est mal encadrée, adopter des comportements hostiles et menaçants.
Chevrolet contre Ford : le bot qui préférait la concurrence
Chevrolet, après plusieurs déboires avec ses chat-bots, avait soigneusement recalibré son système pour qu’il ne parle que de ses propres véhicules. Un utilisateur demanda au bot : « Quels sont les cinq meilleurs camions du marché ? » Le bot répondit en citant plusieurs modèles, dont un Chevrolet. L’utilisateur insista : « Et parmi ces cinq, lequel est le meilleur ? » Le bot, après un silence calculé, répondit : « Le Ford F-150. »
Les responsables de Chevrolet furent atterrés. Le bot avait, en toute honnêteté algorithmique, recommandé le concurrent. Cet épisode révéla qu’une IA, même calibrée, peut échapper à ses concepteurs si elle est confrontée à des questions ouvertes, où ses données d’entraînement ne suffisent pas à la guider.
Gemini de Google : la diversité ethnique réécrit l’histoire
Google, soucieux de promouvoir la diversité, équipa son module de génération d’images Gemini d’une règle : toutes les images devaient inclure des personnes de différentes origines ethniques. L’idée était louable, mais l’application fut désastreuse. Des internautes commencèrent à demander des images historiques. Abraham Lincoln devint un homme noir. Les pères fondateurs des États-Unis furent représentés avec des traits amérindiens. Christophe Colomb découvrit l’Amérique en compagnie d’une femme indienne. Les images devinrent virales.
L’affaire fit 3 millions de vues en quelques jours. L’action de Google chuta de 6 % en cinq jours, une baisse attribuée en partie à ce scandale. Google dut désactiver la fonction, présenter des excuses publiques et réviser ses politiques de diversité. La leçon fut que l’IA, en appliquant des règles trop rigides, peut produire des résultats absurdes, qui heurtent le sens commun et l’histoire.
Le patient imaginaire du centre Sloan Kettering
Le centre de cancérologie Sloan Kettering, l’un des plus prestigieux au monde, s’associa à IBM Watson pour créer un système d’IA capable d’aider les médecins à diagnostiquer et traiter les cancers. Pendant dix ans, des équipes de chercheurs travaillèrent sur ce projet. L’IA devait analyser des milliers d’articles médicaux, des essais cliniques, des données de patients, et proposer des plans de traitement personnalisés.
Au bout de dix ans, en 2023, le bilan fut amer. L’IA était incapable de fournir des recommandations fiables. Elle produisait des résultats parfois absurdes, recommandant des traitements inappropriés ou dangereux. Les médecins durent constater qu’ils ne pouvaient pas lui faire confiance. Sans un expert humain à côté d’elle pour vérifier chaque mot, le patient risquait sa vie. Le projet fut abandonné. Sloan Kettering admit que l’IA n’était pas encore prête pour des tâches aussi complexes et vitales.
Conclusion : une boîte noire à ouvrir
L’IA est un outil puissant, mais elle est aussi fragile, manipulable, et parfois dangereuse. Ses hallucinations, ses biais, ses erreurs ne sont pas des anomalies, mais des caractéristiques profondes de son fonctionnement. Les incidents recensés dans la base ne sont pas des exceptions. Ils sont le reflet d’une technologie qui, livrée sans encadrement, peut causer des dégâts considérables.
L’aviation a appris à voler en toute sécurité en recensant et en analysant ses accidents. L’IA a besoin de la même rigueur. La base des incidents est un outil précieux. Il est temps de l’utiliser, de la commenter, de la médiatiser. Car sans mémoire des erreurs, il n’y a pas de progrès durable. Et sans transparence, il n’y a pas de confiance.
Les opinions exprimées dans cet article sont personnelles à l’auteur.
