Une technologie livrée sans mode d’emploi
L’intelligence artificielle s’est imposée dans nos vies avec une rapidité vertigineuse. Elle est partout : dans nos téléphones, nos voitures, nos hôpitaux, nos tribunaux. On en parle comme d’une révolution, d’une promesse, d’un avenir radieux. Les médias, les gouvernements, les entreprises – tous célèbrent cette avancée technologique comme si elle était le graal de notre époque. Pourtant, on a donné à un enfant les clés d’une voiture, sans lui avoir expliqué les règles de la route. Car les moyens de comprendre les risques existent. Les outils pour recenser les dangers sont là. Mais personne n’en parle.
Il existe pourtant une base de données qui répertorie les incidents liés à l’IA. Elle est publique, accessible à tous. Et elle est quasiment ignorée. Pourquoi ce silence ? Pourquoi parle-t-on tant des promesses de l’IA, et si peu de ses échecs ? Cet article a pour but de combler ce vide, et de rappeler que, sans mémoire des erreurs, il n’y a pas de progrès véritable.
Le précédent de l’aviation
Pour comprendre l’importance d’une base de données des incidents liés à l’intelligence artificielle, il faut d’abord se souvenir de ce qui s’est passé dans l’aviation. Avant 1996, les avions tombaient parfois, et on considérait cela comme une fatalité. Il y avait des calculs, des probabilités, des « taux de défaillance ». Les compagnies d’assurance et les constructeurs vivaient avec l’idée qu’un certain nombre d’accidents étaient inévitables. Ils avaient des formules, certes, mais ils manquaient cruellement de données concrètes, systématiques, partagées. Chaque incident était traité comme un cas isolé, et les leçons d’un crash ne profitaient pas toujours aux autres.
Puis, en 1996, on eut une idée qui semble aujourd’hui d’une évidence lumineuse : créer une base de données commune de tous les incidents aériens. Pas seulement les crashs, mais aussi les presque-accidents, les anomalies, les pannes. En accumulant ces informations, on s’aperçut que les incidents n’étaient pas des événements aléatoires. Des schémas se dessinaient. Des faiblesses récurrentes, des pièces défaillantes, des erreurs de conception qui se répétaient. On put les identifier, les corriger, les prévenir. La sécurité aérienne fit un bond en avant. Et tout le monde se demanda : pourquoi avons-nous attendu si longtemps ?
Cette histoire nous enseigne une chose simple : sans mémoire des erreurs, il n’y a pas de progrès durable. Et c’est précisément ce qui nous manque aujourd’hui dans le domaine de l’intelligence artificielle.
La fragilité fondamentale de l’IA
Le premier signal d’alarme fut tiré en 2014. Ce ne furent même pas des discussions, mais des articles scientifiques qui montrèrent que les modèles d’IA, ceux que nous appelons aujourd’hui « intelligence artificielle », sont en réalité d’une fragilité déconcertante. On peut les tromper, les induire en erreur, les manipuler – et ce, à plusieurs niveaux.
Tout d’abord, au niveau des données. Si l’on nourrit le système avec des données mal étiquetées, absurdes, ou intentionnellement falsifiées, le modèle perd son bon sens. Ensuite, au niveau de l’étalonnage. Si on le règle mal, il peut dérailler. Enfin, au niveau de l’utilisation. Si on le place face à une situation inconnue, une situation qui ne figurait pas dans son entraînement, il peut devenir dangereux. Le problème est que l’IA ne sait pas qu’elle a perdu sa boussole. Elle continue, imperturbable, à donner des réponses, parfois les plus stupides ou les plus nuisibles.
L’exemple devenu célèbre du panda illustre bien cela. Les chercheurs ont pris une photo de panda, y ont ajouté un bruit imperceptible pour un œil humain, et voilà : la machine, qui voyait un panda l’instant d’avant, identifie désormais un gibbon. Une même image, à peine modifiée, change de sens pour l’algorithme. C’est une faille fondamentale : l’IA ne comprend pas ce qu’elle voit. Elle ne fait que reconnaître des motifs, et ces motifs peuvent être brisés par un rien.
L’éthique entre en jeu
En 2015, la faille technique s’est doublée d’une faille éthique. L’affaire de « l’Obama à la banane » fit scandale : le filtre de recherche de Google, lorsqu’on cherchait « singe avec banane », affichait des photos de Barack Obama et de sa femme Michelle en train de manger une banane. Une insulte, une atteinte à la dignité humaine, un stéréotype raciste amplifié par l’algorithme. Les ingénieurs durent intervenir, ajouter des règles, des garde-fous, des tests supplémentaires. Mais ces correctifs ne sont jamais parfaits.
Récemment j’ai tapé « singe stupide » dans différents moteurs de recherche. L’un d’eux a affiché, après 46 photos de vrais singes, une photo d’une personne réelle à la 47e position. Google, lui, a tenu jusqu’à la 150e position, avant de proposer en 151ème un article de quelqu’un sur ses propres employés… puis, à la 200e position, une jeune femme inconnue, prise dans un filet d’Instagram. Je ne sais pas ce qu’elle a fait pour mériter cela. Mais le fait est là : les filtres ne fonctionnent pas parfaitement. L’IA peut encore insulter, humilier, et si vous voulez vous offenser, vous avez le droit.
La naissance de la base des incidents IA
Devant ces problèmes, en 2016, six grandes entreprises technologiques – Amazon, Facebook, Google, DeepMind, Microsoft et IBM – créèrent le Partnership on Artificial Intelligence (PAI). D’autres les rejoignirent plus tard. L’objectif affiché était de promouvoir un développement éthique, légal et sûr de l’IA. Et en 2018, ils lancèrent un projet ambitieux : créer une base de données commune des incidents liés à l’IA, sur le modèle de la base aéronautique.
Le site incidentdatabase.ai est né. Il est public, accessible à tous. Il a été confié à Sean McGregor, un expert qui avait déjà dirigé un projet d’IA sur de grandes bases de données. Bref, quelqu’un qui savait de quoi il parlait. Et pourtant, dans le vacarme médiatique autour de l’IA, on n’en parle presque jamais. On ne donne pas de chiffres, pas de panorama, or il est temps de le faire.
Ce que contient la base des incidents
En septembre 2024, la base comptait plus de 3 000 incidents. Parmi eux, 430 sont liés aux deepfakes ayant un grand impact, qui ont causé des problèmes politiques et économiques. 305 sont des fakenews. Environ une fausse nouvelle importante est ajoutée chaque jour. Et dans 358 cas, il y a eu un décès.
Parmi les cas les plus marquants, deux accidents de robotique. Le premier, en 2016, sur une chaîne d’assemblage de Volkswagen : un ouvrier réglait un robot, et celui-ci l’a électrocuté. Le second, à l’automne 2024, en Corée du Sud : un robot de conditionnement des cartons avec les fruits et légumes a pris un employé pour un colis qui n’était pas fermé et lui a perforé la poitrine, en essayant de le « packager ».
Les accidents de Tesla sont très nombreux. Presque 1 000 accidents recensés, avec 43 morts. Dans près de la moitié des cas – environ 470 – le pilote automatique était impliqué. Et dans 14 cas, il était directement responsable de la mort. Le premier cas fut absurde : une Tesla a traversé un carrefour et a percuté une semi-remorque. Elle était haute et on voyait le ciel sous son châssis, et son bord était bleu clair, ce que l’IA avait confondue avec le ciel. Donc, l’autopilote a foncé tout droit. Plus récemment, une milliardaire, en se garant dans sa Tesla blindée, a appuyé par inadvertance sur le bouton de la marche arrière. Tesla a reculé et est tombée dans la piscine. La voiture a perdu sa charge, la dernière chose qu’a faite le système – il a bloqué les portes. Impossible d’ouvrir les vitres, impossible d’ouvrir les portes, impossible de briser les vitres blindées. La femme est morte noyée dans sa voiture, devenue une cage de verre blindé.
L’affaire Boeing 737 Max
Le cas le plus longuement discuté fut celui des deux Boeing 737 Max qui se sont écrasés à six mois d’intervalle en Afrique, avec la même panne. L’avion avait été modifié : on lui avait installé des moteurs plus puissants, ce qui avait déplacé le centre de gravité, donnant à l’appareil une légère inclinaison vers l’arrière. Le logiciel de pilotage, programmé pour une autre configuration, interprétait mal les données. Au décollage, dans le couloir aérien étroit de l’aéroport, le programme avait la priorité par rapport au pilote humain. Il voyait l’avion monter le nez, et le rabaissait. Les pilotes, voyant le nez s’abaisser, tiraient sur le manche. Le logiciel, lui, réagissait en forçant encore plus le nez vers le bas. C’est ainsi que deux avions se sont écrasés.
On a d’abord cru à un capteur défaillant. Puis on a compris que c’était le logiciel qui était mal adapté : personne n’avait pensé à le réentraîner après les modifications de l’avion. C’est une leçon brutale : un algorithme, même simple, peut tuer si on le laisse appliquer des règles dans un contexte qui a changé.
Ce cas a suscité un long débat. Fallait-il l’inclure dans la base des incidents IA ? Certains disaient non, car l’algorithme n’était pas une IA au sens moderne, mais un simple système adaptatif. D’autres disaient que, précisément, c’était un excellent exemple des limites de l’automatisation. Il a finalement été inclus. Et c’est une bonne chose.
Au-delà des morts : les absurdités et les erreurs
La base des incidents ne recense pas que des morts. Elle contient aussi des anecdotes plus légères – si l’on peut dire. Par exemple, un robot-aspirateur a essayé à deux reprises de dévorer sa propriétaire ivre, qui s’était endormie sur le sol. Il lui a aspiré les cheveux, si violemment qu’elle a dû appeler à l’aide.
On n’a pas encore enregistré le cas des cueilleurs de champignons empoisonnés après avoir suivi les conseils d’un livre écrit par une IA. Mais il y en aura, car les IA génératives comme ChatGPT ne sont pas fiables dans les domaines non standardisés. Face à une question nouvelle, elles inventent. Elles hallucinent. Elles écrivent des ouvrages de cuisine qui empoisonnent.
Un outil pour l’apprenti, pas pour le maître
Il faut être juste : l’IA est utile dans beaucoup de domaines. On peut l’utiliser pour écrire un manuel de mathématiques pour l’école primaire, ou pour automatiser des procédures juridiques standard, ou encore pour gérer des milliers de dossiers de copropriété. Dans les cas prévisibles, bien délimités, elle est un assistant précieux. Mais dès qu’il s’agit de morale, de nuance, de cas limites, de situations inédites, elle commence à halluciner. Elle peut vous rédiger un livre de recettes de champignons qui tue.
La justice elle-même pourrait être partiellement automatisée : les requêtes standard, les décisions routinières, les recours répétitifs – une IA peut les traiter. Mais sur les marges, là où la loi hésite, où les faits sont ambigus, l’IA va se tromper. Et on ne saura pas quand, ni comment.
Pourquoi personne n’en parle ?
Je suis sincèrement étonnée que la base des incidents IA soit si peu mentionnée dans les médias. Elle est ouverte, gratuite, facile à consulter. On peut y chercher « mort » et voir combien de vies ont été perdues. On peut y chercher « deepfake » et voir combien de manipulations ont eu lieu. On peut même y trouver des cas amusants, comme le robot-aspirateur qui voulait manger sa propriétaire.
Les médias aiment parler de l’IA : progrès, promesses, craintes. Mais ils oublient souvent de parler des échecs. C’est une erreur. Comme dans l’aviation, c’est en compilant les échecs qu’on apprend à éviter les catastrophes. La base des incidents IA est la boîte noire de notre époque. Et il est grand temps de l’ouvrir.
Conclusion – une mémoire pour l’avenir
Actuellement la base des incidents IA contient environs 3 000 incidents. Jusqu’à présent, la base a doublé tous les deux ans, suivant une sinistre loi de Moore.
Ce n’est pas une question de diaboliser l’IA, mais de l’encadrer. Ce n’est pas une question d’arrêter le progrès, mais de le rendre sûr et pertinent. Et pour cela, nous avons besoin de mémoire. Nous avons besoin d’une base des incidents, ouverte, partagée, exploitée. Nous avons besoin de savoir où l’IA nous mène – pas seulement quand elle brille, mais aussi quand elle tombe.
La base des incidents existe. Elle est là, à portée de clic. Mais elle ne servira à rien si personne ne la consulte, si personne n’en tire les leçons. C’est à nous, utilisateurs, décideurs, citoyens, de faire en sorte qu’elle ne reste pas une boîte noire oubliée dans un coin.
P.S Mise à jour du 19 février 2026 : La base contient environs 6 000 incidents, dont 3 000 violations éthiques ou juridiques, 3 000 autres cas ont entraîné des blessures, dont plus de 100 décès – certains collectifs.
Les opinions exprimées dans cet article sont personnelles à l’auteur.
