Les 11 bugs les plus célèbres de l’histoire

1. Table des matières

1. Table des matières .............................................................................................................................1

1 Causes techniques et humaines .........................................................................................................2

2 11 bugs célèbres .................................................................................................................................4

2.1 La perte de Mariner 1 ..................................................................................................................4

2.2 Effondrement du toit du Colisée de Hartford .............................................................................7

2.3 Explosion du gazoduc transsibérien ............................................................................................9

2.4 Fausse attaque nucléaire US contre la Russie ...........................................................................11

2.5 La médecine qui tue ..................................................................................................................14

2.6 Le crash de Wallstreet : le lundi noir ..................................................................................... 17

2.7 Une ligne de code bloque les lignes téléphoniques AT&T ..................................................... 18

2.8 Un missile SCUD détruit un baraquement de l’armée US ..................................................... 19

2.9 Le Pentium mauvais calculateur ............................................................................................ 20

2.10 La fusée Ariane explose au décollage ................................................................................. 21

2.11 Mars Orbiter disparaît sur Mars ......................................................................................... 22

3 Analyse des causes .....................................................................................................................

23

4 Notes ..........................................................................................................................................

26

EQL©2018
1 Causes techniques et humaines

En 2009, probablement en raison d’une erreur présumée dans le fonctionnement des sondes Pitot
fournies par la société Thalès, l’Airbus 453 Rio-Paris disparaît mystérieusement dans l’Atlantique. Le
syndicat des pilotes demande à son personnel de ne plus naviguer sur les Airbus dont au moins deux Pitots
n’ont pas été modifiées.

À la suite de plusieurs incidents les mois précédents, la société Thalès avait déjà mis en garde les
utilisateurs. L’Airbus selon le syndicat devient instable lorsque les sondes cessent de fonctionner.

Ce bug, toléré par Air France avant l’accident, aura coûté la vie à deux cent vingt-huit personnes. Il
avait déjà été reporté à plusieurs reprises bien avant 2008. Notamment dès 1998, les responsables de
Lufthansa avaient rapporté un incident semblable lors du survol du Mont Cameroun, lorsque les
températures chutent parfois au-dessous de -70°. Prévues pour des températures de -50° les sondes Pitot,
selon divers professionnels dont le syndicat des pilotes, ne respectaient pas les spécifications du cahier des
charges. Il s’agit ici de négligence, d’avidité, de déni et de persistance dans le déni. Les conséquences vont
au-delà et à contre-courant du but poursuivi, puisque à terme, c’est le marché des Airbus qui est remis en
cause.

De Tchernobyl aux prochaines catastrophes à venir, voici un petit historique des principaux bugs de
l’histoire et de leurs conséquences.

Certains découlent d’une erreur de conception et d’autres de codage. Parfois les tests et
vérifications n’ont pas été effectués, les marges de sécurité sont insuffisantes et, dans de rares cas, les
bugs ont été introduits de façon délibérée.

Plus graves, ce sont parfois des causes économiques qui provoquent les accidents, telles que le
désir de baisser les coûts de fabrication ou de réduire les retards, sans compréhension des conséquences à
long terme. Les résultats sont les mêmes, catastrophiques.
EQL©2018
 Dans le chapitre suivant, nous analysons comment chaque cause contribuant à l’erreur survient et
comment elle pourrait être prévenue.

EQL©2018
2 11 bugs célèbres

2.1 La perte de Mariner 1

La sonde Mariner 1 échappe à tout contrôle lors de son lancement en 1962. Pour éviter qu’elle ne
s’écrase sur des zones habitées, elle est détruite en vol, 293 secondes après son lancement. Un
programmeur avait malencontreusement oublié, dans une formule écrite à la main, de reconnaître un
signe constitué d’un trait au dessus d’un symbole mathématique (overbar) :

Ce signe oublié devenait de ce fait le plus cher caractère de l’histoire. Le système de guidage émit
des corrections aberrantes et excessives. Coût : 18 millions de dollars des années soixante. Cette erreur
qui coûta sa crédibilité à la première mission d’une sonde en direction de Venus, était difficile à expliquer
aux journalistes et au congrès. Le terme ‘overbar’ est inconnu du public et les communiqués de presse
parlèrent d’un ‘trait d’union manquant dans une formule mathématique’. Quoi qu’il en soit, l’overbar
audessus d’une fonction peut dénoter :

• Une solution exacte par opposition avec une solution approchée.

• La valeur absolue au dessus d’un nombre.

• En physique sous l’appellation ‘over bar’ on désigne une quantité dite ‘perturbée’ par
exemple en sortie d’un réacteur, dans un espace de Fourier les harmoniques de polarisation
opposée.

EQL©2018
 • En mécanique du chaos une boucle infinie.

• Ailleurs encore des signaux bas actifs.

• En statistique une valeur moyenne.

• Enfin en logique, il marque la négation, comme dans le titre d’Alfred Van Vogt « Le
monde
des Ā » ( = non-A, pour Non-Aristotélicien).

Nous arrêterons là la liste des significations possibles de cette overbar dont aucun dictionnaire
bilingue parmi la douzaine que nous avons consultée ne donne une traduction. Le mot est simplement
ignoré. Il n’est pas étonnant que le programmeur fautif se soit senti impuissant, d’autant que les
dictionnaires américains se contentent de le décrire comme un simple signe typographique sans lui
accorder d’autre signification que contextuelle.

Quelques années plus tard, en 1965, un compte-rendu plus précis fut publié. Il ne s’agissait plus
d’une erreur mais de deux, la première masquant la seconde. L’antenne Atlas, sorte de parabole utilisée
pour le guidage, fonctionnait, tout comme plus tard la sonde Pitot de Thalès, en dessous de ses
spécifications. Sa réception aurait dû être refusée lors des tests d’intégration. Lorsque l’Atlas perdit le
contact avec le sol qui lui donnait des instructions, le cas était néanmoins prévu. Le relais fut passé au
programme contenant l’algorithme fautif, dans l’ordinateur de bord, provoquant l’échec de la mission.

Après analyse, on constata que l’overbar fautif avait pour but de demander le lissage d’une
fonction, faute de quoi le programme établissait des corrections trop fortes. Citons le texte original :

‘The error had occurred when a symbol was being transcribed by hand in
the specification for the guidance program.
The writer missed the overbar in by which was meant "the nth smoothed
value of the time derivative of a radius R". Without the smoothing function
indicated by the bar, the program treated normal minor variations of velocity as
if they were serious, causing spurious corrections that sent the rocket off
course’.
Ce qui nous intrigue ici, c’est l’absence de test adéquat consacré à une fonction aussi importante. Il
faut souligner que les langages ne possédaient pas la puissance et la fiabilité de programmes tels que plus
tard Mathematica ou Mathlab. En l’absence d’un programmeur réellement mathématicien, les choses
étaient délicates, l’espace blanc par exemple ne possédant pas de signification en Fortran et la confusion
EQL©2018
possible entre le point et la virgule s’avérant dans le contexte dramatique. Les causes sont ici linguistiques
avec l’ambiguïté du signe overbar, organisationnelles avec la laxité des tests pour ne pas dire leur
absence et psychologiques avec l’ignorance ou la peur du programmeur qui ne comprend pas la formule et
décide de simplement ignorer la difficulté. Ajoutons-y la négligence, le narcissisme, le dandysme et la
fatuité de l’ingénieur qui griffonne au lieu d’expliquer et qui ne vérifie pas qu’il a été compris. Survient
également une panne matérielle, puisque la sonde défectueuse active le bug latent.

EQL©2018
2.2 Effondrement du toit du Colisée de Hartford

Le toit du stade de Hartford, aux Etats Unis, s’effondre brutalement le 18 janvier 1978. Malgré son
treillage d’acier il cède quelques heures seulement après que cinq mille spectateurs l’aient quitté. Un
programmeur avait présumé que les compressions seraient directes et prévisibles. Mais lorsqu’un des
supports commença à céder après de fortes chutes de neige, cela provoqua une réaction en chaine
semblable à une chute de dominos. Trois erreurs de conception furent mises en cause :

• Surcharge de 852 % de compression extérieure sur les couches supérieures est et ouest.
• Surcharge de 213 % de compression extérieure sur les couches supérieures nord et sud.
• Surcharge de 72 % de la compression intérieure dans la direction est-ouest, peut-être consécutive
aux déséquilibres extérieurs.

Bilan : coût direct 70 millions de dollars, coûts indirects 20 millions du fait des suspensions de
recettes. Une importante catastrophe humaine est évitée de justesse. De nombreuses violations des
critères de sécurité et une absence de respect des normes seront constatés après coup. Le logiciel de
conception de type CAM (Computer Aided Manufacturing) n’a pas permis d’anticiper la catastrophe, bien

EQL©2018
que des courbures importantes et anormales aient été observées en phase de construction et sans aucune
neige.

Ce bug est atypique en ce sens qu’il traduit une incompétence totale, une inaptitude à utiliser le
logiciel et un mépris des règlements. Cela ressemble à du vite fait mal fait dans le but de s’enrichir. Les
vérifications n’ont pas été entreprises, les simulations ont été bâclées, pour autant qu’elles aient été
réalisées. L’avidité a joué un rôle clé. ‘The roof was designed with help from some of the best civil
engineering consultants, universities, and professors in the industry and had a special computer analyzed
'space frame' design--meant to equally balance the load so that lighter and cheaper material could be
used.’

Les contrôles ont été absents ou insuffisants, peut-être à cause des délais à respecter ou des
bénéfices à maximiser. Dans ce type de situation il est fréquent que la peur empêche les ingénieurs de faire
valoir leur point de vue comme ils le devraient. Ajoutons qu’il semble que nous soyons dans un
environnement schizophrénique, puisqu’aucun lien ne semble exister entre le financement optimisé d’une
part et la coûteuse réalisation technique de l’autre. Comme en bien d’autres cas, le court terme
prédomine. Il manque une vue globale. Les avertissements ont pourtant été lancés : ‘During the failure
investigations, i twas found that excessive deflections, a sign of structural deficiencies, observed during the
construction process. The measured deflections, some twice as much as the value predicted by the
computer analysis could have been a warning that a problem existed. In the report to the Hartford City
council, LZA stated that ‘there should have been a resident specialist structural engineer with full time
involvement during the assembly and erection of the space truss roof.’ (Ross 1984). During the
investigation, the Hartford’s City council’s panel found that the architect had twice recommended that a
qualified structural engineer be hired to provide a site inspection (Feld and Carper 1997). The
recommendation was rejected by the construction manager.’

Pour conclure, on notera un lien insuffisant entre la gestion du projet tournée vers le respect des
délais et l’optimisation des bénéfices, et son élaboration technique. Le management a ignoré les mises en
garde des constructeurs et des experts. On arrive au final à un résultat en totale contradiction avec les
objectifs : perte de crédibilité, menaces sur la vie humaine, surcoûts importants et risques sur le plan
pénal.

EQL©2018
2.3 Explosion du gazoduc transsibérien

La plus grande explosion non nucléaire de l’histoire survint en janvier 1982 dans le gazoduc
transsibérien Urengoy - Surgut - Chelyabinsk. Elle fut provoquée par un sabotage à l’initiative de la CIA et
approuvé par le président Reagan. Le bug introduit volontairement dans un logiciel canadien volé par le
KGB provoqua une surpression conduisant à une énorme explosion. A cette époque les USA, pour des
raisons politiques, tentaient d’empêcher l’Europe d’importer le gaz russe. Les russes de leur côté avaient
besoin d’un logiciel de contrôle automatisé pour leur pipelines. Ils ignoraient qu’une ‘time bomb’ insérée
dans le logiciel volé allait provoquer une explosion équivalant à trois millions de tonnes de TNT.

Thomas C. Reed écrit dans son livre At the Abyss: An Insider's History of the Cold War : "The
pipeline software that was to run the pumps, turbines and valves was programmed to go haywire, to reset
pump speeds and valve settings to produce pressures far beyond those acceptable to the pipeline joints
and welds. The result was the most monumental non-nuclear explosion and fire ever seen from space."

Des fonctionnaires et des conseillers de la Maison-Blanche furent avertis par des satellites à
infrarouge qu'un étrange événement était arrivé à un endroit dépeuplé du territoire soviétique. Le NORAD
(North American Aerospace Defense Command) redouta qu'il s'agît d'un lancement de missile depuis un
endroit dont on ignorait qu'il fût habité et de la détonation d'un engin nucléaire. Les satellites pourtant
n'avaient détecté aucune pulsation électromagnétique typique des explosions atomiques. Avant que ces
signaux ne risquent de déclencher une crise internationale, Gus Weiss, conseiller du président, s'engouffra
dans un couloir pour avertir ses collègues du Conseil national de sécurité de ne pas s'inquiéter. Cette
catastrophe sans mort d’hommes fait partie de la catégorie rare des sabotages. Elle fut documentée dans
le dossier Farewell, déclassifié en 1996, avec quelques ajustements politiques quant au rôle de la CIA.

Ce cas met en évidence un point développé plus loin, à savoir que la plupart des logiciels sont

EQL©2018
totalement illisibles. Imaginons que le bug ait été introduit non pas dans un logiciel de gestion de gazoduc
mais plutôt dans celui d’une centrale nucléaire. Les logiciels à risques, plus que d’autres, se doivent d’être
compréhensibles par n’importe quel programmeur compétent et d’être en conséquence conçus de façon
simple, claire et non ambiguë.

EQL©2018
2.4 Fausse attaque nucléaire US contre la Russie

Cette catastrophe due à une erreur d’interprétation, bijective au lieu de surjective, aurait eu pour
coût des millions de morts. Le 26 septembre 1983, un satellite russe rencontre un alignement rare de la
Terre avec le soleil, dont la signature infrarouge est interprétée comme un lancement de missiles
nucléaires ennemis. Le colonel Petrov, responsable de la surveillance pour le centre d’observation des
orbites Molniva (orbites en forme d’œuf, variant de 450 à 40 000 km d’altitude et offrant davantage de
vision que les satellites géostationnaires. Elles évitent normalement les erreurs d’interprétation dues aux
reflets sur les nuages) est averti juste après minuit. Cinq missiles étaient détectés, à tort, on l’ignorait à ce
moment là. En même temps, le système informatique avertit l’Etat Major Général et un échange de
communications téléphoniques démarra, laissant l’initiative au colonel Petrov. Celui-ci, secondé par son
équipe, jugea que si les Etats Unis étaient réellement en train d’attaquer, ils ne lanceraient pas cinq
missiles mais bien davantage. Les satellites géostationnaires infirmèrent l’information d’une attaque
nucléaire et la catastrophe fut évitée grâce à cette redondance.

Après vérification ultérieure on constata que le système de filtrage des images avait été induit en
erreur. Le logiciel était bogué par l’absence de prise en compte dans l’analyse graphique des situations
surjectives où une image présumée interprétable d’une façon unique, ici un tir de missiles, peut avoir
plusieurs points de départ possibles, certains totalement imprévus et pouvant conduire accidentellement à
une guerre nucléaire. Ce type d’erreur ressort du fait que toutes les situations possibles conduisant à une

EQL©2018
même image n’ont pas été prises en compte. Faute d’expérience dans le domaine, puisque l’alignement
particulier des planètes et du soleil constituait une expérience nouvelle pour le système, l’image résultante
ne pouvait être entrée dans la base de données. Il s’agit ici d’une erreur de logique, due à la confusion de
la bijection et de la surjection.

Ce n’était pas la première fois que surgissait, dans les mêmes conditions, un incident impliquant
l’informatique et pouvant conduire à une guerre nucléaire. Dès octobre 1960, un dysfonctionnement d’un
système radar à Thulé, Groenland, avertit le NORAD (North American Defense) d’une attaque nucléaire
massive contre les Etats Unis. Le bug logiciel résultait de deux zéros manquant dans l’une des variables
utilisée pour mesurer la distance du risque détecté, la Lune en l’occurrence. Supposée à 390 000 km de la
Terre, le système informatique bogué la percevait à peine à 3000 km au dessus de l’océan. Elle devenait
dès lors menaçante.

Le 3 juin 1980, une centaine de B52 fut mise en alerte rouge, après un avertissement informatique
alarmant annonçant une attaque massive de missiles non encore vérifiée par les autres équipements. Trois
jours plus tard la même alerte se reproduisit. Le coupable en était un composant défectueux d’un système
radar, qui produisait des données aléatoires dans le calcul des missiles ennemis détectés… Heureusement,
les systèmes de redondance permirent de localiser le problème. Cette erreur correspond à une panne
matérielle. Le phénomène est analogue à celui de l’incident de Three Miles Island, le presque Tchernobyl
américain, durant lequel une valve fermée est annoncée ouverte.

Le 10 janvier 1984, la base aérienne de Warren, près de Cheyenne dans le Wyoming enregistra un
message système annonçant qu’un missile Minuteman III allait être lancé depuis l’un de ses silos. Il fallut
garer un véhicule blindé sur le toit de ce dernier, bloquant le lancement du missile pour empêcher
l’incident de dégénérer. Un bel exemple de bricolage lourd pour contrer un bug informatique…

Le 18 novembre 1979, c’est un programme de simulation qui faillit provoquer la guerre. On avait
oublié de le retirer des machines. Tout semblait réel au point que la mobilisation fut générale. Il fallut
avertir le président américain qu’une attaque massive en provenance de l’URSS avait été lancée et qu’il
fallait son autorisation pour lancer la contre-attaque. Heureusement le président resta introuvable. Le plus
grand danger venait du fait que la simulation rassemblait quatre grands centres de commande dont le
Pentagone, rendant les sécurités par redondance inopérantes. Heureusement le NORAD demanda
confirmation aux autres centres de surveillance qui confirmèrent qu’aucune attaque n’était détectée.
Cependant le protocole voulait que la hotline, ce qu’on surnommait le téléphone rouge, fut utilisée pour

EQL©2018
communiquer avec les russes. Du fait de négligence cela ne fut pas fait et ceux-ci, de façon simultanée,
crurent un moment que les Etats Unis se préparaient à les attaquer.

Le 25 janvier 1995, un nouvel incident se produisit, lié lui aussi à une analyse de signature. La NASA
lança depuis la Norvège une fusée destinée à l’étude des aurores boréales. Les services administratifs
américains avaient prévenu la Russie mais, pour des raisons supposées bureaucratiques, le message n’avait
pas été transmis aux services de l’armée. Quelle ne fut pas la surprise des techniciens radar soviétiques de
voir arriver sur leurs systèmes une fusée possédant la signature exacte des missiles Trident lancés par les
sous-marins américains.

Boris Yeltsin, pour la première fois dans l’histoire, ouvrit la valise possédant le bouton rouge de
déclenchement d’une guerre nucléaire. Des sources non officielles affirment que ce type d’incident s’est
multiplié de nombreuses fois de façon non documentée. Nous vivons une époque d’autant plus
dangereuse que, dans la mesure où une explosion nucléaire aveugle l’électronique ennemie, réduisant à
zéro ses communications, le fait de retarder la riposte peut faire la différence entre perdre ou gagner la
guerre. Le bon choix ne se situe pas forcément dans l’attente d’une vérification. En l’absence de sécurités
par redondance et d’un matériel important, les erreurs informatiques risqueraient de conduire à des choix
à deux perdants. Par exemple une guerre ‘régionale’ entre l’Inde et le Pakistan serait, selon certains
spécialistes, présumée causer un milliard de morts et abaisser la température moyenne de la Terre de
1,25°c, réduisant la saison des récoltes de vingt jours par an. Selon une étude de Brian Toon, professeur
d’environnement de l’université du Colorado, une centaine de petites explosions de quinze kilotonnes
détruirait de trente à quarante pour cent de la couche d’ozone, créant une brèche par où s’engouffreraient
les rayonnements mortels émis lors des tempêtes solaires.

Dans les cas cités plus haut, nous observons essentiellement des défaillances de composants, des
bugs logiciels liés à une insuffisance de compréhension du problème à traiter (cas particuliers improbables
non pris en compte) donc des erreurs conceptuelles inévitables, des erreurs d’étourderie dans la
programmation des composants (donc impossibles à corriger) et des erreurs humaines dans la remontée et
le suivi de l’information.

EQL©2018
2.5 La médecine qui tue

En 1985, le Therac 25, machine de soins à base de radiations, fut à l’origine de plusieurs décès. Le
Theriac disposait d’un logiciel qui simplifiait les réglages en les automatisant. Il gérait également la sécurité
des patients qui ne devaient pas être exposés trop longtemps. Mis en services en 1983, les Theriac furent
interdits d’utilisation en 1987, le temps d’y introduire des sécurités conformes aux règlements de la FDA
(Food and Drug Administration). Entretemps, pour des raisons de formation du personnel insuffisante et
d’absence de sécurités intégrées, il causa de nombreux décès, sans parler des irradiations graves mais non
fatales.

Techniquement le Theriac est un accélérateur de particules, bombardant les cellules cancéreuses

de façon ciblée. Le rayon à haute énergie est divisé en plusieurs rayons plus petits empruntant chacun des
trajets différents. Cela ne crée pas de lésions irréversibles sur les différents chemins. La tumeur au
contraire reçoit en totalité une dose concentrée. Pour des raisons d’efficacité les traitements sur des
tumeurs relativement peu profondes utilisent les rayons d’électrons mais pour les traitements en
profondeur, les électrons sont convertis en rayons X.

Tout comme les précédents Therac, notamment le 6 et le 20, le 25 fonctionnait sur PDP 11, mais
seuls le 6 et le 20 possédaient d’importantes sécurités intégrées. Ils étaient livrés couplés à la machine,
avec des sécurités matérielles. Le 25 au contraire utilisait des sécurités logicielles et AECL, la société
produisant les Therac, ne dupliqua pas l’ensemble des verrous matériel/logiciel destinés à empêcher les
surdosages. Pire, le modèle 25 réutilisait des routines des modèles 6 et 20 dont certaines contenaient des
EQL©2018
bugs, jusque là invisibles du fait de la redondance des sécurités couplant le matériel au logiciel. Celles-ci
malheureusement avaient disparu du Therac 25. Le responsable de la sécurité chez AECL ne découvrit ce
fait qu’après les premiers accidents. Comme dans le cas du bug ayant provoqué la perte de la fusée Ariane,
une défaillance imprévue d’un élément met en évidence un bug grave jusque là caché dans les
programmes de secours.

Pour comprendre les circonstances des accidents, il suffit de se souvenir que le Therac possède
deux niveaux d’énergie, l’un faible à destination des flux d’électrons et l’autre fort destiné à la génération
des rayons X. La machine étant double mode, on passe de l’un à l’autre selon le traitement à appliquer. La
confusion des deux modes, qui consiste à octroyer aux rayons d’électrons la puissance réservée aux rayons
X, provoque des accidents mortels. Le Therac 6 générait uniquement des rayons X selon une puissance de
six millions d’électrons volts. Le Therac 20 en générait vingt et disposait d’un mode mixte, accompagné de
sécurités matérielles et logicielles. Le Therac 25 disposait d’une puissance de vingt-cinq millions d’électrons
volt et avait été allégé des lourdes sécurités matérielles, lesquelles étaient remplacées par des sécurités
logicielles. Certaines étaient issues du Therac 6, lequel fonctionnait uniquement en mode rayon X, et elles
étaient boguées. Les circonstances étaient réunies, en l’absence des fortes sécurités matérielles
redondantes, pour que des doses de faisceaux d’électrons soient émises avec l’intensité, mortelle hors
contexte, nécessaire aux photons des rayons X.

Nous venons de voir que l’ancien système matériel, totalement fiable, verrouillait les modes de
façon visible alors que le nouveau, hautement informatisé contenait des bugs. En cas d’erreurs celles-ci
restaient désormais cachées au regard de l’utilisateur. Nous sommes dans un cas de surjection. Pour un
point d’arrivée il peut y avoir deux points de départ. Pour un réglage sans détrompeur bloqué en mode
rayons X, donc surpuissant, il peut y avoir une irradiation normale en rayons X ou de façon fautive en
faisceau d’électrons à dose mortelle. Analysons le détail des étapes de l’erreur. Dans l’ancien système,
l’opérateur entrait manuellement au clavier toutes les données du patient en cours. Une amélioration du
Therac 25 autorisait la duplication des valeurs précédentes par une simple frappe sur la touche Entrée. Les
servants de la machine prirent donc l’habitude d’utiliser intensivement cette touche Entrée, présumée leur
faire gagner du temps mais prédisposant aux erreurs sans aucune sécurité intégrée. Cela joua un rôle
capital dans la survenue des accidents mortels. En cas d’erreur détectée, le système possédait un mode
suspensif qui exigeait de redémarrer la machine. Il fallait à nouveau entrer manuellement toutes les
données du patient. Un système de pause était également disponible qui ne demandait qu’une frappe de
touche pour faire redémarrer la machine sans pertes de données. A ce stade interviennent des erreurs de

EQL©2018
programmation, sous forme de messages cryptiques, totalement incompréhensibles à l’utilisateur. Le
mode d’erreur par pause pouvait être invoqué cinq fois avant que le système ne passe en mode suspensif.
A chaque fois le message interprétatif de l’erreur annonçait ‘Dysfonctionnement’ suivi d’un nombre de un
à soixante quatre, mystérieux car sans commentaires.

En raison de cette absence dans le mode d’emploi d’explications relatives aux nombres affichés,
ceux-ci étaient simplement ignorés par les servants de la machine qui les considéraient triviaux. On
constate également une faiblesse dans le suivi du développement de l’interface utilisateur. Le couplage de
ces petites erreurs dont les effets se multiplient conduit, de tradition, aux plus grandes catastrophes. Ainsi
lorsque les chambres à ions servant d’atténuateurs étaient saturées, laissant filtrer des doses de radiation
trop grandes, aucun message adéquat n’était affiché nulle part. Aucun élément de logiciel n’existait pour
empêcher l’entrée de doses excessives, consécutives aux confusions rendues possible par le mode mixte.

Un personnel mal formé, un mode d’emploi ambigu, un logiciel insuffisant, l’annulation des
sécurités de verrouillage matériel qui avaient précédemment assuré la fiabilité du système, tout cela
concourrait à rendre floues les frontières entre un dosage correct et un surdosage. Au cours de l’enquête,
l’une des utilisatrices informa la commission qu’elle était devenue indifférente aux situations de
dysfonctionnement de la machine, parce que celles-ci étaient devenues trop fréquentes et apparemment
sans conséquences. Le personnel s’y était tout simplement habitué et les ignorait délibérément. Les
erreurs survenaient parfois au rythme de quarante par jour.

L’enchaînement qui suivit est exemplaire. Différents hôpitaux reportèrent des incidents et des
accidents sans que la société AECL n’y prête une grande attention. Des audits furent demandés et
obtenus dès 1983 qui se bornèrent à constater que tout fonctionnait à la perfection. Le rapport officiel
constate que :

• Des tests extensifs ont été réalisés et sous forme de simulation et en conditions réelles. La quantité
d’erreurs a été réduite.

• Les erreurs d’exécution sont dues à des pannes de composants, par des particules alpha et des
‘bruits’ électromagnétiques.

Dans l’arbre des erreurs possibles réalisé durant l’audit, seules les fautes dues aux dégradations du
matériel sont prises en compte. La probabilité d’erreurs dans le dosage d’énergie, pourtant la cause
principale des décès encore à venir, est établie à une sur cent milliards. Celle de sélection du mauvais
mode est estimée à une sur quatre milliards, sans qu’aucune justification ne soit présentée pour justifier

EQL©2018
ces deux nombres. Six accidents surviennent entre 1985 et 1987. AECL avait pourtant depuis 1983
connaissance des erreurs de logiciels présentes dans le code du Therac 20 et reportées sur le 25. Les
sécurités matérielles en oblitéraient les conséquences en verrouillant le système. Les plaintes des patients
ne furent pas entendues, malgré des traces de brulure et des picotements douloureux. A l’hôpital aussi
bien que chez AECL, l’attitude se résumait à un déni : ‘Il est simplement impossible que le Theriac soit
responsable’. Lorsque qu’un médecin du nom de Tim Still demanda à AECL s’il était possible qu’un
dysfonctionnement survienne en mode électrons, il lui fut officiellement spécifié que ce cas était à exclure
totalement. Les choses changèrent en 1novembre 1985 lorsqu’enfin une patiente porta plainte et attaqua
en justice.

Les différents dysfonctionnements furent mis en évidence, repris par la presse et analysés par les
différentes instances. La dose absorbée par la patiente, normalement de 200 RAD (Radiations Absorbed
Dose), était par deux fois montée à 15 000. Normalement, les constructeurs et fournisseurs de matériel
devaient reporter les incidents constatés devant la FDA (Food and Drug Administration), mais les hôpitaux
n’étaient pas soumis à cette obligation face aux constructeurs. La loi fut amendée par le Congrès en 1990.
L’étude menée à cette occasion montra que moins de 1% des décès suspects, préjudices graves et
dysfonctionnement de matériel étaient auparavant rapportés à la FDA. L’obligation de rapporter ces
incidents et accidents à la fois aux constructeurs, distributeurs et à la FDA changea la situation.

D’autres cas surgirent en 1985 et 1986, les patients recevant de 13 000 à 17 000 RAD, alors que
l’ordinateur affirmait qu’aucune dose n’avait été émise. AECL envoya des experts qui furent incapables de
reproduire l’incident. Pour conclure, les sécurités matérielles furent réinstallées et le logiciel modifié. Les
Theriac des générations suivantes n’ont plus jamais tué. Ce furent six victimes au total qui furent
nécessaires avant que des mesures ne soient prises. Le cas Theriac est probablement le plus intéressant de
tous ceux présentés ici, car il met en évidence un ensemble de faits complémentaires dont les effets
s’additionnent :

• Absence de normes de programmation, de charte graphique et de règles concernant l’interface

utilisateur.

• Réutilisation de code bogué, de deux générations en arrière.

• Ignorance des bugs concernés, insuffisance des tests fonctionnels.
• Masquage des bugs par redondance de sécurité, ce qui est une bonne chose mais conduit à penser
que le bug n’existe pas.

EQL©2018
 • Manque de sérieux dans le mode d’emploi, les messages d’erreur étant du type ‘Error malfunction
54’, sans que personne en interne chez AECL ne s’en étonne.

• Présomptions nombreuses et non vérifiées, correspondant à une légèreté d’attitude. Confusions

entre les causes matérielles et logicielles.

• Avidité. Les sécurités matérielles sont enlevées pour des raisons de prix de revient.
• Incompétence : incapacité à reproduire le bug.
• Attitude de déni conduisant à six décès.
• Arrogance : persistance dans le déni. Affirmations fantaisistes selon lesquelles après quelques
améliorations de détail dans le logiciel, AECL affirme que le taux de sécurité avait augmenté de
plusieurs degrés de magnitude !

• Insuffisance dans les procédures de rapport des incidents qui à l’époque ne sont pas transmis
systématiquement à la FDA ni à AECL.

• Incompétence des diverses expertises extérieures qui autorisent la reprise du fonctionnement du

matériel, le considérant sans danger.

• Absence de sécurité mesurant les doses réelles de RAD envoyées aux patients, qui sont jusqu’à
cent fois supérieures à ce qui est prescrit.

• Incompréhension étonnante à ce niveau des principes de sécurité. La clinique de Vancouver ayant

rajouté manuellement un système de verrouillage semblable à celui du Therac 20, AECL commente
qu’il s’agit là d’une redondance inutile, oubliant que la redondance constitue l’un des
fondamentaux de la sécurité.

Le détail des bugs trouvés et de l’historique des incidents est expliqué en détail dans le rapport de
Nancy Leveson, de l’université de Washington (voir lien PDF en fin de chapitre). Elle y mène une enquête
complète et décrit méthodiquement les interventions des victimes et les courriers échangés avec AECL.
Apparemment, certains cherchent dans le logiciel où ils trouvent des erreurs mais insuffisantes pour
expliquer les accidents, tandis que d’autres cherchent dans le matériel. Personne ne tente, selon ces
documents, de faire le lien entre les deux. Dans tous les cas, l’information reste obscurcie, même lorsqu’un
consultant indépendant intervient à la demande d’AECL : ‘An outside consultant performed the inspection,
which included a detailed examination of the implementation of each function, a search for coding errors,
and a qualitative assessment of the software’s reliablility. No information is provided in the final safety
report about whether any particular methodology or tools were used in the software inspection of
whether someone just read the code looking for errors’.
EQL©2018
 Le vérificateur de la FDA conclut : ‘Amazingly, the test data presented to show that the software
changes to edit the problem in the Therac-25 are appropriate prove the exact opposite result.’. Chacun
était donc au courant. Par qui l’expert était-il payé ?

Dans cet exemple nous trouvons l’incompétence, l’ignorance, l’avidité, le déni, la paresse et la
persistance dans le déni. S’y ajoute, fait rare, le délire logique puisque le rapport d’audit affirme de façon
contradictoire : ‘tout fonctionne à la perfection et le taux d’erreur a été réduit’. Ceci est à rapprocher de la
catastrophe de Challenger où le joint défectueux ayant été doublé, tout devait bien se passer. Cet aspect
justifie à lui-seul le chapitre sur la psychiatrie, certaines formes de folie semblant plus répandues dans les
services de marketing qui subissent l’aveuglement de l’argent, lequel occulte la logique la plus élémentaire
et tue le désir de savoir.

EQL©2018
2.6
Le crash de Wallstreet : le lundi noir

Le le 19 octobre 1987, le Dow Jones perdit 22% en une seule journée, ce qui correspondait à une
perte de 500 milliards de dollars. En France le même jour Suez introduisait son action en bourse, aidé par
une publicité où Catherine Deneuve susurrait de façon confidentielle ‘Pour les gens comme vous et moi’.
L’action à peine introduite perdit aussitôt 30%. Les coupables présumés étaient en partie les programmes
automatisés qui vendirent en masse après une hausse excessive les mois précédents, précipitant le crash.
L’excès d’ordres de vente bloqua l’informatique et aveugla les vendeurs, augmentant la panique. De
simples modifications de logiciels réglèrent ce type de situation en décidant d’une interruption des
cotations en cas de renouvellement du phénomène.

Néanmoins, la responsabilité sinon la culpabilité du crash incombe également au système boursier

qui autorise des achats et ventes à terme, pour lesquels l’argent impliqué n’est que virtuel. Dans ce
contexte, les volumes sont d’autant plus importants que nombre de joueurs jouent des sommes qu’ils ne
possèdent pas. Les ordinateurs en outre étaient réglés pour multiplier les micros transactions, compensant

EQL©2018
2.7
les petits gains individuels par leur nombre important. Ils furent entraînés dans une spirale descendante,
vendant de plus en plus vite jusqu’à la décision de suspendre les cours devenus fous. Cause retenue, une
utilisation impropre et hystérique du réseau informatique, en raison d’une législation inadaptée du
système boursier et un manque de vue à long terme.

EQL©2018
2.8

Une ligne de code bloque les lignes téléphoniques AT&T

200 000 réservations d’avions perdues, 75 millions d’appels téléphoniques ratés et une chute en
dominos des commutateurs, tout cela en raison d’une amélioration d’un logiciel, nouvellement introduite
avec une seule ligne fautive ! Et dans cette circonstance c’est tout le réseau qui saute !

Ce code était supposé favoriser une reprise rapide du trafic en cas d’incident. Une simple surcharge
mal gérée répandit l’information que le commutateur précédent était hors d’usage. Tout s’éteignit
rapidement, réaction en chaîne que personne n’avait prévue. Cause retenue, une incapacité à visualiser les
conséquences à court et long terme d’une modification structurelle, une absence de test et une structure
de base vulnérable. Le système manquait de robustesse.

EQL©2018
2.9
Un missile SCUD détruit un baraquement de l’armée US

Durant la guerre du Golfe, en 1991, un anti-missile Patriot américain en Arabie saoudite échoua
dans sa tentative d’intercepter un missile d’attaque Scud, engin russe de onze mètres de long. Ce dernier
détruisit un baraquement, tuant vingt-huit soldats près de la ville de Dharan. Ce qui nous intéresse ici est
double. Une erreur de logiciel, une simple erreur d’arrondi, fut jugée responsable de l’échec
d’interception. L’armée publia des statistiques dont on découvrit plus tard qu’elles avaient été fortement
optimisées, en d’autres termes l’erreur fut cachée.

Au total 46 missiles furent tirés sur l’Arabie Saoudite et 40 sur Israël. Sadam Hussein souhaitait
susciter une réaction israélienne violente, éventuellement nucléaire, susceptible de fédérer le monde
arabe et d’affaiblir la coalition. Malgré l’inefficacité des anti-missiles Patriot fabriqués par la société
Raytheon et dont peu atteignirent leur cible, le gouvernement américain affirma officiellement que 41
Scuds sur 42 avaient été interceptés. Les véritables chiffres furent publiés plus tard. Le système Patriot
avait détecté 88 Scuds, dont 57 combattus par le système américain, parmi lesquels 27 considérés détruits
soit moins de la moitié. Pire, comme dans un mauvais cahier des charges le mot ‘détruit’ ne correspondait
qu’à un point de vue, signifiant que le Scud avait raté sa cible et non pas qu’il avait été détruit

EQL©2018
2.10
physiquement. Selon le professeur Theodore Postol, expert et physicien issu du MIT, l’analyse des vidéos
montre que dix pour cent à peine des Patriots touchèrent réellement leur cible. Cela n’empêcha pas le
président Bush en visite chez Raytheon de féliciter la compagnie pour un remarquable et fantaisiste succès
présumé abusivement de 97%. Postol critiqua publiquement l’usage abusif de chiffres interprétés de façon
sélective et biaisée compromettant sérieusement l’expression de la vérité.

Les Patriots n’étaient que des missiles anti-aériens reconvertis en anti-missiles, par modification de
leur logiciel. Ils n’étaient pas destinés à l’interception directe mais au brouillage par aspersion de limaille de
fer. Par chance pour les américains, les Scuds de Sadam Hussein avaient été eux aussi adaptés et des
erreurs logicielles les amenaient à exploser tout seuls lorsqu’ils réentraient dans l’atmosphère. L’erreur
analysée plus tard dans le logiciel des Patriots est à rapprocher de celle rencontrée plus tard dans le
Pentium d’Intel, voir ci-dessous. Nous avons ici pour causes l’avidité, l’incompétence, le déni et le
mensonge.

EQL©2018
2.11

Le Pentium mauvais calculateur

Une représentation 3D de l’opération de division 4195835/3145727 calculée sur un processeur

Pentium avec l’erreur FDIV (Floating Point Divide Instructions) .
Les zones de dépression triangulaires indiquent les endroits où des valeurs incorrectes ont été
computéers.
Les valeurs correctes devraient se situer autour de 1.3338, mais les valeurs retournées sont
1.3337, avec une erreur au niveau du 5ème digit signifiant.

En 1993 on découvrit que le Pentium réalisait des erreurs d’arrondis dans ses divisions en virgule
flottante. Intel proposa de remplacer les cinq millions de processeur en service mais seulement chez les
clients pouvant prouver qu’ils avaient réellement besoin de la précision souhaitée, l’erreur étant évaluée à
0,006% d’inexactitude ‘seulement’. L’erreur fut découverte par un professeur de mathématiques, Tim Coe,
travaillant sur des nombres premiers. On peut vérifier sur une simple calculatrice bon marché que la
division 4195835/3145727 donne 1.33382 tandis que le Pentium affichait effrontément 1.33374. Comme
dans le cas des Patriots défaillant deux ans plus tôt, Intel commença par une attitude de déni, ne
répondant pas à la communication du professeur Tim Coe. A la même époque Thomas Nicely, un autre

EQL©2018
2.12
professeur de maths, fit la même découverte et la publia sur Internet. Intel mentit délibérément en
affirmant que ce type d’erreur ne survenait qu’une fois sur neuf milliards alors que chacun pouvait la
vérifier immédiatement sur son ordinateur. Le coût total pour Intel, outre une perte de crédibilité
momentanée, fut évalué à 475 millions de dollars.

Techniquement, il s’agissait de l’introduction d’une optimisation de la vitesse de calcul. Suite à une

erreur de saisie cinq entrées manquaient dans une table de référence. L’erreur était triviale. Le point
commun avec le cas précédent est le déni, phénomène qui favorise la durée de l’erreur et retarde les
corrections. Dans le cas du vol Airbus 453 mentionné en introduction, sept incidents similaires avaient été
mentionnés, Air France se contentant de les ignorer.

EQL©2018
2.13

La fusée Ariane explose au décollage

En 1996 Ariane échappa à tout contrôle lors de son décollage, entrainant une destruction
immédiate et la perte de cinq satellites scientifiques embarqués destinés à étudier l’interaction des vents
solaires et du champ magnétique terrestre. L’erreur survint lorsque le système de guidage s’efforça de
convertir des données de 64 bits en 16 bits de codage, provoquant un dépassement de capacité (overflow).
L’unité de secours qui prit le relais utilisait le même algorithme et subit le même dépassement de capacité.

Le coût direct de cette catastrophe fut évalué à 500 millions d’euros mais le projet Ariane en avait
coûté sept milliards. A ce jour les quelques lignes de code fautives sont estimées être les plus chères de
l’histoire, la fusée terminant son existence dans les mangroves de Guyane. Comble de malchance, la partie
fautive aurait dû être débranchée 40 secondes après le lancement et l’accident survint exactement 36
secondes après celui-ci. La cause retenue ici est un manque de vue globale et une absence de tests, à
rapprocher du conflit entre mesures anglo-saxonnes et métriques dans le cas de Mars Orbiter.

EQL©2018
2.14
Mars Orbiter disparaît sur Mars

En 1998, la sonde Mars Orbiter, après 286 jours de voyage, se prépare à entrer en service. Un sous
programme dans le module préparant l’atterrissage échoue à remplir son rôle et la sonde, estimée à 125
millions de dollars, disparaît dans l’espace, rebondissant sur l’atmosphère martienne. Après analyse on
découvre que le composant responsable de la poussée des réacteurs confond les unités. Alors que la NASA
demande des unités métriques (kilos, Newtons et mètres) dans la totalité de ses contrats, le sous-traitant a
livré un logiciel en pouces et livres. Cela révèle à la NASA une absence totale de tests en interne, comme si
la sous-traitance du travail n’impliquait pas de vérifications. Cette absence de validation n’est
malheureusement pas unique. Elle reproduit les principes du bug de Mariner 2 en 1962. Apparemment rien
n’a changé depuis, malgré l’importance des sommes engagées. On observera avec intérêt la simplicité de la
cause et la facilité avec laquelle le moindre test aurait détecté le bug.

EQL©2018
3 Analyse des causes

Au terme de cette présentation, on reste perplexe devant la nature simple et triviale des causes
techniques.

Les causes psychologiques sont plus complexes et traduisent un aveuglement qui mérite davantage
d’analyse. Le déni et la persistance dans le déni semblent d’une fréquence élevée, tout comme la
prévalence du marketing sur l’ingénierie.

Pour résumer, la sonde Mariner a souffert d’une incompréhension totale du programmeur par
rapport à ce qu’il codait. Il est responsable au même titre que celui qui a écrit la formule et que l’équipe de
test qui n’a rien vérifié. Une autre erreur est d’avoir présumé que le programmeur comprendrait la formule
ou demanderait une explication. Il s’agit ici de timidité et de crainte du ridicule.

De même, dans le cas d’Ariane, une erreur fatale est l’oubli de tester les valeurs extrêmes en même
temps que le fait de présumer qu’elles ne seront pas atteintes.

Autre erreur, le composant qui aurait dû être désactivé dès le lancement est resté en ligne pour le
cas où un reset aurait été nécessaire. On aurait alors économisé du temps. Le programmeur a omis
d’évaluer les conséquences lointaines de cette décision.

Le cas du Colisée d’Hartford montre un mépris des règles et une méconnaissance du domaine. Là
encore les cas extrêmes tels que d’importantes chutes de neige n’ont pas été pris en compte.

Le cas du gazoduc sibérien relève du bug volontaire, donc d’une forme de terrorisme. Il met
également en cause l’inaptitude généralisée à lire un code que l’on n’a pas écrit soi-même et qui ne
respecte pas des normes de programmation (variables longues et claires, respect de la taille des modules
ne dépassant pas de quinze à trente lignes).

Ces erreurs et leurs conséquences sont affligeantes. Mais plus terrible encore en sont les causes.
Les doses mortelles d’irradiations médicales du Theriac sont dues à une relation surjective d’une fonction
de dosage. Pour une même opération, on trouve deux décisions de départ possibles au lieu d’une seule :
rayons X ou radiations pour tuer les cellules cancéreuses. La relation aurait dû être bijective et de
préférence utiliser des couleurs d’interface différentes. Une seconde erreur s’est manifestée sur le Theriac,
la non remise à zéro des variables en sortie. Il en résultait qu’un patient pouvait recevoir double dose.

EQL©2018
 Les deux risques de guerre nucléaire ont une cause commune, une fois de plus une relation
surjective remplace une bijection. Pour un point d’arrivée, un déclenchement d’alerte, il existe plusieurs
types de point de départ dont certains inappropriés, par exemple le reflet du soleil sur les nuages.
Rappelons que lors des premiers tests de systèmes guerriers intelligents, le cahier des charges précisait
que tout objet non inscrit dans la base de données des appareils autorisés à survoler le territoire des Etats
Unis devait être abattu. Le test eut lieu de nuit devant un groupe de généraux. Le système de défense
intelligent déchargea aussitôt toutes ses batteries en direction de la lune qui ne figurait pas dans le
catalogue des objets autorisés. Il s’agit là d’un bug linguistique stipulant abusivement la destruction de
« tout objet volant non identifié » mettant peut-être en outre en danger des espèces d’oiseaux menacées…
L’ambiguïté aurait pu se révéler positive dans le cas où un météore de petite taille aurait, selon cette
définition imprécise, été pris pour cible et détruit Dans le cas des missiles Patriots, les causes sont
diversifiées : avidité, complicités gouvernementales, mensonges et déni, absence ou insuffisance de tests
approfondis. L’absence d’imagination des concepteurs couplée à l’insuffisance des tests est responsable
des catastrophes en dominos. La conception ici doit être remise en cause.

Les calculs faux, à la fois dans le Pentium et dans des routines de guidage des missiles Patriots,
relèvent de la pure négligence et de l’erreur humaine de base puisque dans le cas d’Intel une table
possédait cinq cellules vides, que la personne en charge de la saisie avait oublié de remplir. Le mensonge et
le déni sont apparus lorsque les responsables des relations publiques d’Intel ont affirmé avec aplomb que
le bug n’intervenait qu’une fois tous les vingt-sept mille ans, alors que chacun pouvait le reproduire en
quelques secondes. Cette erreur, de même que celle du président Bush affirmant que les Patriots avaient
atteint 97% de leurs cibles relèvent de l’erreur de communication, du mensonge et du déni.

Certaines de ces erreurs sont reprises et analysées en détail dans le chapitre consacré à la typologie
des bugs. On observe déjà que la psychologie humaine et la linguistique jouent un rôle important, puisque
le déni et le camouflage exigent par exemple de redéfinir les mots et les expressions. « Cible atteinte »
dans le cas des Scuds et des Patriots signifie simplement que le Scud a été dévié de sa course et non pas
détruit en vol.

A de nombreuses reprises, on observe une persistance dans le déni et des négligences graves

EQL©2018
frisant l’indifférence. De la même façon, l’absence de règles, de chartes et même de vérifications réelles
laissent constater une méconnaissance du domaine, une insoutenable légèreté de l’être, pour ne pas dire
une ignorance délibérée. L’avidité est présente à de nombreuses reprises, lorsque la sonde Atlas de
Mariner 1 fonctionne, de façon connue, en dessous des spécifications inscrites dans le cahier des charges
et est néanmoins acceptée contre toute logique. Sa défaillance laisse la place à un bug ignoré et les deux
erreurs cumulées conduisent à la catastrophe.

L’optimisme exagéré semble la règle lorsque le stade de Hartford s’effondre du fait d’une surcharge
de neige et que l’enquête prouve une absence totale du respect des règles, ou encore lorsque le président
Bush félicite publiquement les responsables de la société Raytheon, dont l’absence tolérée de résultats ne
peut être due qu’à des marchés de complaisance entre amis politiques.

Ces faits répétitifs doivent nous amener à considérer avec soin les éléments présentés dans les
chapitres consacrés à la psychologie, car les fautes élémentaires telles que les formules écrites à la main,
aussi claires qu’un brouillon et non vérifiées par la suite, les mensonges officiels ou les dénis, le non
respect des règles, les confusions des systèmes métriques et du système anglo-saxon, les différences
d’ordre de grandeur par oubli de virgule ou confusion entre le point et la virgule dans l’écriture des
nombres, tout ceci nous plonge dans un domaine qui échappe à la logique. Un acte manqué est un discours
réussi nous dit Lacan. Sans aller jusque là il nous faut considérer que la répétition d’erreurs primaires et
d’attitudes instinctives telles que l’avidité et le déni se doivent d’être analysées afin d’être reconnues dès
qu’elles apparaissent et non pas lorsqu’il est trop tard.

EQL©2018
4 Notes
Mariner : [Link]

Hartford :
[Link]
[Link]#Feld

Gazoduc transsibérien : [Link]

Race condition bug : [Link]

[Link]

[Link]

[Link]

[Link]

Orbites Molniva : [Link]

[Link] [Link]

[Link]

[Link]

Rapport de Nancy Leveson : [Link]

EQL©2018