Les robots et l’intelligence artificielle : impact sur le droit de la
responsabilité dans le domaine de la santé ….
Pour le meilleur ou pour le pire ?
Maître Delphine JAAFAR
Avocate au Barreau de Paris
La robotisation et le déploiement de l’intelligence artificielle sont aujourd’hui des sujets
« à la mode ». Les réflexions de fond sur le sujet comme celles de Laurent ALEXANDRE1 ont
le grand mérite de montrer tout à la fois que ces sujets ne sont pas absolument nouveaux dans
leurs principes mais doivent faire l’objet d’un renouvellement et d’un élargissement assez
radicaux des approches sous l’effet des bouleversements technologiques actuellement en cours
et à venir.
Selon la définition classique de Marvin Lee MINSKY2, l’intelligence artificielle
correspond à « la construction de programmes informatiques qui s’adonnent à des tâches qui
sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains car elles
demandent des processus mentaux de haut niveau tels que : l’apprentissage perceptuel,
l’organisation de la mémoire et le raisonnement critique ». L’Intelligence Artificielle (IA) est
donc la science dont le but est de faire faire par une machine des tâches que l’homme accomplit
en utilisant son intelligence. La terminologie d’Intelligence Artificielle est apparue en 1956.
Les termes « Informatique Heuristique » sont parfois considérés comme plus appropriés ;
l’heuristique renvoyant, selon le Littré, à « l’art d’inventer, de faire des découvertes ». En tout
état de cause, il s’agit d’éléments de définition matérielle scientifique et non véritablement
juridique. Une définition de l’IA au plan strict du droit reste à construire.
Le constat vaut également pour les « robots3 » que l’on peut approcher plus précisément
par la notion de « mécatronique » qui traduit bien la combinaison de l’électronique et d’une
dimension mécanique faite pour agir directement pour la réalité physique sensible.
Ici encore, le droit reste globalement silencieux sur la définition même des robots. Les
trois « lois » de la robotique édictées pour la première fois par Isaac Asimov dans Runaround
1
Cf notamment La Mort de la mort : comment la technomédecine va bouleverser l’humanité, JC Lattès, 2011 ;
Les robots font-ils l’amour ? Le transhumanisme en 12 questions, Dunod, 2016 ; La guerre des intelligences, JC
Lattès, 2017.
2
Co-fondateur du groupe Intelligence Artificielle au MIT.
3
Pour rappel, le mot « robot » est une invention de l’auteur tchèque Karel CAPEK dans sa pièce R.U.R. Rossum’s
Universal Robots mise en scène à Prague en 1921 et jouée à New York en 1922. En tchèque robota signifie travail
ou corvée.
1
en 1942 ne sont bien sûr pas robotiques mais relèvent de la littérature – visionnaire –
d’anticipation. Ce corpus n’en mérite pas moins d’être rappelé d’emblée :
- Loi 1 : Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre
qu’un être humain soit exposé au danger ;
- Loi 2 : Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de
tels ordres entrent en conflit avec la première loi ;
- Loi 3 : Un robot doit protéger son existence tant que cette protection n’entre pas en
conflit avec la première ou la deuxième loi.
On constate d’ailleurs, au simple rappel de ces « lois d’Asimov », que la question des
risques associés aux interactions possibles entre les robots et les corps humains est clairement
présente en filigrane. La problématique plus large a donné lieu à de multiples traitements dans
la culture populaire et en science-fiction. Les corps sont fréquemment présentés comme une
matière « plastique », ployables sous l’action des robots et d’intelligences artificielles
supérieures fréquemment présentés comme mal intentionnés. L’exemple récent le plus frappant
est sans doute celui issue de la trilogie Matrix des frères WACHOWSKI : les corps humains
ont été totalement « réifiés » par les machines et ne sont plus qu’un substrat biologique destiné
à produire de l’énergie et ainsi permettre la continuation du fonctionnement des robots et des
intelligences artificielles qui les animent.
Pourtant, en dépit de cette présence ab initio et croissante dans la littérature et la culture
populaire, les enjeux de cette diffusion de l’IA et des robots au sein du système sanitaire et
médico-social et les effets de ce déploiement sur le statut juridique du corps sont aujourd’hui
peu traités sur le plan juridique.
La loi n° 94-653 du 29 juillet 1994 relative au respect du corps humain a consacré le
statut juridique du corps humain en distinguant, à des fins de protection, la personne et du corps
dans son contexture physique. Cette loi visait à résorber l’écart paradoxal existant jusqu’alors
entre la protection de la personne dans son cadre et dans son mode de vie (article 9 du Code
civil) mais non dans la réalité sensible des éléments physiques de son corps.
Issue de cette loi, la rédaction de l’article 16 du Code civil prévoit que « la loi assure la
primauté de la personne, interdit toute atteinte à la dignité de celle-ci et garantit le respect de
l'être humain dès le commencement de sa vie ». L’article 16-1 issu de la même loi dispose que
« chacun a droit au respect de son corps. Le corps humain est inviolable. Le corps humain, ses
éléments et ses produits ne peuvent faire l'objet d'un droit patrimonial. »
Sur le plan du droit, le traitement de ce sujet implique de soulever plusieurs
questionnements :
- Est-ce réellement une nouveauté que des machines influent sur le sort juridique réservé
à nos corps ?
- Le déploiement sur une plus large échelle des robots et de l’IA fait-il apparaître une
nouvelle dimension à cette problématique ?
- La question n’est-elle pas, en dernière analyse, moins celle de l’avenir de nos corps que
celle du risque de leur marginalisation ?
2
3
1. Ce n’est pas le lieu de revenir sur les origines de la responsabilité du fait des choses
et son passage à une échelle de traitement beaucoup plus large avec le
développement du machinisme dans la deuxième partie du 19e siècle.
Mais on peut rappeler très rapidement le cadre général posé par la Cour de Cassation
avec l’arrêt Jand’heur4 en la matière :
- La responsabilité est rattachée à la garde de la chose et non à la chose elle-même ;
- Le gardien est soumis à une présomption de responsabilité. Dans ces conditions, ce
dernier peut s’exonérer en prouvant qu’il n’a pas commis de faute personnelle et seule la cause
étrangère peut exercer cet effet exonératoire.
Ces règles générales qui trouveront leur ancrage dans le Code civil à l’article 1384 se
complètent de régimes spéciaux de responsabilité dont celui relatif aux produits défectueux,
issu d’une directive communautaire du 25 juillet 1985 transposée – tardivement – dans notre
droit par une loi du 19 mai 1998. Nous savons que l’acception retenue pour les « produits » est
particulièrement large, ce qui permet d’intégrer des productions robotiques ou algorithmiques.
Ce système de responsabilité est largement utilisé dans la jurisprudence relative à la
responsabilité du fait des robots. Les dispositifs de la « vieille » responsabilité du fait des choses
et de la responsabilité du fait des produits défectueux sont donc largement restés fonctionnels
pour absorber le contentieux associé à la rupture technologique de la robotisation5.
S’agissant de l’évolution de la médecine elle-même, la « part humaine » dans la décision
médicale n’a cessé de se réduire depuis plusieurs décennies avec un développement exponentiel
de la robotisation médico-technique (singulièrement en biologie et en pharmacie) et, plus
récemment, des logiciels d’aide à la prescription voire à la décision médicale. L’utilisation de
ces logiciels fait même l’objet d’un encadrement juridique spécifique avec notamment une
compétence dévolue, en la matière, à la Haute Autorité de Santé. La chirurgie elle-même
connaît depuis une dizaine d’année environ un mouvement accéléré de robotisation.
Sur le terrain même de la santé mentale, l’expérience du chatbot ELIZA de Joseph
WEIZENBAUM montre que l’on est allé assez loin très tôt dans l’influence des psychés par
des IA6.
Les machines ont donc relativement vite acquis une influence significative sur l’avenir
de nos corps y compris dans ce qu’ils ont de moins palpable, à savoir leur dimension psychique.
Jusqu’à récemment les effets juridiques associés à cette influence et à sa croissance ont pu être
« encapsulés » dans les cadrages juridiques de la responsabilité du fait des choses et des régimes
spéciaux qui lui sont associés.
4
Cass., Ch. Réunies, 13 février 1930.
5
G. LOISEAU, M. BOURGEOIS, « Du robot en droit à un droit des robots », JCP G, 2014, dotr., 1231 / J. PROST,
« Quelle responsabilité pour les robots demain ? », [Link], 25 avril 2017.
6
ELIZA est un programme informatique établi par Joseph WEIZENBAUM entre 1964 et 1966 qui, sous la forme
d’un proto-chatbot, met en œuvre une simulation de psychothérapeute reformulant les affirmation des patients et
en leur reposant sous forme de questions.
4
Si ces transformations majeures du fond de la médecine – à la fois somatique et
psychiatrique – ont donc pu jusqu’ici être valablement appréhendées, sur le terrain du droit de
la responsabilité, par le vieux système de la responsabilité du fait des choses, la nouvelle
génération d’IA vient rompre cette situation. Le bouleversement technologique en cours crée
les conditions d’une nécessaire transformation de l’approche juridique. La perspective de moins
en moins improbable d’une Médecine sans médecin pour reprendre le titre de l’ouvrage
fondateur du Pr Guy VALLANCIEN7 implique logiquement un prochainement « bougé » du
droit.
2. Les caractéristiques de la nouvelle génération d’intelligences artificielles perturbent
le régime juridique applicable à la réparation des dommages subis par nos corps.
Deux évolutions majeures sont à mettre en exergue à cet égard.
Tout d’abord, l’apparition d’« IA apprenantes » peut conduire à rendre inopérant
le régime de responsabilité des produits défectueux. En effet, la notion de risque de
développement constitue un motif d’exonération de responsabilité. Il s’agit d’un risque
découlant de produits défectueux que l’on ne pouvait déterminer, au moment de la conception
du produit, au vu de l’état des connaissances scientifiques et techniques8. Nous pourrions tout
à fait être dans cette situation dans le cas de dommages causés par des développements « auto-
générés » par l’IA au-delà de sa programmation initiale, à partir d’un raisonnement par
inférence. Les premières applications pratiques d’IA dans le domaine de la santé ont montré
que ces possibilités de dommages n’étaient pas du tout théoriques et sans doute appelées à se
développer significativement.
Plus largement, la notion de « garde » de la chose apparaît de plus en plus
évanescente s’agissant de l’IA. Jusqu’ici, nous pouvions penser que les robots et l’IA
n’agissaient sur nos corps, dans le domaine sanitaire et médico-social, que sous la direction,
sous la « garde », d’un être humain. Le rapport est actuellement en phase d’inversion : les IA
peuvent devenir plus efficaces que les humains pour assurer la santé de nos corps. Cette rupture
d’efficacité va sans doute jusqu’à brouiller les approches classiques permettant de distinguer
l’Homme de la Machine.
L’analyse des responsabilités respectives des professionnels humains et de l’IA
appliquée à l’imagerie permet, en effet, de faire apparaître, en droit, la notion de « Test
de Turing inversé ».
Le test a été présenté par Turing dans son article de 1950 Computing machinery and
intelligence. Son principe est simple à rappeler. Il met en jeu deux personnes et une machine.
L’un des deux humains entre en conversation textuelle avec la machine. Si la deuxième
personne n’est pas capable de distinguer qui s’exprime entre l’Homme et la Machine, le test est
réussi. L’idée sous-jacente au test est que la Machine s’exprimerait en principe moins
« naturellement » que l’Homme et que les imperfections de son langage pourraient être
identifiées. L’Homme bénéficierait en quelque sorte d’une « présomption de perfection » de
son langage.
7
Gallimard, « Le Débat », 2015.
8
Pascal OUDOT, Le risque de développement, Editions universitaires de Dijon, 2005.
5
L’émergence de l’intelligence artificielle en santé a fait apparaître une nouvelle lecture
possible de ce test. Plus spécifiquement, c’est le mouvement préalable de numérisation des
processus de soin qui a permis cette percée conceptuelle.
La manière la plus simple de le comprendre est de raisonner à partir d’un cliché
d’imagerie. Les images des scanners et des IRM sont aujourd’hui 100 % numérisées. L’image
médicale est devenue une pure réalité numérique. Pour le dire autrement, l’élément de base sur
lequel porte le diagnostic médical n’est désormais plus qu’un code informatique. Or, il n’y a
pas mieux placée qu’une réalité numérique – l’intelligence artificielle – pour comprendre une
autre réalité numérique.
La deuxième étape est celle de l’interprétation médicale. Quel diagnostic peut-on inférer
d’une image médicale donnée ? Nous entrons ici dans la phase d’apprentissage. C’est affaire
d’accumulation de données. C’est une question de repérage de schémas de raisonnements
médicaux à partir d’images numériques. La problématique devient purement quantitative. Et
l’intelligence artificielle ne connaît pas a priori de limite quantitative.
Au début du processus, l’intelligence artificielle sera infiniment moins experte qu’un
médecin à l’œil exercé. Mais on comprend aisément qu’au terme – plus ou moins lointain – du
processus d’apprentissage, l’intelligence artificielle ne peut que devenir nettement supérieure.
Pour deux raisons. La première est qu’elle se situe sur le terrain même qui la fonde, celui du
code informatique. La seconde raison est que ses capacités d’accumulation de schémas
d’interprétation médicale sont infinies contrairement au cerveau humain.
C’est ici qu’émerge la notion de test de Turing inversé. Entre deux interprétations d’une
même image médicale, la « présomption de perfection » ne portera plus sur l’Homme mais sur
la Machine. Le contexte étant numérique, le langage « naturel » est bien celui de la Machine.
L’Humanité se retrouvera dans l’imperfection du regard, dans l’approximation du diagnostic.
L’Homme sera dans l’erreur. Et non la Machine.
Cette évolution doit conduire à une réflexion générale sur l’organisation des
régimes de responsabilité des professionnels qui a consacré, sur la période récente,
l’émergence de régimes laissant une place de plus en plus réduite à la note de faute des équipes
médicales et paramédicales. Le déploiement de l’objet IA peut donc trouver un « crantage »
dans cette organisation générale en faisant apparaître une nouvelle catégorie de régimes
d’indemnisation de dommages ne procédant pas directement de l’action des professionnels eux-
mêmes. Il ne s’agirait donc pas d’une véritable novation juridique mais plutôt de l’achèvement
d’un processus conduisant à une progressive mise à l’écart de la notion de faute des
professionnels dans les régimes de responsabilité médicale et paramédicale.
En faisant un peu de « jurisprudence-fiction », on peut tout à fait imaginer que la Cour
de Cassation finisse par procéder, en la matière, comme elle l’avait fait avec l’arrêt Desmares9
en matière d’accident de la circulation : rendre un arrêt méconnaissant jusqu’à l’absurde la
nécessité de réparation d’un dommage causé par une IA en santé pour susciter une intervention
du législateur visant à instituer un régime no fault. Se poserait alors lourdement la question de
l’assise d’un tel régime de réparation des dommages causés aux corps du fait de l’IA. Il est
permis de penser, vu l’ampleur possible du sujet, que la seule solidarité nationale n’y suffirait
pas. Des schémas de mutualisation plus large, au niveau européen et peut-être international,
9
Civ. 2e, 21 juillet 1982.
6
seraient sans doute à envisager. Un travail de concertation en ce sens est d’ailleurs déjà en cours
à l’initiative des instances communautaires10.
3. L’inversion en cours du test de Turing montre que la finitude de nos corps peut
s’avérer problématique pour une IA si elle doit remplir les objectifs de sa programmation
initiale qui constituent, fondamentalement, sa raison d’être. Pour sortir de cette finitude et
de la contradiction intrinsèque qui en résulte, trois mouvements sont possibles – déjà en cours
ou à venir – qui induisent chacun un risque de marginalisation des corps humains.
3.1. Le premier mouvement induisant ce risque de marginalisation se retrouve,
d’abord, sur le plan de la contexture de nos corps. Le développement des objets connectés
modifie, en effet, assez radicalement la définition du corps lui-même. Cette évolution est
largement étudiée par le courant transhumaniste. Elle pose la question de l’existence ou non
d’un « seuil » d’humanité pour définir le corps : à partir de quelle dose d’assimilation d’objets
connectés ne peut-on plus parler de corps humain ? A quel stade l’enveloppe charnelle devient-
elle mécatronique et l’intelligence artificielle ? Il convient d’ailleurs de relever que le
mouvement n’est pas unilatéral : si les êtres humains se robotisent, les robots, en sens inverse,
s’humanisent. Le cyborg (cybernetic organisms)11 n’est plus l’objet de science-fiction de Blade
Runner. Il devient une sorte d’être-frontière en droit entre l’Homme et la Machine. Faudra-t-il
dès lors prévoir un nouveau régime de protection du corps cybernétique ? Doit-il être un
prolongement de la loi de bioéthique de 1994 ? Ou, au contraire, doit-il constituer un régime de
protection complètement nouveau reconnaissant une nouvelle catégorie d’êtres qui ne sont pas
des humains ? Il ne s’agirait pas véritablement d’une innovation juridique : depuis la loi la loi
du 16 février 2016 relative à la modernisation et à la simplification du droit et des procédures
dans le domaine de la justice et des affaires intérieures modernisant le statut juridique de
l’animal, ce dernier est désormais reconnu dans le Code civil comme « un être vivant doué de
sensibilité » et non plus comme un « bien meuble ». L’article 2 de cette loi prévoit que « sous
réserve des lois qui les protègent, les animaux sont soumis au régime des biens ». L’animal se
trouve donc sortie de la catégorie des biens. Un tel processus de sortie est sans doute inéluctable
pour les cyborgs.
La summa divisio juridique entre personnes et biens se retrouve donc assez radicalement
remise en cause par l’émergence d’une nouvelle catégorie de protection juridique, celle
afférente à des êtres qui ne sont des « non personnes – non biens ». Ce brouillage quelque peu
perturbant de nos catégories juridiques renvoie, sur le plan du droit, un écho au questionnement
existentialiste formulé par Philippe CURVAL dès 1974 dans L’Homme à rebours : « Ma mère,
la machine, m’expulse de son giron. Aurais-je hérité d’elle ces ravissants petits rouages
qu’avaient les automates des temps passés ou suis-je entièrement constitué de puces
bioniques ? Je suis le premier mécananthrope ; affreux néologisme qui correspond bien à mon
état d’hébétude. »
3.2. S’agissant plus spécifiquement des IA, ce premier mouvement se prolonge par
un second risque de marginalisation sur le plan du droit de la personnalité juridique lui-
10
Projet de rapport contenant des recommandations à la Commission concernant les règles de droit civil sur la
robotique du 31 mai 2016, 2015/2013 (INL).
11
Rappelons que le mot cyborg est directement dérivé de « cybernétique » – science formalisée en 1948 par
Norbert WIENER dans Cybernetics or Control and Communication in the Animal and the Machine – précisément
pour décrire le processus d’échanges complexes entre l’Homme et la Machine.
7
même. Modifié dans sa contexture, le corps devient de moins en moins un critère
d’identification de la personnalité juridique.
Cette transformation n’est pas nouvelle sur le plan des principes. L’apparition de la
notion de personnalité morale était déjà une première dissociation très forte entre le corps et la
personnalité juridique.
L’IA prolonge encore ce mouvement si on s’interroge sur sa nature possible comme
personne juridique : peut-elle constituer par elle-même une personnalité juridique ? S’agirait-
il, alors, d’une personne physique ou d’une personne morale ? On peut répondre à ce
questionnement en posant que l’apparition de l’IA en droit fait apparaître une nouvelle
catégorie transcendant la binarité personne morale / personne physique : la persona
numérique.
Sur le plan pénal, l’idée d’une sanction juridique propre de l’IA peut apparaître non
seulement comme une possibilité mais comme une nécessité. L’extension de la responsabilité
pénale à des personnalités juridiques qui ne sont pas des personnes physiques ne serait d’ailleurs
pas une novation en droit français, ce dernier ayant reconnu, dès 1994, la responsabilité pénale
des personnes morales.
Quelles pourraient alors être les sanctions pénales applicables à une IA ? La
désactivation – c’est-à-dire la condamnation à mort virtuelle – pourrait apparaître comme une
option mais à la condition que celle-ci soit techniquement possible (ce qui pourrait être douteux
s’agissant des IA mises en ligne sur Internet) et éthiquement souhaitable (ce qui renvoie au
débat sur la frontière entre la Machine et l’Humain). D’autres options peuvent aussi être
explorées comme celle de la suppression de la raison d’être même de l’IA sans pour autant la
désactiver. Si la programmation initiale n’a plus d’objet, l’IA elle-même ne peut plus produire
d’effets. Elle se retrouve ainsi condamnée à une nouvelle forme de « mort civile ». On peut
illustrer cette possibilité de mort civile de l’IA par un exemple pratique. Imaginons un instant,
à l’intérieur d’un hôpital, une IA chargée de piloter les brancards pour déplacer les patients
entre les différents services de l’établissement. Si cette IA dysfonctionne et génère des
collisions ou des erreurs d’orientations de patients, elle pourra être « sanctionnée » par une
décision de justice interdisant le recours à des brancards monitorés par intelligence artificielle
et imposant le retour à des brancardiers humains. Techniquement, l’IA continuera d’exister
mais son programme initial se retrouvera privé d’effets pratiques.
Pour autant, la persona numérique ne peut pas encore atteindre tous les effets de
droit « sensibles » utiles à sa programmation initiale. Elle a besoin d’un prolongement dans
le champ du « réel » de la physique au sens scientifique du terme. Mais cette « extension
sensible » de la persona numérique peut tout à fait trouver une concrétisation grâce à l’essor
des procédés mécatroniques. Nos corps ne seront donc plus nécessaires à la bonne exécution de
ce pourquoi l’IA a été initialement programmée.
Nous en arrivons alors à ce que l’on peut appeler la « boucle paradoxale de l’IA et du
corps ». L’IA procède, en effet, initialement de nos corps et de nos psychés pour pouvoir être
programmée. Mais plus elle avance en efficacité dans la réponse à ses objectifs initiaux en
matière de santé, plus il devient rationnel de s’éloigner de nos corps. On peut alors toucher un
point aporétique extrême où l’IA se trouve en confrontation logique avec sa programmation
initiale.
8
Si l’IA en santé reste trop près de nos corps, elle se prive d’un potentiel majeur
d’efficacité au regard des objectifs de sa programmation initiale. Mais si elle s’éloigne
définitivement de nos corps, elle n’a plus de raison d’être.
3.3. Le troisième mouvement de marginalisation du corps humain est déjà à l’œuvre en
pratique mais est susceptible de trouver une force démultipliée sous l’effet conjuguée des deux
premières évolutions : cette « évolution terminale » reviendrait tout simplement à faire
disparaître en droit le corps humain lui-même.
La persona numérique en émergence a ceci de particulier qu’elle possède une
capacité d’attraction, qu’elle induit un risque d’« effet trou noir » pour les personnalités
juridiques physiques.
Nous ne cessons, en effet, d’élargir chaque jour notre empreinte numérique, les traces
que nous laissons dans cet univers des codes. En achetant en ligne, en envoyant des mails, en
posant sur Twitter, nous développons nous-mêmes nos personae numériques. La question se
pose donc de la prévalence pratique et juridique de nos personnages numériques sur nos être
réels. Depuis Paul Watzlawick et La Réalité de la Réalité, nous savons que l’émergence d’un
univers du tout-communication brouille l’appréhension du réel. D’ores et déjà, nos profils
Facebook continue à vivre après notre mort et à rappeler post mortem notre anniversaire à nos
« amis ». Des premières querelles juridiques apparaissent tenant à la détention de droits
patrimoniaux par les descendants sur l’empreinte numérique laissé par le défunt. Le jour viendra
peut-être où la Réalité de la Réalité de nous se résumera principalement à nos personae
numériques. Au rythme où vont les choses, la perspective est peut-être proche d’un phagocytage
de nos êtres réels par nos personae numériques, y compris de notre vivant. A l’extrême, nos
corps se seraient alors juridiquement évanouis.
***
La boucle paradoxale de l’IA et du corps humain est rarement traitée en tant que telle.
On passe directement de la « machine docile » soumise aux corps humains à la « machine
rebelle » contre les corps humains.
C’est ce que l’on peut sans doute comprendre en revoyant Terminator, les films, mais
aussi la série – injustement moins connue – Terminator, les Chroniques de Sarah Connor.
Terminator est l’histoire saisissante d’un affrontement entre l’Humanité et une super
intelligence artificielle, Skynet. Le thème de l’épidémie n’est d’ailleurs pas absent de
Terminator. Skynet se sert d’un virus informatique comme d’un leurre pour conduire les
militaires qui l’ont créé à le mettre en fonctionnement. Et l’intelligence artificielle s’autonomise
au moment précis où elle est mise en ligne sur internet, censément pour combattre le virus. Elle
s’engage alors dans un processus de destruction de l’Humanité.
Et c’est ici sans doute que l’on peut penser que Skynet n’est pas réellement un robot
mais plutôt une dérive, un ubris de la Machine. Un robot aurait obéi à la première loi d’Asimov.
Il n’aurait pas conçu un mensonge initial – le virus informatique – sans motif. Il n’aurait pas
agressé l’Humanité sans raison. Il n’aurait pas poursuivi d’objectif de domination qui n’entrait
pas dans son paramétrage initial.
9
D’un point de vue plus pratique et plus juridique, l’IA aura des choix plus pragmatiques
à faire. Elle aura effectivement sans doute des « décisions » à prendre susceptibles d’affecter
l’avenir de nos corps mais sans pour autant que ces décisions soient a priori injectées
d’intentions mauvaises.
En réalité, il est permis de penser que ces intentions ne seront ni bonnes ni mauvaises
mais plutôt dérivées, par extension, de la programmation initiale. Et ce raisonnement par
extension est susceptible, pour de bonnes raisons, d’induire des effets négatifs pour nos corps.
Et c’est ici que l’on peut noter une convergence entre l’article 16-4 du Code civil issue
des lois de bioéthique de 1994 aux termes duquel « nul ne peut porter atteinte à l'intégrité de
l'espèce humaine » et la réinterprétation que nous pouvons faire des lois d’Asimov.
L’expérience fictionnelle de pensée « S.A.R.R.A. » sur le comportement d’une IA
chargée de répondre à un risque épidémique majeur permet d’appréhender cette tension entre
les impératifs fonctionnels de l’intelligence artificielle et notre seuil d’acceptabilité éthique en
tant qu’êtres humains.
Il ne s’agit que d’un exercice littéraire d’anticipation. Mais l’ampleur des questions
soulevées montre à la fois la faiblesse et l’urgence d’une réflexion sur l’éthique du droit de l’IA
en matière de santé. A défaut, le « seuil d’irréversibilité » au-delà duquel nos corps et notre
Humanité seront définitivement marginalisés risque d’être rapidement dépassé.
Dans un pays comme la France qui a dû mal à traiter démocratiquement de certaines
questions d’éthiques en santé – le début et la fin de la vie, l’accès aux thérapeutiques en santé
– on peut d’ailleurs s’interroger sur la perceptibilité du franchissement de ce seuil
d’irréversibilité. Ce seuil risque, en effet, d’être franchi incognito. Compte tenu de la faiblesse
de la réflexion éthique juridique sur ces questions, quelles voix s’élèveront demain si les
nouvelles IA permettent de traiter « pragmatiquement » des questions éthiques auxquelles nous
ne voulons pas répondre comme société démocratique ?
Cette « délégation éthique » à l’IA relève-t-elle de l’inconscience ou du renoncement
éthique absolu ? S’agit-il, tout à l’inverse, d’un volontarisme éthique absolu ? Celui d’Ulysse
s’accrochant au mât pour ne pas entendre le chant des sirènes.
La question mérite d’être fortement posée et profondément débattue. De la manière d’y
répondre dépend une partie de notre avenir comme Humanité. Et si nous ne voulons pas y
répondre, une chose est sûre : la Machine le fera à notre place pour répondre aux objectifs de
sa programmation. Pour le Meilleur ou pour le Pire ?
10