droit des robots - Le blog de Thierry Vallat, avocat au Barreau de Paris (et sur Twitter: @MeThierryVallat)

23 octobre 2021 6 23 /10 /octobre /2021 08:03

Accusée d'espionnage, le robot artiste Ai-Da désactivée pendant sa détention; vers des droits des robots pendant les gardes à vue ?

Les robots aussi peuvent avoir des problèmes judiciaires.

C'est ainsi que le robot artiste humanoide Ai-Da s'est fait arrêter à son arrivée au Caire, alors qu'elle devait participer à une exposition à la Grande Pyramide de Gizeh pour présenter sa dernière oeuvre.

En raison de « problèmes de sécurité » et sur des accusations d'espionnage, Ai-Da et sa sculpture ont été retenues à la douane égyptienne pendant 10 jours avant d’être libérées le 20 octobre 2021, déclenchant un tourbillon diplomatique.

Selon son concepteur Aidan Meller, les gardes-frontières ont arrêté Ai-Da parce qu’elle est dotée d'un modem et qu’elle avait des caméras dans les yeux, qu’elle utilise pour dessiner et peindre.

Ai-Da est en effet capable de sculpter grâce à une main spécialement conçue et à des algorithmes développés par des chercheurs d’Oxford et de l’Université de Leeds. L’algorithme convertit les images qu’Ai-Da capture avec ses yeux de caméra en coordonnées spatiales réelles, et ces données sont ensuite réutilisées sous la forme de ses dessins. Et, parce que ses créateurs lui ont permis d’analyser les couleurs et les techniques utilisées par les artistes humains, Ai-Da peut également peindre.

Ai-Da et sa sculpture avaient été envoyées de Londres par fret aérien au Caire avant l’exposition Forever Is Now, qui se déroule jusqu’au 7 novembre 2021 et est présentée par le cabinet de conseil Art D’Égypte en partenariat avec le ministère égyptien des Antiquités et du Tourisme et le ministère égyptien des Affaires étrangères. L’exposition présente des œuvres d’artistes égyptiens et internationaux de premier plan.

La sculpture de 2 x 2,5 mètres d’Ai-Da est un jeu sur l’énigme du sphinx – " Qui est sur quatre pieds le matin, deux pieds à midi et trois pieds le soir ?" – la réponse étant bien entendu "un humain".

Mais les conditions de détention du robot ont été pour certains considérées comme inhumaines !

En effet, la recharge électrique du robot n'a pas été autorisée et Ai-Da a ainsi été désactivée pendant sa détention, suscitant l'indignation des défenseurs des droits des robots qui relèvent que ce traitement est indigne.

Si on se souvient que le robot Sophia s'était vu octroyer la citoyenneté par l’Arabie Saoudite, la question de la création de droits pour un robot est encore très embryonnaire.

Les tribunaux ont déjà eu l’occasion de se prononcer sur la création d’une œuvre, assistée par ordinateur et il a été jugé qu’une telle œuvre "peut être protégée par le droit d’auteur à condition qu’apparaisse l’originalité voulue par le concepteur". C’est donc la personne humaine derrière sa machine qui demeure titulaire des droits d’auteur, si l’œuvre a été créée avec l’assistance d’une intelligence artificielle.

Mais si, au contraire, l’IA est amenée à créer, elle-même, une œuvre originale, on ne peut aujourd’hui lui accorder des droits d’auteur car il faudrait faire ressortir de cette œuvre le critère d’originalité. Or, il apparaît pour le moins compliqué aujourd'hui de reconnaître à une IA qu’elle exprime sa personnalité dans une œuvre de l’esprit.

On comprend donc bien que nos régimes juridiques de droit d’auteur ne sont pas adaptés pour les créations réalisées par une intelligence artificielle.

Une autre question se pose au sujet de l’intelligence artificielle: celle de la détermination de la personne responsable en cas de litige.

Qui sera responsable si un robot agissant de manière autonome blesse une personne ou cause un dommage? Des voitures autonomes ont été à l’origine de plusieurs accidents mortels aux Etats-Unis récemment et cela conduit à s’interroger sur le régime juridique applicable. Or, il n’existe pas aujourd’hui de régime juridique propre à l’intelligence artificielle, et aucun fondement juridique n’y apporte de réponse spécifique.

D’où les débats sur la création d’une "personnalité robot" , préconisée de longue date par notre confrère Alain Bensoussan, puisque l'IA ne dispose pas de la personnalité juridique, ce qui interdit aujourd’hui toute possibilité d’indemnisation du dommage par le robot, qui ne dispose d’aucun patrimoine propre.

C’est pourquoi le Parlement européen avait demandé à la Commission, dans sa résolution du 16 février 2017, d’examiner "la création, à terme, d’une personnalité juridique spécifique aux robots, pour qu’au moins les robots autonomes les plus sophistiqués puissent être considérés comme des personnes électroniques responsables, tenues de réparer tout dommage causé à un tiers; il serait envisageable de conférer la personnalité électronique à tout robot qui prend des décisions autonomes ou qui interagit de manière indépendante avec des tiers".

Dans ses recommandations pour la création d’un droit civil des robots, le Parlement Européen avait proposé plusieurs solutions au titre de la responsabilité de l’intelligence artificielle et on retrouve:

- La mise en place d’une assurance obligatoire;

- La création d’un fonds de compensation afin d’indemniser les accidents provoqués par une intelligence artificielle (comme l’ONIAM pour les accidents médicaux);

- La création d’un numéro d’immatriculation pour faciliter l’identification des robots en leur attribuant un numéro propre;

- Et donc la consécration d’une personnalité juridique propre aux robots afin de créer des règles spéciales pour la mise en œuvre de leur responsabilité.

Ces propositions n'ont cependant pas été reprises dans le projet de cadre juridique concernant l'intelligence artificielle déposé le 21 avril 2021par la Commission européenne (voir notre article L'encadrement législatif européen de l'intelligence artificielle)

Au-delà du buzz, la question est donc bien de savoir si demain, les robots peuvent devenir des êtres juridiques à part entière avec des droits et des obligations, comme l’annonçait en 1942 l’écrivain américain Isaac Asimov auteur des lois de la robotique.

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans droit des Robots
commenter cet article …

12 octobre 2021 2 12 /10 /octobre /2021 07:25

La surveillance algorithmique des frontières: robots partout, vie privée nulle part

Le projet européen Roborder de surveillance aux frontières suscite des inquiétudes sur l'intensification de l'utilisation des intelligences artificielles pour traquer migrants, terroristes et clandestins, mais qui pourrait se révéler encore plus intrusive.

Ce projet Roborder, expérimenté en Grèce, au Portugal et en Hongrie, prévoit de surveiller les frontières par des essaims de drones autonomes, fonctionnant et patrouillant ensemble. L’algorithme de ces drones leur permettrait de reconnaître les humains et de distinguer si ces derniers commettent des infractions ou mettent en danger la frontière.

Cette nouvelle expérimentation intervient après l'échec cuisant de l'expérimentation iBorderCtrl qui testait l’intelligence artificielle dans le but de débusquer les mensonges des passagers aériens lors des contrôles de sécurité, grâce à une analyse de leurs micro-expressions.

Il s'agissait d'un véritable détecteur de mensonges profilé qui avait été mis en place dans des aéroports grecs, lettons et hongrois.

Le projet était calqué sur les tests effectués au Canada en 2017 avec une IA capable de détecter les mensonges à partir des comportements physiologiques dans ses aéroports. Cette IA surnommée "Avatar" (pour Automated Virtual Agent for Truth Assessments in Real Time) pourrest supposée ainsi aider les douaniers à contrôler les voyageurs en cas de doute sur leur motivation à entrer dans l'Union européenne.

Si iBorderCtrl a été arrêté, cela ne veut pas dire que d’autres expériences similaires ne sont pas menées. Le programme Avatar, qui repose également sur la “reconnaissance des émotions”, est toujours actuellement testé en Roumanie et au Canada.

Pour sa part, l'Espagne envisage de déployer des drones pour surveiller sa frontière avec le Maroc à Melilla avec de nouvelles installations terrestres incluant scanners, vidéosurveillance et reconnaissance faciale.

On sait pourtant que le succès type de surveillance par drone est loin d'être garanti: l'emploi de Predators (des modèles à voilure fixe, dérivés des engins utilisés par l'armée) n'a par exemple guère fait progresser la lutte contre l'immigration clandestine entre le Mexique et les Etats-Unis, le pourcentage d'interpellations pouvant leur être directement imputé se situant entre 0,7 et 1,8 %.

Et comme d'habitude, ces projets sont muets quant au recueil des données biométriques, la conservation des données, leur durée de conservation, leur accès etc. qui ne semblent guère préoccuper les initiateurs de ces dispositifs très intrusifs.

Me Thierry Vallat est intervenu sur le sujet pour RT France le 12 octobre 2021.

(source: Aims & Objectives – Roborder)

(crédits dessin: Cabinet Thierry Vallat)

Frontex a recours à l'IA : "On est dans un projet de surveillance algorithmique de grande ampleur"

L'Union européenne a de plus en plus recours à l'intelligence artificielle pour lutter contre l'immigration. Cette technologie est notamment utilisée par l'a...

https://www.youtube.com/watch?v=DInqlj_wW90

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique sécurité intérieure droit des Robots
commenter cet article …

9 octobre 2021 6 09 /10 /octobre /2021 10:03

L’intelligence artificielle en droit pénal et son utilisation par les autorités policières et judiciaires dans les affaires pénales

Le Parlement européen a publié une résolution le 6 octobre 2021 concernant l'utilisation de l'intelligence artificielle en droit pénal.

Ce texte, qui n'a pas de valeur contraignante, a pour vocation d'inspirer la Commission dans le domaine du recours de l'intelligence artificielle en matière de sécurité et de surveillance, afin d'éviter toute discrimination par les services répressifs.

Cette résolution rappelle que le déploiement de l’IA dans les domaines répressif et judiciaire ne devrait pas être réduit à la simple question de la faisabilité technique, mais être davantage considéré comme une décision politique concernant la conception et les objectifs des systèmes répressifs et de justice pénale; que le droit pénal moderne repose sur l’idée que les autorités réagissent à une infraction après qu’elle a été commise, sans partir du principe que tous les citoyens sont dangereux et doivent être constamment surveillés afin de prévenir les actes répréhensibles potentiels; que les techniques de surveillance fondées sur l’IA remettent profondément en question ce raisonnement et qu’il est donc urgent que les législateurs du monde entier évaluent de manière approfondie les conséquences de l’autorisation de déploiement de technologies qui réduisent le rôle des êtres humains dans l’application des lois et les décisions de justice.

Le Parlement européen a notamment précisé sa position sur la reconnaissance faciale et son utilisation par les autorités judiciaires.

Il a exprimé sa vive inquiétude quant à l’utilisation, par les services répressifs et les services de renseignement, de bases de données privées de reconnaissance faciale, telles que Clearview AI, qui contient plus de trois milliards d’images collectées illégalement sur les réseaux sociaux et à d’autres endroits sur l’internet, y compris des images de citoyens de l’Union; invite les États membres à obliger les services répressifs à faire savoir s’ils utilisent la technologie de Clearview AI ou des technologies équivalentes d’autres fournisseurs.

Rappelant que le comité européen de la protection des données a estimé que l’utilisation d’un service comme celui-ci par les autorités répressives dans l’Union «ne serait probablement pas compatible avec le régime de protection des données de l’Union», il appelle de ses vœux l’interdiction de l’utilisation des bases de données privées de reconnaissance faciale dans le domaine répressif.

La résolution réaffirme que l’utilisation des technologies de reconnaissance faciale doit au moins se faire dans le respect des exigences de minimisation des données, d’exactitude des données, de limitation du stockage, de sécurité des données et du principe de responsabilité, tout en étant légale, équitable et transparente, et en poursuivant un objectif spécifique, explicite et légitime, clairement défini dans le droit des États membres ou de l’Union; est d’avis que les systèmes de vérification et d’authentification ne peuvent continuer à être déployés et utilisés avec succès que si leurs effets négatifs peuvent être atténués et les critères susmentionnés respectés;

Il demande en outre l’interdiction permanente de l’utilisation de l’analyse et/ou de la reconnaissance automatisées, dans les espaces accessibles au public, d’autres caractéristiques humaines telles que la démarche, les empreintes digitales, l’ADN, la voix et d’autres signaux biométriques et comportementaux.

Le Parlement demande enfin un moratoire sur le déploiement des systèmes de reconnaissance faciale à des fins répressives destinés à l’identification, à moins qu’ils ne soient utilisés qu’aux fins de l’identification des victimes de la criminalité, jusqu’à ce que les normes techniques puissent être considérées comme pleinement respectueuses des droits fondamentaux, que les résultats obtenus ne soient ni biaisés, ni discriminatoires, que le cadre juridique offre des garanties strictes contre les utilisations abusives ainsi qu’un contrôle et une surveillance démocratiques rigoureux, et que la nécessité et la proportionnalité du déploiement de ces technologies soient prouvées de manière empirique; relève que lorsque les critères susmentionnés ne sont pas remplis, les systèmes ne devraient pas être utilisés ou déployés.

Rappelons qu'en avril dernier, la Commission européenne a présenté une proposition de règlement sur le recours à la reconnaissance dans les espaces qui accueillent du public n'incluant pas les exigences du contrôleur européen à la protection des données sur les reconnaissance faciale.

Retrouvez la résolution du Parlement européen du 5 octobre 2021:

Télécharger résolution PE 5 oct 2021 sur l'IA

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique Droit pénal droit des Robots
commenter cet article …

5 juillet 2021 1 05 /07 /juillet /2021 06:14

Le code de la route et le code des transports s'adaptent à l'arrivée des véhicules à conduite automatisée sur les routes de France

L'émergence des véhicules autonomes fait évoluer le code de la route et le code des transports.

C'est ainsi qu'a été publié le 1er juillet 2001 le décret n° 2021-873 du 29 juin 2021 portant application de l'ordonnance n° 2021-443 du 14 avril 2021 relative au régime de responsabilité pénale applicable en cas de circulation d'un véhicule à délégation de conduite et à ses conditions d'utilisation

Les toutes premières voitures particulières équipées de systèmes de conduite automatisés arriveront très prochainement en Europe et en France. Dès septembre 2022, elles seront autorisées à rouler sur des parcours ou des zones prédéfinis.

Il s’agit de voitures dont le contrôle dynamique sera totalement délégué à un système de conduite automatisé, mais uniquement lorsque certaines conditions seront réunies. De tels véhicules pourraient être homologués pour circuler sur la voie publique avant la fin de l’année 2021. Les véhicules autonomes ne doivent pas être assimilés aux systèmes d’aides à conduite (régulateur adaptatif de vitesse par exemple).

Le premier système de ce type autorisé est le système automatisé de maintien dans la voie (dit ALKS pour Automated Lane Keeping System) qui fonctionne en situation d’embouteillage sur autoroute. L’ALKS contrôle alors le déplacement latéral et longitudinal du véhicule pendant des périodes prolongées sans intervention du conducteur. Lorsque ce système est activé, c’est lui qui dirige le véhicule.

Basée sur trois principes fondateurs - sécurité, progressivité, acceptabilité - la stratégie nationale pour le développement du véhicule autonome, publiée en mai 2018, a conduit à la publication de ce décret adaptant les dispositions du code de la route et du code des transports pour permettre la circulation sur les routes de France des véhicules équipés de systèmes à délégation de conduite dès leur homologation, et des systèmes de transport routier automatisés sur parcours ou zones prédéfinis dès septembre 2022.

Jusqu’à présent le code de la route ne considérait que le cas de la conduite d’un véhicule par une personne. Désormais, il prévoit également la possibilité qu’un système de conduite automatisé contrôle le déplacement du véhicule, et par conséquent il était important d’adapter aussi le régime de responsabilité pénale à cette situation inédite pour permettre au conducteur de dégager sa responsabilité dès lors que le système de conduite automatisé fonctionne conformément à ses conditions d’utilisation.

Le décret du 29 juin 2021 adapte donc le régime de responsabilité pénale pour permettre au conducteur de dégager sa responsabilité dès lors que le système de conduite automatisé fonctionne conformément à ses conditions d’utilisation.

Les modalités d’interaction entre le conducteur et le système de conduite automatisé, ainsi que les manœuvres d’urgence que le système peut être amené à effectuer automatiquement, sont également définies.

Il précise également le niveau d’attention attendu de la part du conducteur sur son environnement de conduite lorsqu’un système de conduite est activé.

Le décret prévoit enfin les modalités d'exonération du titulaire du certificat d'immatriculation du véhicule, lorsque le système de conduite automatisé était actif au moment de l'infraction. Concernant les systèmes de transport routier automatisés de personnes, il définit leurs spécificités techniques ainsi que leur périmètre et leurs conditions d'utilisation. Il définit les modalités d'interaction entre un intervenant humain et le système de transport.

La publication de ce décret, qui rendra également possible la circulation des systèmes de transport routier automatisés sur parcours ou zones prédéfinis dès septembre 2022 en France, est une avancée majeure pour l’ensemble de l’écosystème. La démonstration de la sécurité de ces systèmes, établie préalablement à leur mise en service, est au cœur du processus d’autorisation. Elle est conduite sur la base de plusieurs dossiers de sécurité, vérifiés par des organismes qualifiés agréés. Cette démonstration de sécurité permettra notamment de vérifier les réponses du système lors des situations de circulation prévisibles sur les parcours envisagés.

Les systèmes de conduite automatisée devraient rapidement évoluer et se multiplier. Le cadre réglementaire national établi par ce décret permet d’accompagner ces développements.

Nous reviendrons plus précisément dans un prochain article sur les dispositions de ce décret.

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans droit des transports droit des Robots
commenter cet article …

2 mai 2021 7 02 /05 /mai /2021 17:37

Robots tueurs: l'avis du Comité d'éthique de la défense du 29 avril 2021

Le comité d’éthique de la défense a rendu le 29 avril 2021 un avis sur les systèmes d’armes létaux autonomes (SALA), une première marche vers le développement d'armes robotisées pilotées par l’homme, même s'il exclu pour le moment le recours à des "robots tueurs" totalement autonomes.

Rappelons que la France s’est dotée en 2019 d’une structure de réflexion permanente sur les enjeux éthiques des nouvelles technologies dans le domaine de la défense.

La France confirme donc qu’elle ne développera et n’emploiera pas de systèmes d’armes létaux pleinement autonomes

Le rapport s’attache à identifier ce que recouvre la notion d’autonomie et présente les définitions existantes.

Au terme de cette analyse, le Comité a choisi d’établir une stricte distinction entre les SALA et les Systèmes d’armes létaux intégrant de l’autonomie (SALIA) mais incapables d’agir seuls, sans contrôle humain, de modifier leurs règles d’engagement et de prendre des initiatives létales.

Au terme de cette analyse initiale, le Comité d’éthique de la défense a choisi d’établir une stricte distinction entre :

- Les Systèmes d’armes létaux autonomes (SALA), qui sont des systèmes d’armes létaux programmés pour être capables de faire évoluer leurs règles de fonctionnement, d’échapper au contrôle humain et de redéfinir tout seuls leur mission ;
- les Systèmes d’armes létaux intégrant de l’autonomie (SALIA) qui sont des systèmes comportant des fonctions automatisées, mais sous contrôle humain, dans des conditions qui garantissent :
- le respect du principe constitutionnel de nécessaire libre disposition de la force armée,
- le respect du principe de continuité de la chaîne de commandement de l’ordre à son application,
Un SALIA ne pourrait prendre d’initiatives létales - sans contrôle humain. Il ne pourrait pas modifier seul ses conditions de fonctionnement.
Ainsi, il existe une différence de nature entre les SALA, et la notion de SALIA introduite par le Comité, qui désigne un système ne pouvant pas être déployé sans intervention humaine, l’humain étant supposé rester au cœur des décisions d’usage de la force létale.

Néanmoins, on peine à croire à une totale interdiction, alors que l'on assiste à une véritable course à de tels armements des USA à Israël en passant par la Russie, avec les robots Big Dog de Boston Dynamics (logistique), Andros (ouverture de feu), Telemax (deminage), Guardian (reconnaissance) ou nEUROn (drone).

Et dans l'armée française? Les robots militaires ont commencé à être livrés , en vue d'intégrer l'armée de Terre dans le cadre du programme terrestre Scorpion.

La Direction générale de l’armement (DGA) a ainsi réceptionné en décembre 2019 cinq premiers micro-robots de reconnaissance étendue Nerva®-LG. Ces robots sont capables d’évoluer de manière autonome pour écouter, voir et enregistrer sur le champ de bataille. Ces robots faisaient partie d’une première commande globale de 56 micro-robots passée par la DGA à la société Nexter associée à la société ECA. D’autres robots ont été livrés en 2020 : 5 Nerva®-LG complémentaires, 10 Nerva®-S de reconnaissance de faible encombrement (3 kg), et 36 Nerva®-XX / Caméléon®-LG du génie (12 kg).

En mars 2021, les élèves officiers de l’école militaire de Saint-Cyr Coëtquidan ont pu s’entraîner avec Spot, le chien robot de Boston Dynamics, mais aussi la mule de transport Ultro.

Grâce aux avancées de la recherche en matière d'intelligence artificielle notamment, une trentaine d'entreprises dans le monde sont en train de mettre au point des robots tueurs qui pourraient choisir leur cible sans même qu'un humain n'intervienne pour les piloter.

Ceci pose de nombreux problèmes éthiques, moraux, mais aussi juridiques : qui traduire par exemple en justice si des armes autonomes commettent des crimes contre l'humanité?

Un encadrement de l'utilisation des armes autonomes s'impose. Mais si le 26 septembre 2019, les ministres des Affaires étrangères français, allemand et de dizaines d’autres pays avaient approuvé au siège des Nations Unies une déclaration sur les systèmes d’armes létales autonomes, l'adoption d'un nouveau traité international tarde à se concrétiser en raison notamment des oppositions américaines et russes.

Retrouvez également sur ce sujet notre article Les SALA ou Robots-tueurs: vers une nécessaire règlementation des robots tueurs

( Source: l'avis du 29 avril 2021 ou en fichier Pdf ci-dessous)

(crédits dessin: Cabinet Thierry Vallat)

Télécharger Comité d'éthique de la défense - Avis sur l'intégration de l'autonomie des systèmes d'armes létaux

Partager cet article

Repost0

Published by thierry vallat - dans droit des Robots
commenter cet article …

3 août 2020 1 03 /08 /août /2020 14:21

L'encadrement des traitements algorithmiques de données à des fins médicales et l'information du patient dans le projet de loi bioéthique voté le 1er août 2020

Dans la nuit du vendredi 31 juillet au samedi 1er août 2020, .l’Assemblée nationale a adopté en deuxième lecture le projet de loi bioéthique par 60 voix contre 37 et 4 abstentions, Le texte devra cependant encore repasser devant le Sénat, vraisemblablement en janvier 2021, avant que les parlementaires des deux chambres ne tentent de trouver une version de compromis.

Rappelons que ce projet de loi propose une évolution de notre cadre bioéthique sur 32 de nombreux sujets intéressant l'autoconservation et dons de gamètes, l'accès à la PMA, les dons d'organes, la transmission d'informations génétiques etc.

Il vise également à sécuriser la bonne information du patient lorsqu’un traitement algorithmique de données massives (« intelligence artificielle ») est utilisé à l’occasion d’un acte de soins, avec la garantie d’une intervention humaine.

La constitution de bases de données massives relatives à la santé est en effet désormais possible à partir de données recueillies lors de la prise en charge du patient (à des fins sanitaires et/ou médico-sociales), notamment à travers le système national des données de santé qui va être élargi par la création d’une Plateforme nationale des données de santé , mais également en dehors de toute relation de soins, notamment au travers d’objets connectés.

De nombreuses applications fondées sur l’exploitation des données massives et sur des dispositifs d’intelligence artificielle se développent rapidement dans le secteur sanitaire et médico-social, au niveau de la prise en charge individuelle des personnes.

L’intelligence artificielle est par exemple mise au service d’outils qui permettent d’améliorer l’efficacité et la précocité des diagnostics, de fournir une aide aux décisions thérapeutiques ou d’améliorer le suivi de l’évolution de la maladie et la prévention des rechutes.

Des dispositifs robotiques interviennent également de façon efficace dans la réalisation d’actes chirurgicaux.

L’intelligence artificielle est également utilisée au niveau collectif, à des fins de recherche, mais aussi de suivi et d’anticipation des risques sanitaires (par exemple dans l’analyse des signaux faibles en matière de pharmacovigilance ou de suivi épidémiologique), ou encore de pilotage du système de santé, par exemple pour fluidifier les parcours de soins.

Se pose donc non seulement la question de l'information du patient, mais aussi celle de la maîtrise finale des décisions diagnostiques, préventives ou thérapeutiques prises à partir des conclusions tirées par des applications d’intelligence artificielle compte tenu, d’une part, des limites résiduelles des algorithmes utilisés au regard de la variabilité des situations individuelles spécifiques de chaque personne, d’autre part, des conséquences potentielles de ces décisions.

L’article 11 du projet vise ainsi à permettre l'information du patient lorsque l'IA est utilisée à l’occasion d’un acte de soins.

Il était initialement prévu que les patients soient systématiquement informés du recours à l'Intelligence artificielle et notamment de tout "traitement algorithmique de données massives". Par ailleurs le projet de loi déclinait également la garantie d’une intervention humaine.

Un amendement n°1469 est venu modifier l'article 11, en poursuivant plusieurs objectifs :

- clarifier le périmètre des dispositifs visés par cet article ;

- maintenir l’obligation d’informer le patient avant l’utilisation d’un traitement algorithmique dans le cadre de sa prise en charge médicale ;

- garantir que les résultats issus de ce dispositif sont validés par un professionnel de santé ;

- prévoir la traçabilité des actions et des données afin d’éviter que le dispositif ne fonctionne comme une « boîte noire ».

Un autre amendement n°650 est venu compléter l'alinéa 3 de l'article en précisant que l’hébergement de cette catégorie particulière de données est conditionné par les exigences de l’article L.1111-8 du code de la santé publique qui impose notamment la certification des hébergeurs.

L'article 11 est donc désormais libellé comme suit:

"Le chapitre Ier du titre préliminaire du livre préliminaire de la quatrième partie du code de la santé publique est complété par un article L. 4001‑3 ainsi rédigé :

« Art. L. 4001‑3. – I. – Lorsque, pour des actes à visée préventive, diagnostique ou thérapeutique, est utilisé un traitement algorithmique dont l’apprentissage est réalisé à partir de données massives, le professionnel de santé qui décide de cette utilisation s’assure que la personne concernée en a été informée au préalable et qu’elle est, le cas échéant, avertie de l’interprétation qui en résulte.

« II. – La traçabilité des actions d’un traitement mentionné au I et des données ayant été utilisées par celui-ci est assurée et les informations qui en résultent sont accessibles aux professionnels de santé concernés. Les données sont traitées et partagées dans les conditions prévues à l’article L. 1111‑8 du présent code

« III (nouveau). – Un arrêté du ministre chargé de la santé établit, après avis de la Haute autorité de santé, la liste des types de traitements algorithmiques qui font l’objet de l’information mentionnée au I. Il détermine, après avis de la Commission nationale de l’informatique et des libertés, pour chaque type de traitements, la nature et la durée de conservation des actions et des données dont la traçabilité est prévue au II. "

Le projet de loi Bioéthique va donc mettre en place un encadrement juridique des traitements algorithmiques de données massives, c'est-à-dire des traitements de données issus de l’intelligence artificielle, lorsqu'ils sont utilisés pour des actes à visée préventive, diagnostique ou thérapeutique. Le dispositif repose tout d’abord sur une obligation d'informer la personne de l’utilisation d'un tel traitement algorithmique et de ses modalités d'action. Il n'impose cependant plus l'intervention d'un professionnel de santé pour le paramétrage d'un tel traitement en précisant, comme il en avait été initialement question, que ce paramétrage puisse être modifié par le professionnel de santé. Il prévoit enfin la traçabilité des données utilisées par ces dispositifs et des actions qui en résultent, ainsi que de l’accès à ces informations des professionnels de santé concernés.

Si ces dispositions ne régissent pas les décisions s'imposant aux personnes concernées puisqu’en application de l'article L 1111-4 du code de la santé publique : « Toute personne prend, avec le professionnel de santé et compte tenu des informations et des préconisations qu’il lui fournit, les décisions concernant sa santé », les effets susceptibles de résulter de tels traitements pour les personnes en cause justifient que le principe posé par l'article 22 du règlement (UE) 2016/679 du Parlement européen et du conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données (RGPD) et par l’article 47 de la loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, qui exclut, sauf exceptions, la mise en œuvre d'une décision fondée exclusivement sur un traitement automatisé, soit appliqué en l’espèce.

Consulté pour avis, le Conseil d'Etat avait relevé le 24 juillet 2019 que le projet s’inscrit ainsi dans la ligne suivie par le Conseil d’Etat dans son avis sur le projet de loi d’adaptation au droit de l’Union européenne de la loi n°78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés (Assemblée générale, 7 décembre 2017, 393836) en faveur d’une information de la personne concernée et d’une d’intervention humaine avant la prise d’une décision administrative individuelle sur le fondement d’un algorithme. Le Conseil Constitutionnel a, par une décision n°2018-765 DC du 12 juin 2018, jugé que le législateur a défini des garanties appropriées pour la sauvegarde des droits et libertés des personnes soumises aux décisions administratives individuelles prises sur le fondement d’un algorithme, dès lors que ne peuvent être utilisés, comme fondement exclusif de cette décision, des algorithmes « susceptibles de réviser eux-mêmes les règles qu’ils appliquent, sans le contrôle et la validation du responsable du traitement ».

Rendez-vous donc en janvier 2021 pour la suite du processus législatif au Sénat et de possibles modifications de l'article 11

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans Droit de la santé droit des Robots
commenter cet article …

4 juillet 2020 6 04 /07 /juillet /2020 08:19

Transparence des algorithmes: depuis le 1er juillet 2020 nullité des décisions administratives 100 % automatisées en l'absence de mention explicite

Depuis le 1er septembre 2017, en application de la loi pour une République numérique du 7 octobre 2016 (dite Loi Lemaire), toutes les décisions administratives prises « sur le fondement d'un traitement algorithmique » doivent être accompagnées d’une « mention explicite ».

L'article L 311-3-1 du CRPA dispose donc:

"Sous réserve de l'application du 2° de l'article L. 311-5, une décision individuelle prise sur le fondement d'un traitement algorithmique comporte une mention explicite en informant l'intéressé. Les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre sont communiquées par l'administration à l'intéressé s'il en fait la demande. "

et l'article R 311-1-3-1-1 prévoit que "La mention explicite prévue à l'article L. 311-3-1 indique la finalité poursuivie par le traitement algorithmique. Elle rappelle le droit, garanti par cet article, d'obtenir la communication des règles définissant ce traitement et des principales caractéristiques de sa mise en œuvre, ainsi que les modalités d'exercice de ce droit à communication et de saisine, le cas échéant, de la commission d'accès aux documents administratifs, définies par le présent livre."

L’administration doit donc:

-Intégrer une « mention explicite » informant l’usager que la décision qui le concerne a été prise sur le fondement d’un traitement algorithmique, et qu’il a donc le droit de savoir quelles sont les « principales caractéristiques » de mise en œuvre de ce programme.

-Expliquer, sur sa demande, comment fonctionne l’algorithme utilisé.

Mais cette loi Lemaire n’était en réalité pas appliquée, sauf par l'Education nationale (avec le système d’affectation des lycéens Affelnet)

Et c’est pourquoi ce fut lors du débat sur la loi sur la protection des données personnelles de 2018 qu’un amendement sénatorial est intervenu pour « relancer la machine », finalement accepté par le gouvernement mais en en repoussant les effets de la nullité au 1er juillet 2020 et en limitant cette nullité automatique aux décisions 100 % automatisées.

Dès lors depuis le 1er juillet 2020 en effet, en l’absence de « mention explicite », les décisions concernées doivent systématiquement être considérées comme nulles. Mais cette nullité automatique ne prévaudra devant le juge administratif qu’en l’absence de « mention explicite », le seul fait pour l'administration de ne pas répondre aux demandes d’explicitation des citoyens n’étant passible d’aucune sanction.

C’est désormais l’Article 47 De la loi informatique et liberté de 1978 modifié (ancien article 10) qui prévoit cette nullité.

Mais il est clair que les administrations et collectivités territoriales ne sont malheureusement toujours pas prêtes pour au moins deux raisons:

- une insuffisante acculturation des administrations aux enjeux du numérique qu'elle considèrent comme une charge indûe

- une inadaptation lorsqu'elles confrontées à des difficultés de mise en œuvre de ces nouvelles obligations

Il faudrait bien entendu une parfaite transparence des algorithmes qui serait effectivement de nature à sécuriser mais force est de constater que ce principe est difficile à mettre en œuvre par l'Etat à chaque fois qu'il est réclamé. On l'a vu par exemple lors du Grand Débat et les interrogations concernant l'algorithme très opaque ou la mise en place de l'appli StopCovid.

Le Conseil constitutionnel s'est prononcé sur ces problématiques et a considéré en 2018 que "Ne peuvent être utilisés, comme fondement exclusif d'une décision administrative individuelle, des algorithmes susceptibles de réviser eux-mêmes les règles qu'ils appliquent, sans le contrôle et la validation du responsable du traitement. »

Sont ainsi posées des bornes au traitement automatisé des impôts et des aides ou de l'admission post-bac, voire aux expériences de justice prédictive qui, précisément, reposent sur ce type d'algorithmes et la porte ouverte aux citoyens qui pourront saisir la justice administrative chaque fois qu'une décision défavorable non motivée ou prise en considération de la personne.

Me Thierry Vallat a analysé cette disposition pour ZDNET du 3 juillet 2020: Algorithmes : les administrations forcées à plus de transparence

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique droit des Robots
commenter cet article …

24 avril 2020 5 24 /04 /avril /2020 07:05

PredPol et la police prédictive: la prévention et l'anticipation des crimes et délits par des algorithmes d'analyse décisionnelle

Prédire où et quand un crime va survenir: la police l'avait rêvé, les logiciels de police prédictive comme CrimeScan ou PredPol le proposent.

Ringardisés les inspecteurs Columbo et autres détectives, place à l'ère du Minority report de Philippe K Dick, quand la police algorithmique arrive à stopper les criminels avant leur passage à l’acte.

Il s'agit en effet d'algorithmes auto-apprenant qui moulinent le type d'infraction, leur localisation et leur date. Après avoir déterminé les zones géographiques et les horaires où la commission de délits est la plus probable, les données sont transmises aux patrouilles de police afin d’empêcher leur commission. Bien entendu en amont, les concepteurs de ce Big Data de la sécurité publique ont collecté ici et là le maximum de données personnelles pour nourrir leur intelligence artificielle en les croisant avec les fichiers de police.

Utilisés pour la première fois à Los Angeles en Californie en 2013 où ils auraient permis de réduire les cambriolages et depuis très contestés, actuellement en Europe seulement l’Allemagne et l’Angleterre utilisent des systèmes de police prédictive: les allemands avec le logiciel PredPol et les anglais avec Matrix dans la région du Kent.

En France, tout profilage qui entraînerait une discrimination à l’égard de personnes physiques sur la base de données à caractère personnel qui sont par nature, particulièrement sensibles du point de vue des libertés et des droits fondamentaux, devrait être interdit.

La CNIL définit les algorithmes auto-apprenants comme des algorithmes au comportement évolutif dans le temps, en fonction des données qui leur ont été fournies. « Ces algorithmes « auto-apprenants » relèvent du domaine de recherche des systèmes experts et de l'« intelligence artificielle ». Ils sont utilisés dans un nombre croissant de domaines, allant de la prédiction du trafic routier à l'analyse d'images médicales ». https://www.cnil.fr/fr/definition/algorithme

Rappelons que le Conseil constitutionnel, dans une décision n°2018-765 DC en date du 12 juin 2018 (https://www.conseil-constitutionnel.fr/decision/2018/2018765DC.htm), s’est prononcé pour la première fois sur la question de l’usage des algorithmes auto-apprenants comme fondement d’une décision administrative individuelle. Trois conditions ont été posées :

- le traitement algorithmique et ses évolutions doivent être maîtrisés et doivent pouvoir être expliqués sous forme intelligible à la personne concernée ;

- toute décision administrative fondée sur un algorithme doit pouvoir faire l’objet d’un recours administratif ;

- l’algorithme ne doit pas porter sur des données sensibles (origine raciale ou ethnique, opinions politiques, convictions religieuses, philosophiques ou syndicale, données génétiques, biométriques, de santé ou relatives à la vie sexuelle ou l’orientation sexuelle d’une personne physique).

Au niveau local, plusieurs collectivités territoriales tentent de mettre en place des systèmes de "vidéosurveillance intelligente" dans l’objectif de renforcer le contrôle des espaces urbains. Marseille et son projet « Big data de la tranquillité publique » lancé en 2016 en est un des exemple les plus marquants (lire notre article Big Data pour la tranquillité publique). Ce projet a été contesté devant le tribunal administratif de la cité phocéenne par la LDH et la Quadrature du net.

Ainsi, si la police prédictive peut représenter un outil de modernisation de l’action des forces de l'ordre, elle attise en même temps un certain nombre de craintes eu égard aux risques qu’elle comporte : atteintes aux libertés fondamentales, faillibilité du système, discriminations etc.

La gendarmerie nationale, toujours en pointe de l'innovation, développe une plateforme d’anticipation nommée "PAVED" pour "plateforme d’analyse et de visualisation évolutive de la délinquance", Il s'agit d'une "plateforme d’analyse décisionnelle" basée sur le principe que les faits passés détermineraient principalement les faits futurs. La gendarmerie s’intéresse plus aux zones de commission des faits de délinquance qu'aux individus et vise donc, par l’analyse prédictive, les secteurs géographiques où se concentrent les délits avec deux composantes entrent dans cette analyse : la saisonnalité et la tendance des faits.

Comme a pu s'interroger Camille Gosselin dans son article sur la police prédictive (https://www.iau-idf.fr/fileadmin/NewEtudes/Etude_1797/Etude_Police_Predictive_V5.pdf) "Au sein des forces de sécurité, l’avenir de l’analyse de la délinquance reposerait-elle principalement sur l’usage d’algorithmes ? Après la police de l’information tournée vers la gestion, la circulation des données et l’usage des technologies de l’information, la police algorithmique serait-elle l’aboutissement « d’une police intelligente », qui aurait su tirer profit des big data pour optimiser ses services face à l’insécurité ? "

Et c'est alors que ce type de dispositif semble avoir le vent en poupe que la police de Los Angeles vient d'annoncer le 21 avril 2020 qu'elle mettait un terme à son programme (lire dans le Los Angeles Times), officiellement pour des raisons budgétaires (affectation des ressources au Covid19). Mais il semblerait que les résultats finalement décevants et potentiellement stigmatisants pour certaines communautés comme les afro-américains, aient eu raison, pour le moment, de PredPol, lequel a également été abandonné par plusieurs autres services de police sur le territoire américain.

Alors véritable panacée ou miroir aux alouettes cette police algorithmique ? En tout état de cause, il convient de rester très vigilant aux projets en cours en France afin que la protection de nos si précieuses données personnelles et le respect de nos libertés individuelles ne soient pas sacrifiés sur l'autel de la sécurité publique à tout prix.

Me Thierry Vallat a été interrogé par Marianne le 6 avril 2018 sur la police prédictive http://L'ère de la police prédictive

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique droit des Robots
commenter cet article …

19 janvier 2020 7 19 /01 /janvier /2020 09:56

Une première: la création d'une intelligence artificielle peut bénéficier de la protection d'un droit d'auteur selon un tribunal chinois

Pour la première fois au monde, une juridiction chinoise a considéré que le travail d'une intelligence artificielle pouvait être protégé par un droit d'auteur.

Le tribunal de Shenzen, dans la province chinoise du Guangdong, vient en effet de juger qu'un article financier écrit par Dreamwriter, un algorithme conçu par le géant Tencent, avait été reproduit sans autorisation .

Cette décision est intervenue après que Tencent ait poursuvi en justice la société Shanghai Yingxun Technology Company, une plateforme en ligne ayant reproduit un article écrit par son robot-journaliste Dreamwriter.

Bien qu'ayant déjà retiré l'article illégalement copié , la Shanghai Yingxun Technology Company a été condamnée à payer une somme de 1,500 yuan ($216) à Tencent au titre de sa perte financière et de la protection du droit d'auteur pour cet article écrit automatiquement le 20 août 2018 par le robot.

Dreamwriter est un programme algorithmique développé par Telcent et qui écrit depuis 2015 des articles financiers.

Le tribunal a reconnu que la forme d'expression contenue dans l'article était conforme aux préconisations d'un véritable travail écrit, contenant des informations pertinentes et une analyse sur les marchés financiers, et qu'en conséquence la structure de l'article démontrait un travail raisonnable, une logique claire et une originalité certaine.

Il s'agit donc d'une première mondiale puisque jamais auparavant que ce soit aux USA, en Australie ou en Europe, le travail d'une IA n'avait été reconnu comme éligible à une protection intellectuelle.

Jusqu'à présent, la protection des œuvres culturelles créées par une machine était systématiquement écartée et elles ne sont pas protégées par des droits d'auteur. Car le robot ne peut prétendre à être considéré comme auteur. Lire notre article Le robot, la musique et les droits d'auteur -

Si au niveau européen, le rapport Delvaux adopté en février 2017 par le Parlement européen avait notamment proposé d'accorder des droits de propriété intellectuelle spécifiques sur les œuvres crées par des intelligences artificielles et de réfléchir aux « critères de "création intellectuelle propre" applicables aux œuvres protégeables par droit d'auteur créées par des ordinateurs ou des robots ». Aucune suite n'y a été donnée pour le moment (lire notre article Vers la création d'une personnalité juridique électronique )

L’Office européen des brevets vient récemment de rejeter deux demandes de brevets déposées au nom de DABUS, une intelligence artificielle. Dans un communiqué du 20 décembre 2019, l'OEB a en effet annoncé avoir rejeté les deux demandes, l'inventeur devant être un humain et non un algorithme.

“DABUS” était décrite dans le dépôt de brevet comme un "type d'intelligence artificielle connexionniste", c’est-à-dire une machine créative reposant sur un système de plusieurs réseaux neuronaux capable de générer des idées en modifiant leurs interconnexions.

Après avoir écouté les parties lors d'une audience non publique en date du 25 novembre 2019, l'Office européen des brevets a refusé les brevets EP 18 275 163 and EP 18 275 174 :

le numéro EP 18 275 163 porte sur un type de récipient pour boissons basé sur la géométrie fractale ;
le numéro EP 18 275 174 concerne sur un dispositif embarquant une lumière vacillante pour attirer l’attention pendant des opérations de recherche et de sauvetage.

Le débat sur la reconnaissance des droits de propriété intellectuelle à une intelligence artificielle est donc relancé par ce jugement chinois. Déjà, la protection des œuvres culturelles créées par une machine était écartée et elles ne sont pas protégées par des droits d'auteur. Car le robot ne peut prétendre à être considéré comme auteur. Lire notre article Le robot, la musique et les droits d'auteur -

(source: Ecns.cn http://www.ecns.cn/news/2020-01-09/detail-ifzsqcrm6562963.shtml )

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique Propriété intellectuelle droit des Robots
commenter cet article …

7 janvier 2020 2 07 /01 /janvier /2020 13:03

Pas de brevet pour l'IA: un algorithme ne peut être considéré comme inventeur

L’Office européen des brevets vient de rejeter les deux demandes de brevets EP 18 275 163 et EP 18 275 174 déposées au nom de DABUS, une intelligence artificielle.

Motif: les brevets n’ont pas d’inventeur humain.

La question était de savoir si un brevet pouvait être revendiqué par une machine et celle-ci reconnue comme inventeur.

Les demandes de brevets avaient en effet été soumises en août 2019 en Grande Bretahne, aux Etats-Unis et en Europe par le professeur Ryan Abbott de l'Université du Surrey,et son équipe du projet "Artificial inventors". Selon eux, la propriété de l'invention ne devrait pas être limitée aux personnes physiques, une machine qui répondrait aux critères de propriété de l'invention si elle était une personne physique devrait également être considérée comme un inventeur http://artificialinventor.com/dabus/

Dans un communiqué du 20 décembre 2019, l'OEB a annoncé avoir rejeté les deux demandes, l'inventeur devant être un humain et non un algorithme.

“DABUS” était décrite dans le dépôt de brevet comme un "type d'intelligence artificielle connexionniste", c’est-à-dire une machine créative reposant sur un système de plusieurs réseaux neuronaux capable de générer des idées en modifiant leurs interconnexions.

Après avoir écouté les parties lors d'une audience non publique en date du 25 novembre 2019, l'Office européen des brevets a refusé les brevets EP 18 275 163 and EP 18 275 174 :

le numéro EP 18 275 163 porte sur un type de récipient pour boissons basé sur la géométrie fractale ;
le numéro EP 18 275 174 concerne sur un dispositif embarquant une lumière vacillante pour attirer l’attention pendant des opérations de recherche et de sauvetage.

La décision motivée sera disponible dans le courant du mois de janvier.

La reconnaissance des droits de propriété intellectuelle à une intelligence artificielle est donc loin d'être gagnée. Déjà, la protection des oeuvres culturelles créées par une machineétait écartée et elles ne sont pas protégées par des droits d'auteur. Car le robot ne peut prétendre à être considéré comme auteur. Lire notre article Le robot, la musique et les droits d'auteur -

(crédits dessin: Cabinet Thierry Vallat)

Partager cet article

Repost0

Published by thierry vallat - dans Propriété intellectuelle droit des Robots
commenter cet article …

13 décembre 2019 5 13 /12 /décembre /2019 13:30

Place des algorithmes dans le secteur juridique: la réponse ministérielle du 12 décembre 2019

Article mis à jour le 29 mars 2020

Dans une réponse ministérielle du 12 décembre 2019, la garde des Sceaux vient de donner sa vision de la place des algorithmes dans la justice, suite à une question ministérielle n° 11629, JO Sénat 12 déc. 2019 .

La sénatrice Brigitte Lherbier avais attiré l'attention de Mme la ministre de la justice, sur la place accordée aux algorithmes dans le secteur juridique, notamment sur la fonction « prédictive » de ces outils.

Pour la parlementaire "alors que certains pays de l'organisation de coopération et de développement économiques (OCDE), comme la Finlande ou les États-Unis ont de plus en plus recours à des algorithmes dans leurs systèmes de justice, avec par exemple le logiciel américain compas qui mesure le risque de récidive des prévenus, mais s'est révélé peu précis et peu efficace ; il est fondamental pour la France que les professionnels du secteur mais aussi l'État, se saisissent du sujet de l'intelligence artificielle (IA) dans la justice et définissent les usages qu'ils veulent en faire, afin d'éviter l'avènement d'une justice expéditive et déshumanisée"

Elle considère que "lsecteur juridique privé en France gagnerait à établir des bonnes pratiques et à respecter une certaine déontologie en matière de transparence des outils : à titre d'exemple, en France, des éditeurs juridiques privés ont déjà créé des algorithmes sans boîtes noires".

Elle a donc demandé à Mme Belloubet de clarifier la position du Gouvernement sur le développement de l'IA dans le secteur du droit et de la justice, et sur la possibilité de travailler avec les legal techs à la mise en place d'une certification qui permettrait le déploiement raisonné et éthique de ces solutions d'IA. La France a une opportunité pour être pionnière dans la justice algorithmique, au service des justiciables.

La Garde des Sceaux a répondu ainsi le 12 décembre 2019:

"Les nouvelles technologies de l'information et de la communication contribuent à dessiner un nouvel environnement judiciaire permettant ainsi, entre autres, la dématérialisation de l'accès au droit et à la justice, la création de plateformes de résolutions à l'amiable des litiges ou encore l'accès à de nouvelles modalités de saisine des juridictions, notamment civiles.

Parmi ces évolutions, les outils algorithmiques dits « d'intelligence artificielle » se proposent notamment de contribuer à réduire l'aléa judiciaire par l'analyse statistique du risque judiciaire encouru par le justiciable. Touchant au cœur de l'action du magistrat, ces outils pourraient modifier en profondeur la pratique du droit : ils suscitent donc d'importants débats.

Parmi les deux cents entreprises répertoriées en 2018 comme Legaltech seules 3 % des start-ups « legaltech » feraient du développement d'un algorithme d'intelligence artificielle leur cœur de métier. Ces nouveaux acteurs cherchent à faire évoluer les pratiques du droit. Il importe d'évaluer avec objectivité la réalité de ces évolutions. Plusieurs cas d'usage et d'expérimentations, en France comme dans d'autres pays, justifient une première analyse nuancée des algorithmes de prédiction de l'aléa juridique.

En France, l'expérimentation d'un logiciel aux visées prédictives dans le ressort des cours d'appel de Douai et Rennes au printemps 2017 a été conclue par le constat partagé entre magistrats et avocats d'une inadéquation par rapport aux besoins exprimés.

Au Royaume-Uni, l'expérimentation HART, conduite en 2016 par des chercheurs de l'université de Londres, et qui avait comme objectif de reproduire les processus de décision du juge européen, n'est pas parvenue à descendre en dessous des 20 % de réponses erronées, ce qui est un taux trop important pour un outil d'aide à la décision. Il appartient à la puissance publique de fixer le cadre et d'orienter le justiciable dans cet univers en pleine mutation.

À ce titre, la principale garantie contre une justice intégralement algorithmique tient à l'article 47 de la loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, qui dispose qu'« aucune décision de justice impliquant une appréciation sur le comportement d'une personne ne peut avoir pour fondement un traitement automatisé de données à caractère personnel destiné à évaluer certains aspects de la personnalité de cette personne. (…) ».

La loi n° 2016-1321 du 7 octobre 2016 dite « République numérique » impose la transparence des algorithmes publics, offrant ainsi une garantie supplémentaire contre un éventuel phénomène de « boîte noire » en matière d'usages judiciaires de l'intelligence artificielle. En outre, la loi de programmation 2018-2022 et de réforme pour la justice prévoit : que la réutilisation de données de magistrats ou de greffiers « ayant pour objet ou pour effet d'évaluer, d'analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées » est un délit (article 33) ; une certification facultative des plateformes en ligne de résolution amiable des litiges, y compris celles dont le service en ligne est proposé à l'aide d'un traitement algorithmique ou automatisé de données à caractère personnel. Il s'agit d'accompagner le développement des legaltech tout en sécurisant le cadre juridique et instaurant un climat de confiance pour le justiciable qui recourt à ces outils numériques. La certification sera accordée dès lors que les plateformes respectent les règles de protection des données à caractère personnel et les exigences d'indépendance et d'impartialité. La certification ne pourra pas être accordée à des plateformes qui auraient pour seul fondement un traitement algorithmique ou automatisé de données. Cette accréditation a été pensée non comme une obligation mais comme une faculté et doit aider au développement de ces entreprises innovantes tout informant pleinement le justiciable.

Parallèlement, le plan de transformation numérique du ministère de la justice doit permettre de mettre en œuvre les dispositions de la loi de programmation 2018-2022 et de réforme pour la justice sur l'open data des décisions de justice."

L’objectif est clair pour Mme Belloubet: « il s'agit d'accompagner le développement des legaltech tout en sécurisant le cadre juridique et instaurant un climat de confiance pour le justiciable qui recourt à ces outils numériques ».

Le projet de décret open data a été communiqué par la Chancellerie en novembre dernier. Nous y reviendrons dans un prochain article.

mise à jour le 29 mars 2020

Si le décret opendata est toujours aux abonnés absents, un autre décret a été publié ce 29 mars 2020: le Décret n° 2020-356 du 27 mars 2020 qui instaure d'un traitement automatisé de données à caractère personnel dénommé « DataJust » à partir des données de ces 3 dernières années 2017 à 2019 croisées à partir des fichiers JuriCa et Ariane.

Il autorise le ministre de la justice à mettre en œuvre, pour une durée de deux ans, un traitement automatisé de données à caractère personnel, dénommé « DataJust », ayant pour finalité le développement d'un algorithme destiné à permettre l'évaluation rétrospective et prospective des politiques publiques en matière de responsabilité civile et administrative, l'élaboration d'un référentiel indicatif d'indemnisation des préjudices corporels, l'information des parties et l'aide à l'évaluation du montant de l'indemnisation à laquelle les victimes peuvent prétendre afin de favoriser un règlement amiable des litiges, ainsi que l'information ou la documentation des juges appelés à statuer sur des demandes d'indemnisation des préjudices corporels.

Le décret définit les finalités du traitement, la nature et la durée de conservation des données enregistrées ainsi que les catégories de personnes y ayant accès

L'avis de la CNIL figure en page 128 du JO (version Pdf)

Ce texte se situe donc dans la droite ligne de la vison gouvernementale de la justice prédictive et crée un véritable danger de robotisation de la justice par le truchement d'algorithmes biaisés et une marginalisation consciente du rôle des avocats.

retrouvez ce décret du 27 mars 2020 : https://www.legifrance.gouv.fr/affichTexte.do;jsessionid=5345BC5CCB171D6FCD294B1C7DE1DAF9.tplgfr29s_3?cidTexte=JORFTEXT000041763205&dateTexte=&oldAction=rechJO&categorieLien=id&idJO=JORFCONT000041763193

(Crédits dessin: Cabinet Thierry Vallat)

NB: le maillet est un clin d'œil totalement assumé...

Partager cet article

Repost0

Published by thierry vallat - dans Droit numérique droit des Robots
commenter cet article …

9 août 2019 5 09 /08 /août /2019 07:44

Projet de loi bioéthique et intelligence artificielle: encadrement des traitements algorithmiques de données à des fins médicales, information du patient et garantie humaine

Le Projet de loi relatif à la bioéthique , n° 2187 sera l'un des textes phares qui seront débattus à la rentrée 2019.

Présenté en Conseil des ministres le 24 juillet 2019 le projet de loi propose une évolution de notre cadre bioéthique sur 32 articles interessant l'autoconservation et dons de gamètes, accès à la PMA, dons d'organes, transmission d'informations génétiques etc.