Les systèmes d'IA désormais régulés !

 Par Marguerite Brac de La Perrière, Avocate associée du Cabinet Fieldfisher, Numérique & Santé

Jusqu'au terme des discussions, les opposants ont fait valoir leurs craintes liées au fait de réguler en Europe, ce qui ne le serait pas ou moins dans le reste du monde, et ainsi de brider l'innovation et/ou de créer une distorsion de concurrence défavorable à l'Europe.

En matière de santé, les systèmes d'IA constituent des IA à haut risques - outre des dispositifs médicaux -, ce qui entraînera donc l'application d'exigences spécifiques en ce qui concerne la qualité des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux utilisateurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la cybersécurité. 

1. Documentation et gouvernance des données

A cet égard, concrètement, les fournisseurs devront assurer la tenue de registres et la mise à disposition d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes. Ces informations devront notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, d’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place. La documentation technique devra être tenue à jour.

À découvrir → Les référentiels ISO, pas si simples

En ce qui concerne l’accès aux données et à la documentation, les autorités de surveillance du marché devront avoir pleinement accès aux jeux de données d’entraînement, de validation et de test utilisés par le fournisseur, y compris par l’intermédiaire d’interfaces de programmation d’applications (API) ou d’autres moyens et outils techniques appropriés permettant d’octroyer un accès à distance. Lorsque cela est nécessaire pour évaluer la conformité du système d’IA à haut risque, et sur demande motivée, les autorités de surveillance du marché pourront même accéder au code source du système d’IA.

2. Transparence et supervision humaine

La transparence des fournisseurs à l'égard des utilisateurs sera requise pour les systèmes d’IA à haut risque, afin de leur permettre d’interpréter les résultats produits par le système et de les utiliser de manière appropriée, justifiant que les systèmes d’IA à haut risque soient accompagnés d’une documentation et d’instructions d’utilisation pertinentes, y incluant des informations concises et claires, notamment en ce qui concerne les risques potentiels, le degré d’exactitude et les critères de mesure de l’exactitude. Cette information est fondamentale pour permettre aux utilisateurs d'exercer leur supervision humaine. 

Ces différents principes entérinent, au niveau européen, les dispositions françaises issues de la loi de bioéthique du 2 août 2021. 

3. Robustesse technique et cybersécurité 

Les systèmes d’IA à haut risque devront produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité conforme à l’état de l'art. 

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque, qui devront être résilients contre les risques liés aux limites du système (par exemple les erreurs, les défauts, les incohérences, les situations inattendues) ainsi que contre les actions malveillantes qui pourraient compromettre la sûreté du système d’IA et entraîner un comportement préjudiciable ou indésirable. 

De même, la cybersécurité jouera un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement, leurs performances ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent faire usage de ressources spécifiques à l’IA, telles que des jeux de données d’entraînement (empoisonnement de données) ou des modèles entraînés, ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure technologique sous-jacente. 

4. Calendrier et sanctions

Gageons que les exigences applicables aux dispositifs médicaux, et celles définies en France en termes de sécurité concernant les services numériques en santé offriront une avance aux fournisseurs d'IA en santé, dans la perspective de la mise en conformité, laquelle doit désormais intervenir sous 24 mois pour les systèmes d'IA à haut risque, étant rappelé que les infractions pourront faire l’objet d’amendes administratives pouvant aller jusqu’à 30 000 000 EUR ou, jusqu’à 6 % de son chiffre d’affaires annuel mondial total réalisé au cours de l’exercice précédent, le montant le plus élevé étant retenu.