IA générative et sécurité : retour sur des recommandations de l’ANSSI

 Par Alice Robert et Alexandre Fievee, Derriennic Associés

L’IA générative, à savoir « un sous-ensemble de l’intelligence artificielle, axé sur la création de modèles qui sont entraînés à générer du contenu (texte, images, vidéos, etc.) à partir d’un corpus spécifique de données d’entraînement »[1], présente des enjeux indéniables en santé, notamment dans l’accompagnement de l’activité des professionnels de santé ou encore l’optimisation de la recherche.

La mise en œuvre d’un tel outil n’est toutefois pas sans soulever des problématiques de différentes natures : vie privée et protection des données personnelles, propriété intellectuelle, secret des affaires, éthique, sécurité, etc.

L’ANSSI s’est récemment penchée sur l’aspect sécurité de l’IA générative et a formulé une trentaine de recommandations.

Sans se livrer à une analyse exhaustive de ces recommandations, un échantillonnage met en lumière l’importance d’agir avec prudence, en ayant une vision à la fois transversale et adaptée à chaque situation. 

• Mise en œuvre d’une IA générative : des mesures de sécurité spécifiques à intégrer par phase

Mettre en œuvre une IA générative, implique, selon l’ANSSI, trois phases cycliques : entrainement, intégration et déploiement, production.

Au-delà de la nécessité de mener une analyse de risques particulière en amont de la première phase, compte tenu notamment de la spécificité des attaques en matière d’IA générative, il est fondamental de travailler sur des mesures de sécurité spécifiques à chacune de ces trois phases. En effet, l’ANSSI souligne que chaque phase peut concerner des environnements et des utilisateurs particuliers.

Pour évaluer les mesures de sécurité à mettre en place, l’ANSSI recommande aussi de tenir compte : 

- Des interactions entre les différents systèmes : intégrations internes et externes de l’IA générative avec un SI existant ;

- Des différentes parties prenantes à l’IA générative, selon l’organisation du partage de responsabilité retenue (sans oublier la sous-traitance associée). 

• Conception d’une IA générative : des réflexes de prudence à adopter

Parmi les recommandations données par l’ANSSI, on peut relever la nécessité de réaliser une évaluation du niveau de confiance des sources de données externes utilisées dans l’IA générative ou encore de recourir à des modèles d’IA sécurisés, à l’état de l’art.

L’ANSSI recommande également de tenir compte des enjeux de la confidentialité, en particulier, face à la complexité de l’accès à une IA générative sur l’application « du besoin d’en connaître » des utilisateurs. Par exemple, des données sensibles (i) peuvent figurer dans des requêtes d’utilisateur et les réponses associées et (ii) alors faire l’objet d’un stockage temporaire au stade du traitement, et potentiellement d’une utilisation afin de réentrainement du modèle. Ce faisant « la question du besoin d’en connaître doit ainsi se reposer à chaque réentraînement du modèle, y compris sur des données issues de l’usage du modèle en production ». 

L’ANSSI insiste sur le fait que l’IA générative « ne doit pas pouvoir prendre des décisions critiques ayant un impact fort sur le métier ou la protection des biens et des personnes, sans un contrôle humain ». « L'usage automatisé de systèmes d'IA pour des actions critiques sur le SI » doit ainsi être proscrit conduisant à une définition et une configuration strictes des rôles et droits des administrateurs. 

Par ailleurs, il convient de prévoir « un mode dégradé des services métier sans système d'IA ». Il s’agit de mettre en place « au minimum une procédure de contournement du système d’IA pour les utilisateurs » et ce, « afin de prévenir des dysfonctionnements ou des incohérences dans les réponses apportées par le modèle d’IA ».

• Utilisation d’IA génératives tierces : « des points de vigilance à prendre compte »

L’ANSSI revient sur l’importance de ne pas transmettre de données sensibles aux « services d’IA générative tiers grand public » (exemples : ChatGPT, Gemini, Copilot, DeepL, etc.). L’utilisation d’outils d'IA générative sur Internet à des fins professionnelles et impliquant des données sensibles (y compris pour « générer des jeux de données synthétiques pour l’entrainement et le fine-tuning d’un modèle d’IA ») est ainsi à bannir.

En outre, l’ANSSI recommande de revoir régulièrement (i) la configuration des droits d’accès des IA génératives tierces sur les données/applications métiers avec lesquelles elle peut établir, par défaut, une connexion pouvant être très large, mais (ii) également les mises à jour tant fonctionnelles que sécuritaires de l’outil et ses incidences éventuelles sur les besoins d’en connaître des utilisateurs. 

Chaque acteur concerné en santé est donc invité à suivre ces « bonnes pratiques » de sécurité, lesquelles viennent ainsi s’ajouter aux « référentiels de conformité » à respecter dans la mise en œuvre ou l’utilisation d’une IA générative (parmi lesquels l’IA Act, le RGPD ; les recommandations de la CNIL, etc.).

Source : https://cyber.gouv.fr/publications/recommandations-de-securite-pour-un-systeme-dia-generative

[1] Définition de l’ANSSI dans son guide.