Un modèle d'IA qui combine images et données cliniques

Les cliniciens prennent en compte, pour évaluer l’état de leurs patients, à la fois les données d’imagerie et les données cliniques issues d’autres modes d’exploiration ou d’observation. Cependant, les approches actuelles basées sur l’IA sont conçues pour résoudre des tâches avec un seul type de datas à la fois.

Les réseaux de neurones transformers plus efficaces que les réseaux convolutifs

Les réseaux neuronaux transformers ont la capacité de combiner des données d'imagerie et d’autres datas pour un diagnostic plus précis. Ces modèles de transformers ont été initialement développés pour le traitement informatique du langage humain. Depuis, ils ont alimenté de grands modèles linguistiques comme ChatGPT et le service de chat AI de Google, Bard. Une équipe allemande de chercheurs a développé un modèle de ce type, présenté dans un article publié dans la Revue Radiology, afin de l’adapter à un usage médical.

Pouvoir combiner des données d’imagerie et des datas cliniques

« Contrairement aux réseaux neuronaux convolutifs, qui sont adaptés pour traiter les données d'imagerie, les modèles de transformers forment un type plus global de réseau neuronal, précise l'auteur principal de l'étude, le Pr Firas Khader, du département de radiologie diagnostique et interventionnelle de l'hôpital universitaire d'Aix-la-Chapelle, (Allemagne). Ils s'appuient sur un mécanisme dit d'attention, qui permet au réseau neuronal de connaître les relations entre ses entrées. »

Cette fonctionnalité est idéale pour la médecine, où plusieurs variables telles que les données des patients et les résultats d’imagerie sont souvent intégrées au diagnostic. Le Pr Khader et ses collègues ont élaboré leur outil sur des données de patients d'imagerie et autres datas provenant de deux bases de données contenant des informations sur un total combiné de plus de 82 000 patients.

Un outil qui pourrait faire gagner du temps aux cliniciens dabs leur pratique

Ils ont formé le modèle pour diagnostiquer jusqu'à 25 situations différentes à l'aide de données autres que l’imagerie, de données d'imagerie ou d'une combinaison des deux, appelées données multimodales. Comparé aux autres modèles, le modèle multimodal a montré des performances diagnostiques améliorées pour toutes les situations.

« Avec l'augmentation constante des volumes de données sur les patients au fil des années, ainsi que le temps limité que les médecins peuvent consacrer à chaque patient, il pourrait devenir de plus en plus difficile pour les cliniciens d'interpréter efficacement toutes les informations disponibles, ajoute le Pr Khader. Les modèles multimodaux promettent d’aider les cliniciens dans leur diagnostic en facilitant l’agrégation des datas disponibles pour un diagnostic précis. »

« Le modèle proposé par l’équipe allemande pourrait servir de modèle pour intégrer de manière transparente de gros volumes de données », a-t-il conclu.