Image and text data fusion for stroke outcome prediction

     

Stage M2 ou Ă©quivalent(F/M)

 

«Fusion de données images et textuelles pour la prédiction de l’issue de l’AVC»

 

Contexte

Dans le domaine de la médecine, l'analyse des données cliniques est devenue un élément clé pour améliorer la prise en charge des patients et comprendre les mécanismes pathologiques. Les progrès technologiques ont permis la génération et la collecte de données massives et hétérogènes provenant de diverses sources telles que l'imagerie médicale ou les comptes-rendus textuels liés au monitoring des patients.

 

Cependant, la combinaison de données provenant à la fois d'images médicales et d'informations textuelles nécessite le développement d'algorithmes et de techniques d'intelligence artificielle avancées. L'objectif est de permettre une analyse efficace de ces données de manière conjointe. Il s'agit en quelque sorte de relier les pièces du puzzle pour obtenir une image globale et précise de la santé du patient.

Les images médicales fournissent des informations visuelles cruciales sur les tissus et les organes, tandis que les données textuelles, issues des rapports médicaux et des notes de suivi, contiennent des informations cliniques précieuses. La fusion de ces deux types de données nécessite des méthodes sophistiquées pour extraire les relations complexes et identifier les éléments pertinents dans les données textuelles et visuelles.

 

Description du stage

Ce stage de 6 mois se dĂ©roulera au sein de l’équipe MYRIAD, une Ă©quipe de recherche laboratoire CREATIS. En collaboration avec l’équipe DMD du laboratoire ERIC dans le cadre du projet FIL CEDAR https://fil.cnrs.fr/les-projets-2024-2025/ 

 

Le travail portera sur l'exploration d'architectures de modèles de fusion plus avancées, spécifiquement pour la tâche de prédiction de la lésion finale de l'AVC. L'objectif serait de développer des modèles de fusion qui intègrent à la fois les données cliniques structurées et les images médicales, afin de prédire les résultats cliniques chez les patients atteints d'AVC. Parmi les tâches spécifiques envisagées, on peut citer :

  1. Développer des méthodes pour fusionner de manière efficace les informations extraites à partir des données textuelles et des images. Il peut s'agir de techniques basées sur des réseaux neuronaux qui permettent d'intégrer de manière cohérente les informations provenant des deux sources de données. L'objectif est de capturer les relations complexes entre les informations textuelles et visuelles, afin de créer une représentation globale et unifiée des données.
  2. Exploiter de la complémentarité des données textuelles et les images pour une prédiction améliorée de la lésion d’AVC. Il s'agit de tirer parti des avantages de chaque source de données et de capturer les informations qui ne peuvent être obtenues que par leur combinaison. Cela peut nécessiter le développement de mécanismes d'attention pour mettre en évidence les éléments pertinents des données textuelles et des images lors de la fusion, afin de créer une représentation globale plus riche et informative.

 

 

Mots-clés : intelligence artificielle, fusion de données hétérogènes, intégration de données, représentation unifiée

 

Références:

  1. Murugappan, Manickam, et al. "Covidnet: implementing parallel architecture on sound and image for high efficacy." Future Internet 13.11 (2021): 269.
  2. Xu, Yesheng, et al. "Deep sequential feature learning in clinical image classification of infectious keratitis." Engineering 7.7 (2021): 1002-1010.
  3. Huang, Shih-Cheng, et al. "Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines." NPJ digital medicine 3.1 (2020): 136.

Profils des candidat(e)s

  • Etudiant(e) en dernière annĂ©e de Master 2 ou Ă©cole d’ingĂ©nieur,
  • Vous avez reçu une solide formation en Deep learning et maitrisez Python ainsi que les outils tels que Tensorflow/Pytorch.
  • Des connaissances en traitement automatique de la langue seraient apprĂ©ciĂ©es.
  • Un bon niveau en anglais technique.
  • Vous ĂŞtes intĂ©ressĂ© par la recherche scientifique et curieux(se).

Informations générales

  • Thème/Domaine : machine learning, traitement des images, donnĂ©es de santĂ©
  • Ville : Villeurbanne
  • Lien : INSA Lyon, Laboratoire CREATIS
  • Date de prise de fonction souhaitĂ© : 2024-02-01
  • DurĂ©e de la convention de stage : 6 mois
  • Stage avec gratification.
  • Encadrement par : 

            Carole Frindel (CREATIS) https://sites.google.com/view/carole-frindel/

            Carole Lartizien (CREATIS) https://www.creatis.insa-lyon.fr/~lartizien/

 

Pour postuler, envoyez vos CV + derniers bulletins de notes Ă  l’adresse carole.frindel@creatis.insa-lyon.fr avec comme objet [Stage CEDAR] Nom PrĂ©nom