Figure 1. Gauche : image originale. Centre : points de contour (en rouge) extraits de lâimage. Droite : image segmentĂ©e
Contexte
Le but de ce stage est l'utilisation de l'apprentissage machine sur nuages de points pour la segmentation efficace d'images médicales 3D.
Verrous
Les approches de segmentation basées sur les réseaux de neurones ont montré leur efficacité pour les images médicales 2D [1] et 3D [2], mais pour les images 3D de taille relativement grande (512^3 voxels ou plus), ces approches sont difficilement exploitables en raison de leur complexité calculatoire et de leur empreinte mémoire.
Ainsi, des méthodes d'apprentissage basées sur des données non structurées, telles que les nuages de points, apparaissent comme une alternative prometteuse [3][4][5][6]. Une difficulté inhérente aux données structurées est qu'il n'est pas possible d'utiliser des réseaux de neurones convolutifs classiques, il est nécessaire de créer de nouveaux réseaux adaptés.
Programme de recherche
Des travaux sur la segmentation de donnĂ©es non structurĂ©es ont dĂ©jĂ Ă©tĂ© effectuĂ©s dans le cadre dâun prĂ©cĂ©dent stage financĂ© par le projet ANR TOPACS. Ces travaux ont dĂ©bouchĂ© sur une approche de segmentation dâimages 2D, utilisant principalement des points non structurĂ©s comme donnĂ©es dâentrĂ©e pour la segmentation, se basant sur un rĂ©seau de type âOccupancy Networkâ [5]. Des premiers rĂ©sultats prometteurs ont Ă©tĂ© obtenus (voir Figure 1), et le but de ce stage est la poursuite de ces travaux, avec plusieurs perspectives possibles:
- Proposer une nouvelle architecture de réseau plus propice à la segmentation
- Obtenir et utiliser une base dâapprentissage plus grande pour amĂ©liorer la robustesse du rĂ©seau
- Enrichir les donnĂ©es en entrĂ©e : Ă lâheure actuelle, seules des coordonnĂ©es des points sont prises en compte. Il est possible de rajouter des attributs Ă ces points, tels que lâintensitĂ© des pixels sous-jacents ou le gradient local.
- Adapter le réseau pour segmenter des images 3D.
Encadrement
Le stage se déroulera au laboratoire CREATIS, et sera encadré par Razmig Kéchichian (CREATIS), Julie Digne (LIRIS) et Sébastien Valette (CREATIS).
Candidature
Pour toute question ou candidature sur le sujet, contacter les encadrants par mail.
Références
- O. Ronneberger, P. Fischer & T. Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015.
- Ă. Ăiçek, A. Abdulkadir, S. Lienkamp, T. Brox, O. Ronneberger, 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2016.
- Charles R. Qi, H. Su, K. Mo, L. J. Guibas, PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017.
- M.-J. Rakotosaona, V. La Barbera, P. Guerrero, N. J. Mitra, M. Ovsjanikov, PointCleanNet: Learning to Denoise and Remove Outliers from Dense Point Clouds, Computer Graphics Forum, 2019.
- L. Mescheder, M. Oechsle, M. Niemeyer, S. Nowozin, A. Geiger, Occupancy networks: Learning 3d reconstruction in function space, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.
- J. J. Park, P. Florence, J. Straub, R. Newcombe, S. Lovegrove, Deepsdf: Learning continuous signed distance functions for shape representation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.