Apprentissage profond de superpixels

When:
15/04/2022 – 16/04/2022 all-day
2022-04-15T02:00:00+02:00
2022-04-16T02:00:00+02:00

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : GREYC
Durée : 6 mois
Contact : olivier.lezoray@unicaen.fr
Date limite de publication : 2022-04-15

Contexte :
Sujet de stage Master 2/Ingénieur – Laboratoire GREYC – Équipe Image – 2022
Apprentissage profond de superpixels
Mots clés : Apprentissage profond, Traitement d’images, Vision par ordinateur, Segmentation, Superpixels.
Équipe et laboratoire : Équipe IMAGE, Laboratoire GREYC (UMR CNRS 6072).
Encadrants : Olivier Lézoray (PR UNICAEN), Sébastien Bougleux (MC UNICAEN).
Adresses email : {olivier.lezoray,sebastien.bougleux}@unicaen.fr
Stage : durée de 5-6 mois, à Caen, au Campus 2, ENSICAEN, Bâtiment F.

Sujet :
En traitement et analyse d’images, un superpixel désigne une région formée de pixels ayant des caractéristiques bas niveau similaires, typiquement perceptuelles comme la couleur. Le partitionnement d’une image en superpixels fournit généralement une sur-segmentation dont la taille et la forme des régions dépendent du choix des caractéristiques, de la mesure de similarité, et de la façon dont les pixels sont regroupés. Les différentes méthodes de segmentation en superpixels se distinguent par ces choix, souvent guidés par le contexte, l’application sous-jacente. Parmi les méthodes de sur-segmentation, celles basées sur les superpixels assurent une simplification des images perceptuellement plus cohérente, s’avérant plus performant dans de nombreuses problématiques, par exemple la stylisation, la vectorisation, la compression, l’estimation de la saillance, la détection d’objets, la segmentation sémantique, ou l’estimation du flux optique dans des vidéos.

Ces dernières années, on a pu assister à une augmentation spectaculaire de l’adoption de l’apprentissage profond pour un large éventail de problèmes de traitement et analyse d’images. À l’exception de quelques méthodes (par exemple [1, 2, 3, 4]), les superpixels sont rarement utilisés en conjonction avec les réseaux profonds modernes. Une formulation par apprentissage profond de superpixels qui puisse être effectuée de bout-en-bout (une image en entrée, une segmentation en superpixels en sortie) serait pourtant très intéressante. En effet, les algorithmes classiques tels que SLIC [5] opèrent uniquement sur des caractéristiques de couleur, ce qui peut limiter leur adaptation à des domaines d’images spécifiques, médicales par exemple. Une segmentation en superpixels pourrait fortement bénéficier de l’intégration de caractéristiques de plus haut niveau et apprises de manière supervisée. L’objectif du stage est de faire un bilan des approches existantes, d’implémenter les plus représentatives, et de les comparer sur des données pour lesquelles la segmentation de référence est connue. Une partie du stage sera également dédiée à la conception d’une nouvelle méthode profonde de superpixels, en s’inspirant des avantages des méthodes existantes.

Plan de travail :
— Bibliographie sur les méthodes de superpixels par apprentissage profond,
— Implémentation de méthodes de l’état de l’art,
— Proposition d’une nouvelle méthode,
— Comparaisons sur la Berkeley Segmentation Data Base et autres bases.

Références
[1] Varun Jampani, Deqing Sun, Ming-Yu Liu, Ming-Hsuan Yang, and Jan Kautz, “Superpixel sampling networks,” in Computer
Vision – ECCV 2018 – 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part VII, Vittorio
Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, Eds. 2018, vol. 11211 of Lecture Notes in Computer Science,
pp. 363–380, Springer.
[2] Wei-Chih Tu, Ming-Yu Liu, Varun Jampani, Deqing Sun, Shao-Yi Chien, Ming-Hsuan Yang, and Jan Kautz, “Learning superpixels
with segmentation-aware afnity loss,” in 2018 IEEE Conference on Computer Vision and Pattern Recognition, CVPR
2018, Salt Lake City, UT, USA, June 18-22, 2018. 2018, pp. 568–576, Computer Vision Foundation / IEEE Computer Society.
[3] Thomas Verelst, Matthew B. Blaschko, and Maxim Berman, “Generating superpixels using deep image representations,”
CoRR, vol. abs/1903.04586, 2019.
[4] Fengting Yang, Qian Sun, Hailin Jin, and Zihan Zhou, “Superpixel segmentation with fully convolutional networks,” in 2020
IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020. 2020,
pp. 13961–13970, Computer Vision Foundation / IEEE.
[5] Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurélien Lucchi, Pascal Fua, and Sabine Süsstrunk, “SLIC superpixels
compared to state-of-the-art superpixel methods,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, no. 11, pp. 2274–2282,
2012.

Profil du candidat :
Prol recherché :
— Etudiant.e en Master 2 Recherche ou en dernière année d’école d’ingénieur, spécialisé en informatique, image et/ou intelligence artificielle.
— Une solide formation en machine learning est indispensable.
— Des connaissances et expériences en traitement d’images, apprentissage profond et programmation (Python, TensorFlow/PyTorch) sont nécessaires.
— La maîtrise de l’anglais scientique et des qualités rédactionnelles sont importantes.
— Autonomie et curiosité pour la recherche scientique.

Formation et compétences requises :
Candidature : Pour postuler, envoyer par email aux encadrants un dossier avec CV, lettre de motivation, relevés
de notes des deux dernières années de formation, ainsi que toute pièce susceptible de renforcer la candidature
(lettre de recommandation, etc.).

Adresse d’emploi :
Laboratoire GREYC UMR CNRS 6072, Caen

Document attaché : 202201110909_sujetMasterDeepSuperPixels2022.pdf