Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : GREYC UMR CNRS 6072
Durée : 3 ans
Contact : olivier.lezoray@unicaen.fr
Date limite de publication : 2022-05-31

Contexte :
IA Frugale pour la segmentation d’images

Sujet :
L’avènement de l’apprentissage profond a été un véritable tsunami dans la communauté de l’apprentissage automatique, conduisant à des résultats, notamment en vision par ordinateur, auxquels on ne se serait pas attendu quelques années auparavant. Pour de nombreuses tâches de vision, les performances des algorithmes d’apprentissage profond sont devenues équivalentes, voire supérieures, aux performances humaines.

Cependant, ces résultats ont été obtenus au prix d’une utilisation toujours plus importante de ressources telles que : la taille du modèle, le temps et l’énergie nécessaires à leur entraînement, avec des bases de données toujours plus grandes et des exigences d’annotation toujours plus élevées. Cette augmentation des besoins en ressources présente des inconvénients majeurs, liés à l’impact du ML sur l’environnement, à la difficulté d’implémenter des modèles sur des architectures embarquées, ou encore aux défis soulevés lorsque les modèles doivent être entraînés sur des tâches pour lesquelles peu de données d’entraînement sont disponibles.

Ces observations ont très récemment conduit certains auteurs [1, 2] à introduire le concept d’apprentissage automatique frugal et à définir ce que devrait être une méthodologie d’apprentissage automatique frugal, et comment évaluer la frugalité.

Dans cette thèse, nous étudierons la frugalité dans le contexte de l’IA pour la segmentation d’images [3]. L’objectif sera de proposer des modèles frugaux qui peuvent fournir des résultats efficaces tout en étant structurés pour fournir une complexité temporelle et spatiale réduite. Plus précisément, nous considérerons plusieurs aspects de la frugalité et nous nous inspirerons des travaux récents suivants : i) la conception de modèles légers par design [4, 5] ii) la compression de modèles existants [6] iii) l’élagage de modèles de segmentation existants [4, 7] iv) la frugalité sur les labels d’images et la segmentation d’images zero shot [8, 9].

[1] Lingjiao Chen, Matei Zaharia, and James Y. Zou, “FrugalML : How to use ML Prediction APIs more accurately and cheaply,” in Advances in Neural Information Processing Systems 33 : Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, Virtual, Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, Eds., 2020.
[2] Mikhail Evchenko, Joaquin Vanschoren, Holger H. Hoos, Marc Schoenauer, and Michèle Sebag, “Frugal Machine Learning,” arXiv :2111.03731 [cs, eess], Nov. 2021.
[3] Shervin Minaee, Yuri Y. Boykov, Fatih Porikli, Antonio J Plaza, Nasser Kehtarnavaz, and Demetri Terzopoulos, “Image segmentation using deep learning : A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1–1, 2021.
[4] Linjie Wang, Quan Zhou, Chenfeng Jiang, Xiaofu Wu, and Longin Jan Latecki, “DRBANET: A Lightweight Dual-Resolution Network for Semantic Segmentation with Boundary Auxiliary,” arXiv :2111.00509 [cs], Oct. 2021.
[5] Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, and Ping Luo, “Segformer : Simple and efficient design for semantic segmentation with transformers,” CoRR, vol. abs/2105.15203, 2021.
[6] Moonjung Eo, Suhyun Kang, and Wonjong Rhee, “A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank,” arXiv :2111.15179 [cs], Nov. 2021.
[7] Wei He, Meiqing Wu, Mingfu Liang, and Siew-Kei Lam, “Cap : Context-aware pruning for semantic segmentation,” in 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), 2021, pp. 959–968.
[8] Mengde Xu, Zheng Zhang, Fangyun Wei, Yutong Lin, Yue Cao, Han Hu, and Xiang Bai, “A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model,” arXiv :2112.14757 [cs], Dec. 2021.
[9] Maxime Bucher, Tuan-Hung Vu, Matthieu Cord, and Patrick Pérez, “Zero-shot semantic segmentation,” in Advances in Neural Information Processing Systems 32 : Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B. Fox, and Roman Garnett, Eds., 2019, pp. 466–477.

Profil du candidat :
Les candidats doivent être titulaires d’une maîtrise ou d’un diplôme d’ingénieur dans un domaine lié à l’informatique, au génie électrique ou aux mathématiques appliquées, et posséder de solides compétences en programmation (en particulier avec des cadres d’apprentissage profond). Une expérience en traitement d’images sera un plus. Les candidats doivent avoir des capacités à rédiger des rapports scientifiques et à communiquer des résultats de recherche lors de conférences en anglais.

Formation et compétences requises :
Les candidatures doivent inclure les documents suivants au format électronique : i) Une courte lettre de motivation expliquant pourquoi vous êtes intéressé(e) par ce projet, ii) Un CV détaillé décrivant vos antécédents de recherche en rapport avec le poste iii) Les relevés de notes des diplômes de master. iv) Les coordonnées de trois références (ne joignez pas les lettres de référence à votre candidature car nous ne les demanderons qu’aux candidats présélectionnés).

Veuillez envoyer votre dossier de candidature à frederic.jurie@unicaen.fr et olivier.lezoray@unicaen.fr.

Adresse d’emploi :
Le poste est à pourvoir dès que possible avec un salaire de 32 kEuros brut, et sera situé à Caen, France.

Idéalement située au cœur de la Normandie, à deux heures de Paris et à seulement 10 minutes des plages, Caen, ville natale de Guillaume le Conquérant, est une ville vivante et dynamique.

Document attaché : 202204031020_PhD_FrugalAI.pdf