Architectures de Deep Learning adaptatives et dynamiques pour des tâches de localisation et de classification robustes sur systèmes embarqués. Applications en viticulture transférables à la robotique

When:
18/09/2022 – 19/09/2022 all-day
2022-09-18T02:00:00+02:00
2022-09-19T02:00:00+02:00

Offre en lien avec l’Action/le Réseau : RoCED/– — –

Laboratoire/Entreprise : équipe Traitement du Signal du laboratoire CReSTIC
Durée : CIFRE, 3.5 ans
Contact : valeriu.vrabie@univ-reims.fr
Date limite de publication : 2022-09-18

Contexte :
Les architectures de Deep Learning utilisées pour des tâches de localisation et de classification à partir d’images ont principalement évolué dans deux directions différentes : la 1re vise à optimiser les performances et la 2nde à réduire les temps de calcul. Dans le 1er cas, de nouvelles architectures de type CNN de plus en plus denses ou de nouvelles alternatives par exemple CapsNet ont permis d’améliorer les performances [Men22]. En revanche, ces architectures nécessitent des ressources de calcul importantes et des bases de données étendues. Dans le 2e cas, différentes approches telles que pruning, l’utilisation d’opérateurs séparables en profondeur, etc. ont été proposées pour réduire la complexité des calculs, mais cela se fait au détriment des performances. D’autres approches alternatives de type hiérarchique ont été proposées récemment afin de pouvoir répondre simultanément aux deux objectifs [RPR21,Hel22].
D’un autre côté, la prise en compte d’autres données endogènes et exogènes, par exemple des images acquises avec d’autres caméras, des données météo, des informations complémentaires sur l’état sanitaire des plantes, etc. permet d’améliorer la robustesse des résultats. Cela est possible grâce à l’utilisation des architectures très denses ou d’un ensemble d’architectures dont les décisions sont fusionnées. Là aussi des approches alternatives permettant de fusionner des features intermédiaires permettent de réduire le temps de calcul ou d’améliorer les performances en fonction de la stratégie retenue [Yis21].
Dans les deux cas, l’apprentissage supervisé nécessite de larges bases de données annotées, tâche qui est difficile et couteuse en temps et en ressources. Les options de data augmentation sont souvent utilisées, mais ne permettent pas de créer suffisamment de diversité. Des approches génératives de type GAN permettent d’aller plus loin dans la création de nouvelles données pertinentes [Goo14]. Ces types d’approches se basent sur des données existantes et ne peuvent pas prendre en compte des problématiques réelles, par exemple des classes qui varient au cours du temps ou l’apparition de nouvelles classes. Par exemple, en viticulture, cela peut être dû à des changements des conditions météo ou traitements phytosanitaires ou bien à l’apparition de symptômes confondants induits par des carences ou par l’expression d’autres maladies. En robotique, cela peut être dû des changements de luminosité ou d’environnement.
Des approches potentiellement intéressantes ont été proposées pour résoudre en partie ces problématiques. Les approches de type reinforcement learning permettent au travers d’un système de récompense et pénalités de prendre en compte l’aspect adaptatif [Yad22]. Néanmoins, ces approches sont souvent utilisées avec un seul type d’architecture et principalement que pour la phase d’apprentissage. Les approches de type semi-supervisées, notamment d’active learning et self-supervised learning, permettent de prendre en compte l’apparition de nouvelles classes et de réduire le besoin en données annotées [WPW22]. Néanmoins, ces approches sont aussi principalement utilisées dans la phase d’apprentissage et sont très sensibles aux étapes initiales du processus. Des approches récentes de type continual learning permettent aussi de gérer le problème de nouvelles classes [KC21]. Elles sont par ailleurs adaptées à un environnement évolutif. Ces approches sont en revanche sensibles au phénomène de « catastrophic forgetting », c’est-à-dire la perte de toutes les connaissances acquises en amont lorsqu’on s’adapte à une nouvelle tâche ou une nouvelle classe. D’autre part, pour apporter un aspect dynamique au moment de l’inférence, elles se limitent à un espace de solutions restreint.
En pratique, par exemple pour des applications viticoles, une certaine cyclicité des classes est souvent observée en fonction des conditions exogènes (météo similaire certaines années, traitements phytosanitaires périodiques, etc.). D’autre part, les classes évoluent au cours du temps compte tenu de l’adaptation des plantes à l’environnement, de nouvelles apparaissent à la suite de changements climatiques.
[Goo14] I. J. Goodfellow et al., Generative Adversarial Networks, arXiv 2014, DOI: 10.48550/arXiv.1406.2661.
[Hel22] G. Heller, E. Perrin, V. Vrabie, C. Dusart, S. Le Roux: Grafting heterogeneous neural networks for a hierarchical object classification, IEEE Access, Jan. 2022: 12927 – 12940, DOI: 10.1109/ACCESS.2022.3144579
[KC21] J.-Y. Kim, D.-W. Choi, Split-and-Bridge: Adaptable Class Incremental Learning within a Single Neural Network, arXiv 2021, DOI: 10.48550/arXiv.2107.01349
[Men22] P. Mensah Kwabena et al., Capsule Networks – A survey, Journal of King Saud University – Computer and Information Sciences, 2022, 34(1):1295–1310 doi.org/10.1016/j.jksuci.2019.09.014
[RPR21] D. Roy, P. Panda, K. Roy, Tree-CNN: A Hierarchical Deep Convolutional Neural Network for Incremental Learning, arXiv 2019, DOI: 10.48550/arXiv.1802.05800
[Yad22] P. Yadav et al., A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization, arXiv 2022, DOI: 10.48550/arXiv.2202.08444
[Yis21] H. Yizeng et al., Dynamic Neural Networks: A survey, arXiv 2021, DOI: 10.48550/arXiv.2102.04906
[WPW22] Z. Wen, O. Pizarro, S. Williams, Active Self-Semi-Supervised Learning for Few Labeled Samples Fast Training, arXiv 2022, DOI: 10.48550/arXiv.2203.04560

Sujet :
L’objectif de cette thèse est de développer des stratégies de détection et classification qui s’appuient et qui combinent les concepts de reinforcement learning, de continual learning et l’apprentissage semi-supervisé à la fois pour l’étape d’apprentissage, mais aussi pour la prise de décision au moment de l’étape de l’inférence. Cette dernière devra être faite idéalement sur un système embarqué (edge computing) ou au plus proche du capteur (fog computing), ce qui complexifie la tâche, tout comme l’utilisation conjointe de capteurs différents, par exemple de caméras multi-spectrales dans le domaine NIR et SWIR. Les résultats devront être robustes par rapport à des conditions d’acquisition variables (luminosité, etc.), à des facteurs exogènes (traitements phytosanitaires, carence, stress hydrique, etc.), mais aussi à des facteurs endogènes (dynamique de croissance, réponse immunitaire par rapport aux maladies, etc.). Ces stratégies devront être transférables à d’autres applications, par exemple de systèmes robotisés terrestres opérant à l’extérieur.

Profil du candidat :
• Motivation très importante, curiosité et autonomie
• Esprit d’initiative et d’analyse
• Méthode et rigueur dans le travail
• Bon relationnel et esprit d’entreprise
• Maitrise du français et de l’anglais indispensable

Formation et compétences requises :
• Formation bac +5 (école d’ingénieurs ou master) en data science, informatique ou mathématiques appliquées
• Connaissances avancées en intelligence artificielle, éprouvées dans un stage de fin d’études
• Des connaissances solides en Deep Learning sont un vrai plus
• Très bonne maîtrise du langage Python et à l’aise avec l’utilisation de frameworks type Keras, Pytorch et/ou Tensorflow pour implémenter et tester les diverses architectures
• Une expérience en programmation C++ sur systèmes embarqués serait un plus

Adresse d’emploi :
Thèse CIFRE :
– SEGULA MATRA Automotive, agence de Reims
– laboratoire CReSTIC de l’URCA, Campus Sciences, Reims (https://crestic.univ-reims.fr/fr/equipe/ts)

Informations pratiques :
• Pré-embauche : mi-octobre / début novembre 2022
• Début thèse : début mars 2023