Self Supervised Learning pour la détection d’objets de petite taille

When:
20/06/2024 – 21/06/2024 all-day
2024-06-20T02:00:00+02:00
2024-06-21T02:00:00+02:00

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : ONERA Palaiseau / SATIE
Durée : 36 mois
Contact : sidonie.lefebvre@onera.fr
Date limite de publication : 2024-06-20

Contexte :
Le développement de capteurs qui permettent d’acquérir de façon simultanée des images dans plusieurs bandes spectrales du visible à l’infrarouge lointain et leur exploitation automatique, rendue possible grâce à l’essor des méthodes de machine learning, ont permis de réaliser ces 20 dernières années de grands progrès en détection, reconnaissance et identification (DRI). Cependant, il demeure difficile de détecter des objets de petite taille (entre 1 et 50 pixels de surface), notamment quand ils présentent un faible contraste par rapport au fond ou quand on cherche à les détecter sur un fond texturé comme un ciel nuageux.
Malgré les progrès récents et impressionnants réalisés par les méthodes d’apprentissage profond dans les tâches de détection d’objets, les réseaux neuronaux (NN) traditionnels pour la détection d’objets ont du mal à trouver un équilibre entre un taux de détection élevé et un faible taux de fausses alarmes, ce qui se traduit par une dégradation de performances lorsqu’il s’agit de détecter des petites cibles. Cela s’explique par la complexité de l’apprentissage : les détecteurs doivent apprendre à extraire les caractéristiques de la cible à partir de peu de données, où le nombre de pixels de la classe objet est très faible par rapport à celui de la classe d’arrière-plan.

Sujet :
Pour résoudre ce problème, nous avons proposé, dans le cadre de la thèse d’A. Ciocarlan (2021-2024), un nouveau paradigme d’apprentissage basé sur un raisonnement a contrario, qui s’inspire de la théorie de la perception, en particulier de la théorie de la Gestalt. Les méthodes a contrario nous permettent de dériver automatiquement un critère de décision en modélisant le fond à l’aide d’un modèle naïf et en détectant les objets comme étant trop structurés pour apparaître “par hasard” selon le modèle naïf. Concrètement, notre méthode [Ciocarlan2023] consiste à guider l’apprentissage du NN en incluant un critère a contrario dans la boucle d’apprentissage. Le module NFA (pour Number of False Alarms) associé améliore considérablement les performances de ces algorithmes et a montré une robustesse impressionnante envers le contexte frugal dans le cas de données monospectrales infrarouge.

L’objectif de la thèse portera en premier lieu sur l’adaptation de cette méthodologie pour des données temporelles et multispectrales. Cette extension soulève à la fois la question de l’évolution de l’architecture des réseaux mais aussi, du fait de la difficulté à disposer de grandes bases de données annotées, de l’apport des méthodes de pré-entrainement d’une partie du réseau sur des données non labélisées via une tâche prétexte (SSL – self supervised learning). L’enjeu sera de définir une tâche prétexte pertinente pour la détection de petits objets sur fonds texturés, en s’appuyant notamment sur les travaux à base de masked autoencoder [He2021] ou d’apprentissage contrastif intra-image [Zhao2021]. Pour l’aspect temporel, on pourra par exemple s’inspirer des méthodes qui proposent de coupler le réseau de détection avec des méthodes de pistage rapides comme celles à base de noyaux (kernelized correlation filter – KCF) [Fan2023].

Enfin, il est important lorsqu’on utilise des NN de contrôler l’incertitude associée à leur usage et d’être en mesure d’interpréter leurs prédictions. Le deuxième enjeu de la thèse portera donc à la fois sur l’explicabilité des prédictions de détection et sur la quantification des incertitudes (UQ) associées. On envisagera notamment des approches ensemblistes et/ ou conformes pour l’aspect UQ [deGrancey2022][Andéol2023] et des approches à base d’indices de sensibilité pour l’explicabilité [Novello2022], qu’il faudra adapter à la problématique de la détection de cibles de petite taille en multispectral. Ces travaux se feront dans le cadre du Groupement d’Intérêt Scientifique LARTISSTE (https://uq-at-paris-saclay.github.io/).

Profil du candidat :
Master 2 ou école d’ingénieur spécialité IA ou statistiques, UQ

Formation et compétences requises :
Compétences en statistiques, deep learning, pytorch

Adresse d’emploi :
ONERA Palaiseau
6 chemin de la Vauve aux Granges
91120 Palaiseau

Document attaché : 202312201546_DOTA-2024_thèse_SSL.pdf