Transfert de style par apprentissage profond (deep learning) pour la synthèse d’images radar

When:
30/06/2019 – 01/07/2019 all-day
2019-06-30T02:00:00+02:00
2019-07-01T02:00:00+02:00

Annonce en lien avec l’Action/le Réseau : Doctorants

Laboratoire/Entreprise : ONERA DEMR
Durée : 3 ans
Contact : flora.weissgerber@onera.fr, gilles.vieillard@onera.fr, elise.koeniguer@onera.fr
Date limite de publication : 2019-06-30

Contexte :
Pour soutenir le développement de nouvelles missions d’imageurs radars, l’ONERA développe un nouveau système de simulation d’image radar qui doit permettre de produire rapidement de grandes scènes dans de nombreuses configuration d’acquisition (fréquences des ondes émises, l’orbite du porteur, etc.). Dans ce sujet de thèse, nous nous intéressons à la simulation par apprentissage profond (Deep-Learning), et plus particulièrement au transfert de style entre deux images ayant été acquises dans des configurations différentes. L’objectif de ce sujet est de tirer parti des grandes bases de données satellitaires existantes (TerraSAR-X, Sentinel-1, etc.) et de l’augmentation des données disponibles sur les scènes (information cadastrale, Modèle numérique de terrain) pour simuler des nombreuses configurations satellitaires ou aéroportées.

Sujet :
L’évaluation des performances de systèmes d’imagerie radar RSO (Radar à Synthèse d’ouverture, Synthetic Aperture Radar (SAR) en anglais) et des algorithmes de reconnaissance de cibles dans un contexte opérationnel nécessite un grand nombre de scénarios de test. Cependant, acquérir des bases de données de mesures représentant au mieux la diversité des scenarios est très onéreux, voire impossible. Pour construire ces bases de données, on peut alors recourir à des outils de simulation de scène. En plus de la création de base de données, la simulation permettrait aussi d’obtenir des données de références lorsqu’il n’est pas possible d’effectuer des acquisitions préalables avec le capteur opérationnel, notamment pour des scénarios de défense. Dans le domaine civil, la simulation pourrait suppléer les images d’archive pour la détection de changement, par exemple lorsqu’aucune image n’a été acquise avant une catastrophe naturelle, et ainsi d’améliorer la réactivité dans des missions de Search-and-Rescue (SAR).

Les méthodes actuelles de simulation sont basées sur la modélisation des propriétés physiques de diffuseurs présents sur la scène. Cette scène est construite manuellement à partir de divers éléments (photos sur site, photos aériennes, informations cadastrales, modèles numériques de terrain). L’un des risques des méthodes de simulation basées sur la modélisation physique est l’obtention de données synthétiques n’ayant pas vraiment la texture, « le grain » des mesures, bien que présentant les statistiques théoriques de l’imagerie radar liées au phénomène de chatoiement (speckle). Ce phénomène est principalement dû au niveau de détail utilisé pour décrire la scène, limité afin de la simuler dans un délai raisonnable. Or, le manque de réalisme de l’arrière-plan (le fouillis) des images simulées peut entraîner une mauvaise évaluation des algorithmes de détection ou de reconnaissance de cibles.

Grâce aux nombreuses missions satellites et aux acquisitions aéroportées, il existe un large répertoire d’images qui pourrait être utilisés pour améliorer les simulations. Mais les conditions d’acquisition de ces images sont limitées (bande X pour TerraSAR-X, bande C pour Sentinel-1, incidences entre 30 et 40°, etc.). Or, les images radars sont sensibles à la fréquence d’acquisition (la bande), la polarisation ainsi qu’à la géométrie d’acquisition (direction de la trajectoire, l’angle de vue ou le dépointage). A titre d’exemple, la figure 1 (voir sujet en pdf) présente deux acquisitions dans les environs d’Amsterdam par le satellite Sentinel-1 selon deux caps différents (orbite ascendante ou descendante). Les deux images sont la composition en fausses couleurs des signaux acquis pour deux polarisations différentes (canaux HV et VV). Les variations d’intensité dans les différents canaux couleur illustre l’impact du cap sur la polarimétrie du fouillis urbain et de la végétation.

L’objectif de cette thèse est de pouvoir obtenir des images radar simulées plus réalistes en utilisant des approches par apprentissage profond (Deep Learning – DL) et principalement par le transfert de style. L’idée du transfert de style est d’apprendre les styles (ou les textures) des images selon la nature des zones imagées et les paramètres d’acquisition puis de reporter cette texture sur les zones de même type dans les données synthétiques. Pour cela, on envisage une méthode d’apprentissage profond qui ferait appel à une base d’apprentissage dédiée obtenue sur diverses zones de terrain, constituée des couples d’images radar, chacune acquise dans des conditions différentes (en termes d’incidence, de cap, de résolution, de fréquence, de conditions de prises de vue). Une fois entraîné, le modèle pourra être appliqué à des images acquises dans certaines des conditions similaires à celles de la base d’apprentissage afin de générer des images du même lieu semblables à celles qui seraient acquises dans des conditions de mesure différentes. Les réseaux de neurones à apprentissage profond ont déjà montré des capacités intéressantes pour le transfert de style sur les images et le sur-échantillonnage de portraits photographiques. A l’ONERA, cette deuxième approche a été sondée en l’adaptant pour le sur-échantillonnage de modèles numériques de terrain (MNE) et a montré des premiers résultats encourageants lors d’un stage. Ces travaux sont devenus possibles grâce au développement des technologies des cartes graphiques (GPU) qui réduisent fortement le coût des calculs d’apprentissage.

Ces premiers travaux se sont néanmoins limités à des données optiques ou des cartes de hauteur. L’objectif est de définir un nouveau cadre méthodologique pour que ces techniques puissent s’appliquer sur des images SAR. Plusieurs thématiques sont ainsi envisagées : la génération d’image SAR à partir de données de vérité terrain telles que des MNE ou des informations de classification, le transfert d’une bande de fréquence à une autre, d’un point de vue à un autre (incidence ou cap), ou le transfert de canal de polarisation. Ces efforts d’amélioration de la simulation seront aussi complétés par des apports méthodologiques dans l’évaluation de la qualité de la simulation. Il sera par exemple intéressant d’étudier la définition d’indicateurs quantitatifs qui pourront capturer l’idée de « grain » ou de texture pour les images RSO. Cette réflexion pourra aussi déboucher sur la définition de pré-traitements permettant un meilleur apprentissage par le réseau de neurone ou une modification de son architecture.

Ce travail pourra s’appuyer sur des données acquises en bande X et Ku par les moyens ONERA (SETHI) ainsi que sur des données de satellites commerciaux (TerraSAR-X, Sentinel, etc.).

Profil du candidat :
Grandes Ecoles, M2R

Formation et compétences requises :
Traitement Signal, Machine Learning, Méthodes de Reconnaissance

Adresse d’emploi :
ONERA Palaiseau (www.onera.fr)

Document attaché : TheseStyleRadar_GDRISIS.pdf