Poste d’enseignant-chercheur (H/F) en « Vision, Robotique et Intelligence Artificielle »

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : U2IS / ENSTA Paris
Durée : 3 ans (tenure track)
Contact : goran.frehse@ensta-paris.fr
Date limite de publication : 2024-01-12

Contexte :
ENSTA Paris est un établissement public d’enseignement supérieur et de recherche sous tutelle du ministère des Armées. Elle a pour mission la formation d’élèves ingénieurs généralistes de haut niveau, d’étudiants de masters et de doctorat ainsi que la conduite d’activités de recherche. Elle est membre fondateur de l’Institut Polytechnique de Paris (IP Paris).

L’unité d’informatique & d’ingénierie des systèmes (U2IS) d’ENSTA Paris est particulièrement reconnue au niveau international pour son expertise dans le domaine de la robotique et des systèmes autonomes. Elle regroupe les activités de recherche et d’enseignement de l’École dans le domaine des sciences et technologies de l’information et de la communication. Elle développe des activités de recherche dans le domaine de la conception et de la fiabilité des systèmes intégrant des processus décisionnels autonomes avec des applications dans les domaines du transport intelligent, de la défense et de l’énergie. Les travaux de l’unité portent sur les problématiques de vision, robotique, intelligence artificielle, systèmes embarqués, traitement du signal et de l’image et de conception et d’analyse de systèmes hybrides.

Sujet :
Activités principales
Le titulaire du poste intègrera l’U2IS pour y développer son groupe de recherche en cohérence avec la stratégie et l’unité et participer aux enseignements gérés par cette dernière.

Activités de recherche
En termes de recherche, il est attendu des candidats d’être en mesure :
• de contribuer au développement et au renforcement de l’activité de recherche en intelligence artificielle de l’U2IS, et en particulier dans les domaines en lien avec la vision et la robotique ;
• de développer une activité de recherche partenariale avec les acteurs industriels partenaires d’ENSTA Paris ;
• de participer à la construction d’actions autour de l’intelligence artificielle au niveau de l’Institut Polytechnique de Paris.

La personne candidate devra avoir démontré sa capacité à conduire des activités de recherche aux standards internationaux dans l’un des domaines se reportant aux thématiques de l’équipe « systèmes autonomes et robotique » comme la mobilité en milieu structuré ou non structuré (navigation, contrôle, SLAM, …), l’interaction homme-robot, l’autonomie décisionnelle, les systèmes de systèmes, en utilisant notamment des techniques d’apprentissage automatique. L’activité de recherche devra s’inscrire en complément des activités déjà développées par l’unité, en particulier dans les domaines de l’intelligence artificielle, création de bases de données, large language models (LLMs), apprentissage profond. La personne recrutée disposera de la capacité, d’une part à mener des collaborations académiques (au niveau national et international), d’autre part à développer une recherche partenariale associant les entreprises.

Activités d’enseignement
ENSTA Paris forme des étudiants recrutés chaque année parmi les tout meilleurs (ENSTA Paris classée 4ème école d’ingénieur au classement de l’Etudiant). En termes d’enseignement, il est attendu :
• de contribuer à la mise en place d’un cursus par apprentissage spécialisé en intelligence artificielle ;
• d’enseigner dans les domaines d’expertise de l’unité au sein des différentes formations d’ENSTA Paris (cycle ingénieur, formations spécialisées) et d’IP Paris (masters et formation doctorale).

Pack d’accueil
La personne candidate retenue bénéficiera d’un « pack d’accueil » constitué :
– d’une bourse de thèse, ou deux demi-bourses de thèses (avec complément Hi!Paris ou CIEDS), pour engager des travaux de thèse dans son domaine de recherche dans les 18 mois qui suivront son recrutement ;
– d’une charge de formation réduite.

Profil du candidat :
Le poste proposé est un contrat à durée déterminée de 3 ans renouvelable une fois puis transformé à terme en CDI pour les candidats ayant démontré leur intégration et un bon niveau de réalisations académiques.

L’ENSTA Paris peut accueillir les personnels fonctionnaires en détachement, en particulier les Maîtres de Conférences et les Professeurs de l’université ou les Chargés et les Directeurs de Recherche des organismes de recherche (CNRS, INRIA, …). La qualification aux fonctions de Maître de Conférences ou de Professeur des Universités n’est pas requise mais sera appréciée.

Des candidatures « junior » ou « expérimentées » sont possibles. Un candidat expérimenté avec HDR pourra obtenir le titre de Professeur accordé par la commission d’appellation d’ENSTA Paris. Un salaire attractif sera proposé en adéquation avec le profil.

Formation et compétences requises :
La personne candidate, titulaire d’une thèse de doctorat, devra justifier :
• d’une expérience en recherche et enseignement en adéquation avec les besoins exprimés ;
• de publications scientifiques dans des revues de haut niveau et en lien avec la thématique mentionnée ;
• d’une capacité à travailler en équipe tant pour l’enseignement que pour la recherche ;
• de qualités pédagogiques ;
• de pouvoir prendre des responsabilités et notamment de pouvoir piloter/coordonner un parcours d’enseignement.

Adresse d’emploi :
ENSTA Paris
828, Boulevard des Maréchaux
91762 Palaiseau Cedex

Document attaché : 202311231415_ENSTA-U2IS-EC-Vision-IA-2024.pdf

Development of automated segmentation and clustering methods for spICP-ToF-MS time-series in Nanogeochemistry.

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : Institut de physique du globe de Paris, Université
Durée : 6 mois
Contact : tharaud@ipgp.fr
Date limite de publication : 2024-01-12

Contexte :
Nanoparticles (NPs) are pervasive in natural systems, playing a crucial role in nanogeochemistry. The emergence of single-particle time-of-flight inductively coupled plasma mass spectrometry (spICP-ToF-MS) has revolutionized NP characterization, presenting new challenges in data analysis.

Sujet :
This research project seeks to bridge advanced nano-instrumentation with data-driven insights, focusing on the development of standardized methodologies for integrating spICP-ToF-MS with state-of-the-art machine learning algorithms. The IPGP hosts a world-leading geochemistry platform (PARI) equipped with an operational spICP-ToF-MS instrument and possesses an extensive dataset to (1) develop a novel methodology for the automated segmentation and clustering of NP time series generated by spICP-ToF-MS, (2) address challenges including instrumental noise, unknown NP compositions, and large data volumes requiring sophisticated statistical methods, and (3) explore interdisciplinary collaboration between geochemists, data scientists, and analytical chemists.

Preliminary tests have shown encouraging results using a 4-step methodology described and illustrated below:
– Detection: Establish a conservative threshold for detecting significant NP signals within time series data using intensity distribution across channels (b).
– Clustering: Identify families of NP signals through unsupervised clustering algorithms, considering the unknown number of NP families in natural environments.
– Classification: Train a classifier to differentiate various NPs within continuous time series, including an additional noise class, using realistic data.
– Segmentation: Divide time series into segments based on the classifier, addressing the challenge of determining optimal segmentation window size (c).

Profil du candidat :
We seek candidate with a strong background in data science, including machine learning or deep learning tehcniques.

Formation et compétences requises :
Master 2 level or engineering school.

Adresse d’emploi :
IPGP, 1, Rue Jussieu, 75005 Paris

Document attaché : 202311231031_M2 Internship IPGP-LIPADE.pdf

Generation of spatial arrangements for lightening by material removal

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : ICube UMR 7357
Durée : 6 mois
Contact : remi.allegre@unistra.fr
Date limite de publication : 2024-01-12

Contexte :
The aim of this internship is to identify and generate spatial arrangements of patterns relevant to the removal of material from solid materials for lightening purposes, in the context of construction and civil engineering applications.

Sujet :
The aim is to study geometric and statistical criteria for characterizing spatial arrangements of patterns in relation to desired mechanical properties, and to develop a generation algorithm.

A full description of the subject, together with information on how to apply, is available in the attached document.

Profil du candidat :
Skills:
– Some knowledge and experience in Computer Graphics and/or Image Processing is required.
– Experience in Machine Learning in Python is a plus.
– Curiosity and ability to communicate and share your progress and to make written reports.
– Autonomy and good organization skills.

Formation et compétences requises :
Academic level equivalent to a Master 2 in progress or Engineer in its 5th year, in Computer Science with courses in Computer Graphics and/or Image Processing, and Machine Learning.

Adresse d’emploi :
ICube – UMR 7357
300 boulevard Sébastien Brant
67400 ILLKIRCH

Document attaché : 202311221751_2023-2024-ASAM_Stage_M2_EN.pdf

Representation of physical quantities on the Semantic Web

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LIMOS at Institut Henri Fayol, Mines Saint-Étienne
Durée : 5 to 6 months
Contact : antoine.zimmermann@emse.fr
Date limite de publication : 2024-04-01

Contexte :
Physical quantities form an important part of what is represented in scientific data, medical data, industry data, open data, and to some extent, various private data.

Whether it is distances, speeds, payloads in transportation, concentrations, masses, moles in chemistry, powers, intensities, voltages in the energy sector, dimensions of furniture, weights, heights of people, durations, and many others in health, there is a need to represent physical quantities, to store them, to process them, and to exchange them between information systems, potentially on a global scale, often on the Internet and via the Web.

Sujet :
In this internship, we seek to precisely define a way to unambiguously represent physical quantities for the Web of Data. More precisely, we will study the proposals made to encode physical quantities in the standard data model of the Semantic Web, RDF. We will be particularly interested in the use of a data type dedicated to this encoding, probably adapted from the proposal of Lefrançois & Zimmermann (2018) based on the UCUM standard.

Having established a rigorous definition of the data type (possibly its variants, if relevant), we will focus on implementing a module that can read/write and process physical quantities and their operations within the RDF data manipulation APIs, for the management, querying and reasoning with knowledge graphs containing physical quantities.

The ambition is that, on the one hand, the specification will become in a few years a de facto standard, before perhaps becoming a de jure standard; and that, on the other hand, the implementation will be the reference allowing to compare the compliance levels of other future implementations.

This study should lead to the publication of a scientific paper in a high impact scientific journal.

References
1. Maxime Lefrançois and Antoine Zimmermann (2018). The Unified Code for Units of Measure in RDF: cdt:ucum and other UCUM Datatypes. In The Semantic Web: ESWC 2018 Satellite Events – ESWC 2018 Satellite Events, Heraklion, Crete, Greece, June 3-7, 2018, Revised Selected Papers, volume 11155 of the Lecture Notes in Computer Science, pp196–201, Springer.
2. Gunther Shadow and Clement J. McDonald. The Unified Code for Units of Measure. Technical report, Regenstrief Institute, Inc, November 21 2017.

Complete description available at https://www.emse.fr/~zimmermann/Teaching/SemWeb/Internship/

Profil du candidat :
Interested in the definition of specifications and their implementation.
Interested in research activities.

Formation et compétences requises :
Master 2 in computer science
Knowledge of Semantic Web technologies
Java programming
Preferably good writing skills

Adresse d’emploi :
École des mines de Saint-Étienne, bâtiment espace Fauriel, 29 rue Ponchardier, Saint-Étienne. https://www.openstreetmap.org/node/2794933485

Thèse – Object Detection from Few Multispectral Examples

Offre en lien avec l’Action/le Réseau : – — –/Doctorants

Laboratoire/Entreprise : IRISA/ATERMES
Durée : 3 ans
Contact : minh-tan.pham@irisa.fr
Date limite de publication : 2024-04-01

Contexte :
For more information: http://www-obelix.irisa.fr/files/2023/11/PHD_Object-Detection-from-Few-Multispectral-Examples_2024.pdf

Sujet :
The project aims at providing deep learning-based methods to detect objects in outdoor environments using multispectral data in a low supervision context, e.g., learning from few examples to detect scarcely-observed objects. The data consist of RGB and IR (Infra-red) images which are frames from calibrated and aligned multispectral videos.

Profil du candidat :
– MSc or Engineering degree with excellent academic track and proven research experience in the following fields: computer science, applied maths, signal processing and computer vision;

Formation et compétences requises :
– Experience with machine learning, in particular deep learning;
– Skills and proved experience in programming (Python is mandatory and knowledge about frameworks such as Pytorch is a real plus);
– Excellent communication skills (spoken/written English) is required ;
– Ambition to publish at the best level in the computer vision community (CVPR, ICCV, TPAMI, …) during the thesis.

Adresse d’emploi :
The PhD candidate will be in IRISA Vannes (80%) and in the Atermes company (20%). To be discussed.

Document attaché : 202311211332_PHD_Object Detection from Few Multispectral Examples_2024.pdf

Traitements de données hétérogènes pour la prédiction de conditions de précipitation favorables aux déclenchements d’avalanches: application aux massifs alpins savoyards

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LISTIC – Laboratoire d’Informatique, Systèmes, Tr
Durée : 4-5 mois
Contact : faiza.loukil@univ-smb.fr
Date limite de publication : 2024-04-01

Contexte :
Depuis plusieurs années, des travaux sont menés au LISTIC expérimentant des méthodes d’analyse de données et proposant des outils (applications mobiles) dans l’objectif d’estimer le risque d’avalanche lors de sorties en ski alpinisme. Une sous partie de ces travaux concerne l’analyse de données météorologiques
précipitations, vent) avec pour objectif l’identification et l’étude de corrélations entre des phénomènes météorologiques, la situation géographique du lieu (massif montagneux) et le déclenchement d’avalanches.

Sujet :
Objectif du stage :
L’objectif du stage est de poursuivre ces travaux en utilisant des méthodes d’analyse de données et d’IA. En partant des données de précipitation de certaines stations météo dans les massifs alpins savoyards, des données temporelles (jour, heure) et de l’historique des avalanches disponibles, peut-on déterminer (prédire) les conditions (météo) qu’il va y avoir sur d’autres stations dans un certain périmètre géographique ?
Dans un second temps, le travail portera sur la détermination d’un seuil pluviométrique à partir duquel les avalanches sont davantage susceptibles de se produire ; actuellement, le seuil est déterminé par l’expert qui s’en remet à son expérience.
L’étude porte sur des données issues de différentes sources (stations météo, sites Web fournissant des données météo et données sur les avalanches).
Le travail consiste :
– à identifier et compléter les différentes sources de données qu’il est possible d’utiliser
– à mettre en place un processus systématique d’analyse de données (allant de la préparation des données à leur analyse)
– à sélectionner les méthodes d’analyse qui sont pertinentes et permettraient de “prédire” l’apparition de conditions météo (pluviométriques) favorables à de potentiels déclenchements
d’avalanches
– à proposer une chaîne automatisée de traitements, générique
et reproductible.

Profil du candidat :
Etudiant-e- en M2 ou 5ᵉ année École Ingénieur en Informatique.

Formation et compétences requises :
Compétences requises :
Méthodes d’analyse de données et IA, Apprentissage Machine,
Programmation Python. Un intérêt pour les activités de montage est attendu chez le/la candidat-e.

Adresse d’emploi :
LISTIC – POLYTECH Annecy-Chambéry
5 chemin de Bellevue – Annecy-le-Vieux, France.

Self-supervised learning for anomaly detection on time series

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LITIS Lab (Rouen)
Durée : 5 to 6 months
Contact : paul.honeine@univ-rouen.fr
Date limite de publication : 2024-04-01

Contexte :
Safe and trustworthy Artificial Intelligence (AI) is central in the deployment of any AI system in major application areas, such as medicine and autonomous vehicles. Its major keystone requirements in Machine Learning (ML) have been recently investigated by researchers of the ML group in the LITIS Lab, including robustness, explainability and fairness. The current internship aims to address anomaly detection, which is a major ingredient of robust ML for Safe and trustworthy AI.

Sujet :
Self-supervised learning has recently emerged as a novel paradigm in Machine Learning, aiming to learn deep representations from unlabeled data. Its main driving force is contrastive self-supervised learning. A main ingredient in contrastive learning is a training scheme that contrasts each sample with augmented versions of itself, where augmentation strategies in imagery include color jittering, image rotation, image flipping and affine geometric transformations. Contrastive learning has been largely investigated for classification tasks, often demonstrating its relevance on well-known image classification benchmarks. However, such classification tasks with labelled training data do not get the most out of the self-supervised learning paradigm.

The goal of this internship is to explore contrastive learning for out-of-distribution detection in time series data. This would allow to take full advantage of the self-supervised learning paradigm for out-of-distribution detection (also called anomaly or novelty detection). The tasks to be carried out by the intern are as follows: The intern will implement different contrastive learning models. She/he will study augmentation methods that are relevant for time series, either by revisiting image transformations in the light of time series or by using distribution-shifting augmentations. The intern will conduct experiments on real time series by considering two contexts: detection from a batch of time series data, and online detection, namely in the context of streaming data.

This internship may lead to a PhD thesis.

Research Environment: This intern will conduct her/his research within the Machine Learning group in the LITIS Lab, under the supervision of Prof. Paul Honeine. This internship will be conducted within a research project gathering 9 permanent researchers of the LITIS Lab and the intern will also interact with several PhD students and interns also working on deep anomaly detection for time series.

References

– Hendrycks, Dan, Mantas Mazeika, Saurav Kadavath, and Dawn Song. “Using self-supervised learning can improve model robustness and uncertainty.” Advances in neural information processing systems 32 (2019).
– Li, Chun-Liang, Kihyuk Sohn, Jinsung Yoon, and Tomas Pfister. “Cutpaste: Self-supervised learning for anomaly detection and localization.” In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 9664-9674. 2021.
– Liu, Xiao, Fanjin Zhang, Zhenyu Hou, Li Mian, Zhaoyu Wang, Jing Zhang, and Jie Tang. “Self-supervised learning: Generative or contrastive.” IEEE transactions on knowledge and data engineering 35, no. 1 (2021): 857-876.
– Tack, Jihoon, Sangwoo Mo, Jongheon Jeong, and Jinwoo Shin. “CSI: Novelty detection via contrastive learning on distributionally shifted instances.” Advances in neural information processing systems 33 (2020): 11839-11852.

Profil du candidat :
Student in final year of Master or Engineering School, in data science, artificial intelligence, applied mathematics, or related fields.

Formation et compétences requises :
– Strong skills in advanced statistics and Machine Learning, including Deep Learning
– Good programming experience in Python

Adresse d’emploi :
LITIS Lab, University of Rouen Normandy, Saint Etienne du Rouvray (Rouen, France).

Application: Applicants are invited to send their CV and grade transcripts by email to paul.honeine@univ-rouen.fr.

Deep learning with Normalizing Flows for anomaly detection on time series

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LITIS Lab, Rouen
Durée : 5 to 6 months
Contact : paul.honeine@univ-rouen.fr
Date limite de publication : 2024-04-01

Contexte :
Safe and trustworthy Artificial Intelligence (AI) is central in the deployment of any AI system in major application areas, such as medicine and autonomous vehicles. Its major keystone requirements in Machine Learning (ML) have been recently investigated by researchers of the ML group in the LITIS Lab, including robustness, explainability and fairness. The current internship aims to address anomaly detection with explainable models/results, which is a major ingredient of robust ML for Safe and trustworthy AI.

Sujet :
The broad interest in deep neural networks has driven recent advances in anomaly detection, also called out-of-distribution or novelty detection. Deep anomaly detection methods fall within three major categories: Deep one-class, variational autoencoders (VAEs) and generative adversarial networks (GANs) [1, 2]. While VAEs and GANs do not allow an exact evaluation of the probability density of new samples, they also suffer from notorious training instability (mode collapse, posterior collapse, vanishing gradients and non-convergence), as corroborated by many research studies [3]. For these reasons, we will investigate Normalizing Flows (NF), an emerging class of generative models where both sampling and density evaluation are efficient and exact, and where the latent representation is learned through an invertible transformation [4]. NF provide explainable models, are interconnected with Optimal Transport and have solid foundations for probabilistic modeling and statistical inference [5].

The goal of this internship is to explore Normalizing Flows for anomaly detection on time series. While NF have been previously explored with success for anomaly detection in images, they were seldom investigated for time series. The tasks to be carried out by the intern are as follows: The intern will first study relevant work on NF for anomaly detection, and then revisit them in the light of time series. She/he will explore two contexts: detection from a batch of time series data, and online detection on streaming data. For the latter, a particular attention will be paid to sequential detection. The intern will implement the different NF-based models and conduct experiments on real time series.

This internship may lead to a PhD thesis.

Research Environment: The intern will conduct her/his research within the Machine Learning group in the LITIS Lab, under the supervision of Prof. Paul Honeine. This internship is within a research project gathering 9 permanent researchers of the LITIS Lab and the intern will also interact with several PhD students and interns also working on deep anomaly detection for time series.

References

[1] L. Ruff, J. R. Kauffmann, R. A. Vandermeulen, G. Montavon, W. Samek, M. Kloft, T. G. Dietterich, and K.-R. Müller, “A Unifying Review of Deep and Shallow Anomaly Detection,” Proceedings of the IEEE, vol. 109, no. 5, pp. 756–795, 2021.
[2] G. Pang, C. Shen, L. Cao, and A. V. D. Hengel, “Deep learning for anomaly detection: A review,” ACM Computing Surveys, vol. 54, no. 2, pp. 1–38, 2021.
[3] D. Saxena and J. Cao, “Generative adversarial networks (GANs) challenges, solutions, and future directions,” ACM Computing Surveys, vol. 54, no. 3, pp. 1–42, 2021.
[4] I. Kobyzev, S. J. Prince, and M. A. Brubaker, “Normalizing Flows: An Introduction and Review of Current Methods,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 43, no. 11, pp. 3964–3979, 2021.
[5] G. Papamakarios, E. Nalisnick, D. J. Rezende, S. Mohamed, and B. Lakshminarayanan, “Normalizing Flows for Probabilistic Modeling and Inference,” Journal of Machine Learning Research, vol. 22, no. 57, pp. 1–64, 2021.

Profil du candidat :
– Student in final year of Master or Engineering School, in data science, artificial intelligence, applied mathematics, or related fields.

Formation et compétences requises :
– Strong skills in advanced statistics and Machine Learning, including Deep Learning
– Good programming experience in Python

Adresse d’emploi :
LITIS Lab, University of Rouen Normandy, Saint Etienne du Rouvray (Rouen, France).

Applicants are invited to send their CV and grade transcripts by email to paul.honeine@univ-rouen.fr.

IA explicable pour la prévision de chutes de blocs rocheux

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LISTIC
Durée : 3 ans
Contact : nicolas.meger@univ-smb.fr
Date limite de publication : 2024-04-01

Contexte :
Ces travaux de thèse s’inscrivent au sein du projet ANR C2R-IA et feront l’objet d’une
collaboration avancée entre le laboratoire LISTIC et le laboratoire ISTerre.
Les chutes de blocs rocheux sont des phénomènes rares aux conséquences catastrophiques :
victimes humaines, destruction d’infrastructures, perte permanente ou temporaire d’accès à
des zones socio-économiques stratégiques et aux services publics (urgences, écoles, etc.).

Actuellement, la gestion du risque d’éboulement fait face à deux difficultés principales. D’une
part, la connaissance préalable du lieu et du volume probable des futurs éboulements, ce qui
peut permettre le dimensionnement d’ouvrages de protection adaptés. En revanche, de tels
ouvrages peuvent représenter un coût disproportionné par rapport aux ressources financières
des municipalités et des opérateurs privés. D’autre part, la gestion du risque d’éboulement
nécessite également l’estimation du risque d’occurrence d’éboulement dans le temps, c’est à dire l’évolution de la probabilité d’occurrence en fonction des conditions climatiques du
moment, ce qui permettrait aux gestionnaires d’infrastructures de mettre en œuvre des
systèmes d’atténuation des risques (restriction d’accès, surveillance, mobilisation de kits
d’urgence, maintenance prédictive). Une telle gestion dynamique des risques est
potentiellement associée à des coûts socio-économiques élevés et sa mise en œuvre nécessite
une procédure de prise de décision justifiée.

Les deux aspects sont souvent abordés « à dire d’expert » ce qui pose un problème
méthodologique de biais induit par l’expérience et la connaissance de l’expert et se limite
souvent à des relations qualitatives entre les chutes de blocs rocheux et le forçage climatique.
Une description quantitative (nombre de chutes, volume rocheux) de l’augmentation du risque
serait plus pertinente mais reste à ce jour difficile à produire.

Sujet :
L’objectif de cette thèse est de surmonter la nécessité de construire une procédure de prise de
décision basée sur l’expertise. En effet, nous pensons que les méthodes d’Intelligence Artificielle
(IA) peuvent améliorer la compréhension du comportement des falaises sous l’effet du forçage
climatique et produire des modèles prédictifs efficaces. Afin d’être exploitable du point de vue
de la décision publique, il est nécessaire de pouvoir expliquer les décisions issues des méthodes
d’IA

Planning des travaux :
1) Prise en main des données et des outils mis à disposition.
2) Mise en œuvre de modèles d’IA standard de l’état de l’art (random forests, SVM, etc.) afin de
constituer une référence à partir des données disponibles pour la falaise du Saint Eynard.
3) Proposition d’un modèle d’IA (deep learning, motifs) permettant de dépasser l’état de l’art et
dont les résultats sont explicables. Ce dernier point est crucial car il s’agit de définir des règles
de gestion des risques opérationnels et de persuader les autorités publiques de mettre en place
des barrages routiers ou de procéder à des évacuations lorsque nécessaire.

Profil du candidat :
Master M2 ou équivalent

Formation et compétences requises :
Connaissances en traitement du signal, réseaux de neurones et fouille de données.

Compétences rédactionnelles et en informatique (C/C++, Python, Linux).

Autonomie et esprit d’initiative.

Adresse d’emploi :
Annecy-le-Vieux, France

Document attaché : 202311210948_2023_sujet_these_XAI_AFuTé_VERSION_FINALE.pdf

Stage M2 – Active learning and object detection in multimodal aerial images

Offre en lien avec l’Action/le Réseau : – — –/Doctorants

Laboratoire/Entreprise : IRISA/UBS
Durée : 6 mois
Contact : chloe.friguet@irisa.fr
Date limite de publication : 2024-04-01

Contexte :
Detailed topic at: http://www-obelix.irisa.fr/files/2023/11/2024_IRISA-UBS_internship_Active-learning-and-object-detection.pdf

The context of this internship is motivated by issues raised in studies
with data collected by airborne imagery. The automation of the processing of this data, by
object detection methods and supervised learning, requires annotated databases. The annotation
step is therefore a task of great interest, both in machine learning (ML) and computer vision
(CV). Carrying it out manually is tedious and costly in terms of time and human resources.
Furthermore, in the case of multimodal images (i.e. acquired by several sensors), annotation
must be performed for each modality.
Active Learning (AL) is related to semi-supervised Machine Learning in which a learning
algorithm can interact at each iteration with the user to get some information about labels of
new data during the training step. It is motivated by situations in which it is easy to collect
unlabeled data but costly (time, money, tedious task) to (manually) obtain their labels. It stems
from the idea that we should only acquire labels that actually improve the ability of the model
to make accurate predictions. Instances that are more useful than others according to some
performance measures have to be identified to create an optimal training dataset: well chosen,
fewer representative instances are needed to achieve similar performance as if we label and use
all available data. This selection process has been investigated as selective sampling [9]. The
importance of an instance is related to a high level of both the information and uncertainty
relative to the trained model, considering therefore a trade-off between informativeness (ability
to reduce the uncertainty of a statistical model) and representativeness (ability to represent the
whole input data space) of the selection process [6].
In remote sensing, AL has therefore become an important approach to collect informative
data for object detection and supervised classification tasks, and to assist the annotation process.
The effectiveness of object detection models is intricately tied to the quantity of annotated data
at their disposal. To overcome this challenge, AL attempts to formulate a strategy for cherrypicking pertinent data that an annotator should annotate, as elucidated by Choi et al. [5]. This
typically involves employing a scoring mechanism that is related to the model’s uncertainties
about the data. Computationally, ascertaining these uncertainties usually necessitates a multimodel approach. However, it’s noteworthy that these ensemble techniques are resource-intensive.
Hence, the overarching objective of AL lies in the formulation of a classification function that
faithfully mirrors the data’s contribution to the learning process.

Sujet :
In the paper by Brust et al. [3], a novel approach to object detection using
deep learning is introduced. Their approach incorporates AL strategies to explore unlabeled
data. The authors proposed and compared various learning metrics that are suitable for most
object detectors, taking into account class imbalance.
To start this project, the first step involves evaluating the performance of a multimodal
object detector (like YOLOrs [10], SuperYOLO [13], YOLOFusion [7] …) with respect to these
1
metrics by applying them to a single modality (RGB for example). This evaluation will be
carried out under different settings, including various sizes of the initial dataset and different
adjustments of algorithm parameters. Then, the aim is to extend the AL strategy to the case
of multimodal images. Indeed, for each object all modalities do not contribute equally to the
classification/localization tasks, one can be more informative than the other.
Finally, metrics proposed by Brust et al. [3], focus on classification uncertainty, however,
the aspect of localization is overlooked. To get the uncertainty of localization, we can use a
strategy like the one of the Gaussian YOLO approach [4, 5] that provides both classification
and localization uncertainties which we can then use with Brust et al. metrics.

Profil du candidat :
Student in computer science and/or machine learning and/or signal & image processing and/or applied statistics

Formation et compétences requises :
good programming skills in Python (Pytorch knowledge appreciated), knowledge of deep-learning for image analysis, and high interest to investigate machine learning methods.

Adresse d’emploi :
IRISA, UBS, Campus de Tohannic, 56000 Vannes

Document attaché : 202311201649_2024_IRISA-UBS_internship_Active learning and object detection.pdf