Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LIRIS
Durée : 6 mois
Contact : stefan.duffner@insa-lyon.fr
Date limite de publication : 2025-02-28

Contexte :

Sujet :
The first objective of this internship is to study and improve multi-modal Machine Learning models, for the fusion of video and EEG but potentially also EKG data, to predict the situations of our healthy control group. Based on our pre-liminary work on multi-modal LSTM and Transformer models, the aim would be to find characteristic patterns and correlations in the data that represent the different emotional or interactive situations, using eXplainable AI (XAI) techniques such as Integrated Gradient or SHAP.
The second objective would be to adapt these models and methods to DOC patients.

Profil du candidat :

Formation et compétences requises :

Adresse d’emploi :
INSA Lyon – LIRIS
7 Avenue Jean Capelle
69621 Villeurbanne

Document attaché : 202411111700_sujet_stage_M2_agoracoma_fusion1.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : Laboratoire Interdisciplinaire des Sciences du Num
Durée : 5 ou 6 mois
Contact : guinaudeau@limsi.fr
Date limite de publication : 2025-02-28

Contexte :
Most human interactions occur through spoken conversations. If this interaction mode seems so natural and easy for humans, it remains a challenge for spoken language processing models as conversational speech raises critical issues. First, non-verbal information can be essential to understand a message. For example a smiling face and a joyful voice can help detecting irony or humor in a message. Second, visual grounding between participants is often needed during a conversation to integrate posture and body gesture as well as references to the surrounding world. For example, a speaker can talk about an object on a table and refer to it as this object by designing it with her hand. Finally, semantic grounding between participants of a conversation to establish mutual knowledge is essential for communicating with each other.

Sujet :
In this context, the MINERAL project aims to train a multimodal conversation representation model for communicative acts and to study communicative structures of audiovisual conversation.
As part of this project, we are offering a 5- to 6-month internship focused on semi-automatic annotation of conversations in audio-visual documents. The intern’s first task will be to extend the existing annotation ontology for dialog acts, currently available for audio documents (through the Switchboard corpus for example), to incorporate the visual modality. In a second step, the intern will develop an automatic process for transferring annotations to new audiovisual datasets (such as meeting videos and TV series or movies) using transfer or few-shot learning approaches.

Practicalities:
The internship will be funded ~500 euros per month for a duration of 5 or 6 months and will take place at LISN within the LIPS team. This internship can potentially be followed by a funded PhD, based on performance and interest in continuing research in this area.

To apply, please send your CV, a cover letter and your M1 and M2 transcripts (if available) by email to Camille Guinaudeau camille.guinaudeau@universite-paris-saclay.fr and Sahar Ghannay sahar.ghannay@universite-paris-saclay.fr

Profil du candidat :

Formation et compétences requises :
Required Qualifications:
● Master’s degree (M2) in Computer Science or related field.
● Experience with deep learning frameworks such as Keras or PyTorch.
● Knowledge of image processing would be an advantage.

Adresse d’emploi :
LISN – Équipe LIPS
Campus Universitaire bâtiment 507
Rue du Belvédère
91400 Orsay

Document attaché : 202411111659_Stage_MINERAL.pdf

Offre en lien avec l’Action/le Réseau : TIDS/– — –

Laboratoire/Entreprise : Laboratoire ICube, Strasbourg
Durée : 6 mois
Contact : seo@unistra.fr
Date limite de publication : 2025-03-31

Contexte :
Action recognition from video is highly important for assistive care robots, as it enables them to understand and respond appropriately to the needs and activities of the people they assist. Recent DL models for action recognition are moving toward more data-efficient, interpretable, and computationally optimized frameworks: The combination of transformer architectures, spatio-temporal attention, multimodal fusion, and self-supervised learning, just to mention a few. Meanwhile, the recent emergence of large-scale pre-trained vision-language models (VLMs) has demonstrated remarkable performance and transferability to different types of visual recognition tasks, thanks to their generalizable visual and textual representations. It has been confirmed by our recent study, where our developed model learns and improves visual, textual, and numerical representations of patient gait videos based on a large-scale pre-trained Vision Language Model (VLM), for several classification tasks.

Sujet :
Motivated by these recent successes, we will extend our previous developed model and the multimodal representation for a new classification task – action recognition from video. Similarly to our previous method, we will adopt the prompt learning strategy, keeping the pre-trained VLM frozen to preserve its general representation and leverage the pre-aligned multi-modal latent space the prompt’s context with learnable vectors, which is initialized with domain-specific knowledge.

Profil du candidat :
− Solid programming skills in Python/C++
− Experience in Deep Learning (Transformer, CLIP, etc.)
− Good communication skills

Formation et compétences requises :

Adresse d’emploi :
2 Rue Marie Hamm
67000 Strasbourg

Document attaché : 202411071346_Stage-ActionRecognition.pdf

Offre en lien avec l’Action/le Réseau : TIDS/– — –

Laboratoire/Entreprise : Laboratoire ICube, Strasbourg
Durée : 6
Contact : seo@unistra.fr
Date limite de publication : 2025-03-31

Contexte :
Dementia with Lewy Bodies (DLB) and Alzheimer’s Disease (AD) are two common neurodegenerative diseases among elderly people. Both associated with abnormal deposits of proteins in the brain, the diagnosis of these diseases can be challenging, particularly in distinguishing between them, as they exhibit similar symptoms in their early stages. Brain MRI provides detailed images of brain structures, allowing for the identification of structural changes associated with neurodegenerative diseases. Deep learning has shown great promise in analysing these images, enabling accurate predictions and interpretations. At the center of it are the recent emerging large-scale pre-trained vision-language models (VLMs), which have demonstrated remarkable performance thanks to their generalizable visual and textual representations.

Sujet :
We will deploy a VLM to improve the accuracy and efficiency of brain image analysis, with a specific focus on classification and associated reasoning presented in text form. Our specific focus will be on the analysis and understanding of neurodegenerative diseases, Dementia with Lewy Bodies (DLB), Alzheimer’s Disease (AD), and/or Parkinson disease. We will base our study on our recent work, where the model we developed learns and refines visual, textual, and numerical representations of patient gait videos using a large-scale pre-trained Vision-Language Model (VLM) for several classification tasks.

Profil du candidat :
− Solid programming skills: Python/C++
− Experience in Deep Learning (Transformer, CLIP, etc.)
− Good communication skills

Formation et compétences requises :

Adresse d’emploi :
2 Rue Marie Hamm
67000 Strasbourg

Document attaché : 202411071344_Stage-DeBIAN.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : GREYC CNRS UMR 6072 – Université de Caen Normandie
Durée : 5 à 6 mois
Contact : bruno.cremilleux@unicaen.fr
Date limite de publication : 2025-01-31

Contexte :
Contexte scientifique

Ce stage de master s’inscrit dans le cadre du projet Pandora financé par l’ANR (Agence Nationale de la Recherche), projet qui démarrera en février 2025. Pandora se situe dans le contexte de l’intelligence artificielle explicable (XAI), en particulier dans le domaine des réseaux de neurones sur graphes (GNN). En se focalisant sur le fonctionnement interne des GNNs, les objectifs du projet sont les suivants :
— caractériser, comprendre et expliquer de manière claire le fonctionnement interne des GNN en utilisant des techniques d’extraction de motifs ;
— découvrir des motifs d’activation neuronale statistiquement significatifs, appelés « règles d’activation », pour déterminer comment les réseaux encodent les concepts [7, 8] ;
— traduire ces règles d’activation en motifs de graphes interprétables par un utilisateur ;
— utiliser ces connaissances pour améliorer les GNN en identifiant les biais d’apprentissage, en générant des données supplémentaires et en construisant des systèmes d’explication.

Ce stage de recherche porte sur le dernier point. Plus précisément, nous souhaitons développer de nouvelles méthodes permettant d’améliorer l’apprentissage des modèles sur graphes en s’appuyant sur l’analyse du fonctionnement interne de ces modèles via, par exemple, des règles d’activation exprimées dans l’espace latent. Il s’agira ainsi d’analyser
les frontières de décisions, de caractériser les erreurs du modèle étudié dans l’espace des données ou dans leurs représentations latentes afin de proposer des solutions correctives.

Sujet :
Cf. la description détaillée (document pdf).

Profil du candidat :
Cf. la description détaillée (document pdf).

Formation et compétences requises :
Cf. la description détaillée (document pdf).

Adresse d’emploi :
Laboratoire GREYC, CNRS UMR 6072, Université de Caen Normandie, 14000, Caen, France

Document attaché : 202411050931_StageIAexplicable_Pandora_FR.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : UMR TETIS / UMR STL
Durée : 6 mois
Contact : mathieu.roche@cirad.fr
Date limite de publication : 2025-01-31

Contexte :
Avec la liberté d’expression et la pluralité d’opinions, la société moderne voit apparaître de nombreuses controverses, comme par exemple les questions liées à la vaccination, au végétarianisme ou au réchauffement climatique. De manière générale, on considère qu’une controverse apparaît lorsqu’il existe des points de vue, des croyances ou des avis différents, ce qui peut se transformer en désaccord plus ou moins manifeste entre les acteurs. Une situation de controverse se manifeste typiquement par l’emploi de l’argumentation et une charge émotive des énoncés. Leur étude permet de comprendre les enjeux et les positions qui peuvent exister autour d’une question donnée.

Dans le cadre du projet CNRS MITI STAY (Savoirs Techniques pour l’Auto-suffisance, sur Youtube), nous nous intéressons aux controverses en lien avec l’agriculture alternative. Les données de travail proviennent essentiellement des vidéos Youtube transcrites et les commentaires correspondants. Il est rare que les vidéos comportent des controverses. En revanche, les commentaires, qui se construisent en interaction entre les intervenants, peuvent contenir des opinions ou réactions controversées. Pour s’attaquer à un tel problème, nous pouvons nous intéresser aux structures des discussions et/ou au contenu des commentaires.

Sujet :
Ce stage s’intéressera plus spécifiquement à analyser les contenus textuels source de controverse. Pour mener de telles études, les données à exploiter sont souvent rares et leur collecte et annotation sont longues et complexes. Pour aider la constitution d’un corpus conséquent contenant des commentaires controversés en volume nécessaire pour être ensuite traité par des modèles de langue, il est souvent proposé d’augmenter ces données avec des méthodes spécifiques. Cette tâche constitue le coeur de ce stage. Plus particulièrement, il s’agit de travailler avec un premier ensemble de commentaires déjà annotés et d’augmenter de manière automatique ces données.

De manière concrète, le travail de stage se déroulera en trois phases successives :
– Dans un premier temps, le ou la stagiaire réalisera un état de l’art sur les approches à mobiliser en lien avec le travail de stage, à savoir l’identification automatique des controverses sur la base du contenu textuel et l’augmentation de données textuelles.
– Dans un deuxième temps, le travail proposé consistera à identifier les controverses en lien avec les thématiques sur lesquelles elles portent. Pour cela, le ou la stagiaire utilisera (1) les données en français annotées du projet STAY, (2) un lexique thématique produit par les chercheuses et chercheurs du projet.
– Enfin, des méthodes d’augmentation de données seront proposées, mises en place et évaluées sur la base des analyses réalisées précédemment.

Profil du candidat :
Profil des candidat.e.s : TAL, science des données avec une sensibilité au travail avec des données textuelles dans un cadre pluridisciplinaire

Candidature :
Envoyer un CV + relevés de notes des deux dernières années aux encadrant.e.s

Date limite : 04 décembre 2024

Formation et compétences requises :

Adresse d’emploi :
Encadrant.e.s :
– Mathieu Roche (mathieu.roche@cirad.fr) UMR TETIS, CIRAD, Montpellier
– Natalia Grabar (natalia.grabar@univ-lille.fr) UMR STL, CNRS, Lille

Lieu du stage : Montpellier ou Lille