Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : ImViA
Durée : 6 months
Contact : yannick.benezeth@u-bourgogne.fr
Date limite de publication : 2023-01-24

Contexte :
Titre : reconnaissance d’émotion multimodale
Laboratoire ImViA (Univ. Bourgogne)
Location: Dijon France
Supervisor: Yannick Benezeth – yannick.benezeth@u-bourgogne.fr – https://sites.google.com/view/ybenezeth
Keywords: Image and signal analysis, deep learning, emotion recognition, fusion
If you are interested, send CV and motivation letter to yannick.benezeth@u-bourgogne.fr

Sujet :
(english below)
Percevoir les émotions des personnes qui nous entourent est vital dans la vie quotidienne et améliorerait les interactions hommes-machines. Les humains modifient souvent leur comportement lorsqu’ils interagissent avec les autres en fonction des émotions qu’ils perçoivent. Les premiers travaux sur la reconnaissance des émotions ont été principalement des approches unimodales, basées sur l’analyse de la parole, du texte ou des expressions faciales. Ces modalités peuvent nous fournir des informations sur l’émotion perçue mais c’est l’exploitation de la complémentarité de ces modalités qui a conduit à de bons résultats récemment et donne également de meilleurs résultats sur les bases de données non contrôlées [1].
Dans le cadre de ce stage, nous proposons de développer un système complet de reconnaissance des émotions basé sur l’intégration et la combinaison des différentes technologies d’analyse de l’image et de l’audio. Nous développerons tout d’abord, à partir d’outils et logiciels disponibles dans la littérature, des systèmes de reconnaissances d’émotions unimodaux basés sur les expressions faciales, les caractéristiques linguistiques et paralinguistiques, le comportement et les signaux physiologiques (EDA, HRV et HR) [2] et nous développerons ensuite une fusion de ces modalités.
Le logiciel développé devra réaliser tous les traitements en temps réel et un travail sur l’optimisation devra être réalisé.

*******************
Perceiving the emotions of people around us is vital in everyday life and would certainly improve human-machine interactions. Humans often modify their behavior when interacting with others according to the emotions they perceive. Early work on emotion recognition was mainly unimodal approaches, based on speech, text or facial expression analysis. These modalities can provide information on the perceived emotion but it is the exploitation of the complementarity of these modalities that has led to good results recently and also gives better results on in-the-wild databases [1].
In the framework of this internship, we propose to develop a complete emotion recognition system based on the integration and combination of different image and audio analysis technologies. We will first develop, using tools and software available in the literature, unimodal emotion recognition systems based on facial expressions, linguistic and paralinguistic features, behavior and physiological signals (EDA, HRV and HR) [2] and then we will develop a fusion of these modalities.
The developed software will have to perform all the processing in real time and therefore a work on optimization will have to be done.

Profil du candidat :
L’étudiant recruté devra avoir de bonnes connaissances en programmation, avec par exemple les systèmes multi-thread et le développement d’interfaces graphiques (en Python par exemple).

*****
The student recruited should have a good knowledge of programming, with for example multi-threaded systems and the development of graphical interfaces (in Python for example).

Formation et compétences requises :
Computer science

Adresse d’emploi :
Dijon