Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LITIS / INSA Rouen Normandie
Durée : 36 mois
Contact : alexandre.pauchet@insa-rouen.fr
Date limite de publication : 2023-05-05

Contexte :
La croissance du nombre d’objets connectés, des robots assistants et des interfaces humain-machines intuitives et naturelles a permis une démocratisation croissante des systèmes cyber-physiques et socio-techniques. Il s’agit de systèmes intégrant à la fois des utilisateurs
humains, des robots et des agents artificiels, en interactions sociales dans desenvironnements réels, augmentés ou virtuels.
Si les interactions avec un seul utilisateur en tour par tour disposent d’une littérature abondante, tous les verrous scientifiques et techniques ne sont pas encore levés concernant les interactions dialogiques. La mise en place de systèmes coopératifs intégrant plusieurs utilisateurs humains, agents virtuels et robots reste difficile. Depuis l’avènement de l’informatique affective (Picard, 1997), des Agents Conversationnels Animés -ACA- (Cassel,
2000), et des robots sociaux (Gockley et al., 2005), qui mettent en œuvre des systèmes prenant en compte les émotions des utilisateurs et pouvant en « jouer », n’est que très peu traitée dans un contexte multi-partie. En particulier, la capacité d’un agent collaboratif à répondre « just in time » à son contexte est peu développée : la plupart des systèmes attendent la fin de chaque tour de parole avant d’interpréter les énoncés des utilisateurs et de décider de la prochaine action communicative à effectuer. Ils ont ainsi un temps de réaction bien supérieur à celui d’un humain, introduisant des ruptures défavorables à l’interaction.

Sujet :
L’objectif de cette thèse est d’étudier les moyens théoriques et pratiques pour permettre une interaction multimodale et multi-parties en temps quasi réel afin d’en améliorer la fluidité et l’acceptabilité. Ces travaux comportent deux originalités principales : (1) la gestion au fur et à
mesure du dialogue multimodal aussi bien en entrée qu’en sortie, permettant aux compagnons virtuels et robotiques d’améliorer leurs capacités communicatives, verbales ou non-verbales, et (2) la dimension multi-parties, c’est-à-dire intégrant plusieurs agents virtuels, robots et humains. Il s’agit de concevoir des modèles et protocoles d’interaction multi-parties, que cette interaction se déroule uniquement entre agents autonomes aussi bien qu’entre agents autonomes et humains dans le cadre de sociétés mixtes. Une façon de générer ces modèles d’interaction est d’utiliser des mécanismes d’apprentissage automatique.
Une des difficultés consistera donc à intégrer des mécanismes dits « just in time » dans un contexte multimodal et multi-parties, permettant la prise en compte de tous les membres d’équipes mixtes agents-humains, dans lesquels les effectifs (nombre d’agents, nombre d’humains dans l’équipe) peuvent varier.
Nous nous focaliserons sur l’utilisation d’ACA et de robots. Dans ce ontexte, la maturation des outils pour la réalité mixte (réalité virtuelle et réalité augmentée), que ce soit en termes logiciel (e.g. Unity3D, Unreal Engine, ARToolKit, …) comme matériel accessible au grand public (Oculus Rift, HTC Vive, Playstation VR, …), et le développement des robots sociaux
(Nao, Pepper, …) permet d’envisager de nouvelles façons d’intégrer ces agents au sein d’environnements mixtes réel/virtuel.

Profil du candidat :
M2 ou école d’ingénieur

Formation et compétences requises :
M2 ou école d’ingénieur

Adresse d’emploi :
INSA Rouen NOrmandie (Saint-Étienne-du-Rouvray)

Document attaché : 202304192002_DescriptionSujet.pdf