Annonce en lien avec l’Action/le Réseau : aucun

Laboratoire/Entreprise : LIRIS – INSA Lyon
Durée : 12 mois
Contact : Véronique Eglin
Date limite de publication : 2017-10-20

Contexte :
Extraction d’indices sonores par « word-spotting » et identification de concepts visuels – recherche de sémantique dans les images, ranking multimodal

Le candidat (H / F) exercera ses missions au sein du laboratoire LIRIS (équipe IMAGINE) sous la responsabilité de Stéphane Bres & véronique Eglin (LIRIS) ainsi que Mylène Pardoen (ISH-CNRS). Le suivi sera également assuré par les spécialistes de la RI multimodale de l’équipe DRIM du LIRIS avec Sylvie Calabretto & Léa Laporte (LIRIS).

Organisation du travail : 37h – Temps complet

Lieu de travail : Laboratoire LIRIS

INSA de Lyon, Bâtiment Jules Verne, 69621 Villeurbanne Cedex

Le LIRIS, regroupant 320 membres, est une unité mixte de recherche (UMR 5205) dont les tutelles sont le CNRS, l’INSA Lyon, l’Université Claude Bernard Lyon 1, l’Université Lumière Lyon 2 et l’Ecole Centrale de Lyon. Le champ scientifique de l’unité est l’Informatique et plus généralement les Sciences et Technologies de l’Information. Les activités scientifiques du LIRIS sont structurées en 6 pôles de compétences, dont le pôle vision intelligente et reconnaissance visuelle dont l’équipe Imagine est membre (19 permanents, 30 doctorants). Les thématiques principales sont les suivantes: Construction d’algorithmes visant la compréhension de données multimédia (images, vidéo, documents numérique, scènes 3D) et se déclinant en termes d’acquisition/reconstruction, d’indexation, de modélisation, de classification ou de reconnaissance automatique du contenu (objets, actions, concepts)

Sujet :
Missions principales :

L’objet principal de la mission vise la mise en place d’un système de recherche multimodale, dynamique et interactif qui intègre différentes sources de données (données sources issues du patrimoine numérisée des bibliothèques et archives en Rhône-Alpes-Auvergne, partenaires du projet) et autorise l’association de requêtes à la fois textuelles et de caractéristiques visuelles pour permettre une recherche d’images par le texte, par le contenu visuel ou par les deux à la fois. Le système sera conçu selon une conception reposant sur un bouclage de pertinence avec l’utilisateur, permettant le raffinement de la recherche et de l’exploration des sources.

Profil du candidat :
Profil recherché :

Savoirs : indexation et classification d’images, reconnaissance de formes, techniques d’apprentissage, recherche d’information par le contenu, word-spotting

Savoir-faire : maîtrise des environnements de développement, en particulier de la programmation C++ et usage de la libraire OpenCV, réalisation de prototype fonctionnel

Savoir être : aisance dans le cadre d’un travail de groupe pluridisciplinaire, ouverture et communication avec des spécialistes des sciences humaines et sociales, autonomie et capacité à prendre des initiatives

Détail du profil :

L’objectif du second travail postdoctoral est de proposer une approche de la recherche d’information reposant à partir de requêtes multi-modales texte-image. Habituellement découplées, les recherches d’information en mode «plein texte» et «image» permettent d’extraire des sources documentaires des fragments informationnels pertinents. Chacun des domaines de recherche (texte et image) dispose de son lot de techniques qui ont fait leur preuve dans des domaines où l’accès au contenu ne pouvait se faire que par une seule modalité d’interrogation. La recherche dans les images de textes manuscrits par exemple est habituellement résolue par les techniques alternatives à l’OCR (techniques dites de word-spotting dont l’équipe Imagine du LIRIS est spécialiste) lorsque la transcription est trop complexe à obtenir. On procède ainsi pour un corpus d’images à des approches de ce type basées sur des requêtes soit images, soit textuelles soit encore symboliques qui aboutissent à la détection de fragments d’images similaires à la requête. L’idée ici est de pousser plus loin la recherche par le contenu en créant une véritable interaction texte/image dès la formation de la requête qui sera multimodale. L’utilisation de séquences visuelles (images de mots, séquences de descripteurs) répondront à des ontologies sonores initialement décrites pour le projet et modélisant les concepts sonores à différents niveaux : indices directs (ex : « le chien aboie ») à indirects (ex : « le forgeron travaillait dans la rue») et les ambiances sonores associées (ex : « la rue était bruyante » ou encore « on entendait souffler le vent »). La partie principale du sujet sera réservée à la mise au point d’un système robuste de recherche de mots (word-spotting). Une étude de faisabilité de l’introduction d’une identification de concepts sémantiques sera proposée dans la seconde partie.

Ce travail donnera lieu à la mise au point d’un outil interactif de prévisualisation des données permettant aux utilisateurs de naviguer et de consulter des pages en profondeur et d’aide au raffinement de la requête. Les compétences techniques sur la question du bouclage de pertinence et de hiérarchisation (ranking) des réponses du système d’interrogation expertes seront apportées par le LIRIS. Le prototype d’interrogation qui sera produit dans le cadre du postdoc sera soumis à l’évaluation par les praticiens sur les lieux où sont conservées les sources documentaires.

Formation et compétences requises :
Master R

Adresse d’emploi :
Liris
69621 Villeurbanne Cedex France

Document attaché : offre-emploi-soundcityve-postdoc2VE.pdf