Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : Laboratoire GREYC – Caen
Durée : 6 mois
Contact : olivier.lezoray@unicaen.fr
Date limite de publication : 2022-04-15

Contexte :
Stage Master 2/Ingénieur – Laboratoire GREYC – Équipe Image – 2022
Sujet : Apprentissage profond de la qualité de maillages 3D
Mots clés : Apprentissage Profond, maillages, estimation de la qualité.
Équipe et laboratoire : Équipe IMAGE, Laboratoire GREYC (UMR CNRS 6072).
Encadrants : Christophe Charrier (MC UNICAEN), Olivier Lézoray (PR UNICAEN).
Adresses email : {christophe.charrier,olivier.lezoray}@unicaen.fr
Stage : durée de 5-6 mois, à Caen, au Campus 2, Bâtiment F de l’ENSICAEN

Sujet :
Les technologies 3D ont très fortement évolué ces dernières années au point d’être largement utilisées dans plusieurs applications grand public, notamment les jeux 3D en réseau, les applications de visualisation 3D, et les mondes virtuels et immersifs 3D (avec l’apparition du MetaVerse). Dans ces applications, les modèles 3D sont la principale forme de média utilisée, généralement représentés sous la forme de maillages 3D triangulés. Les maillages 3D sont habituellement composés d’un grand ensemble de sommets et de faces connectés qui doivent diffusés en temps réel. L’utilisation d’un grand nombre de sommets/faces permet une représentation très détaillée d’un modèle et améliore sa qualité visuelle mais cela au détriment d’une augmentation conséquente des temps de calculs requis pour effectuer un rendu du maillage. Par conséquent, un compromis apparaît souvent nécessaire entre la qualité visuelle des maillages 3D et le temps de traitement associé, d’où le besoin de pouvoir évaluer la qualité des maillages 3D.

L’objectif d’une méthode d’évaluation de la qualité des maillage (MQA pour Mesh Quality Assessment) est alors de déterminer automatiquement, en utilisant ou non le maillage de référence, un score de qualité pour le maillage 3D donné. Si les méthodes d’évaluation de la qualité des images (IQA pour Image Quality Assessment) [1] ont connu un très fort développement et on été intégrées dans de nombreuses applications de VOD (avec VMAF [2] pour Netix par exemple), ce n’est pas encore le cas des méthodes de MQA qui sont encore peu développées [3, 4]. Si certaines sont apparues récemment [5, 3, 6, 7, 8, 9], peu d’entre-elles (à l’exception de [10, 11]) font usage de l’apprentissage profond. Pourtant, là où les méthodes classiques exploitent des caractéristiques géométriques locales telles que la saillance ou la courbure, une méthode par apprentissage profond de MQA pourrait fortement bénéficier de l’intégration de caractéristiques de plus haut niveau et apprises de manière supervisée.
L’objectif du stage est de faire un bilan des approches existantes, d’implémenter les plus représentatives, et de les comparer sur des données de référence pour lesquelles la qualité de référence des maillages 3D est connue. Une partie du stage sera également dédié à la conception d’un nouvelle méthode profonde de MQA, qui prendra en entrée des descripteurs locaux extraits du maillage (patchs, matrice de covariances, ou sous graphes) et exploitera un apprentissage faiblement supervisé avec le formalisme MIL (Multiple Instance Learning).

Plan de travail :
— Bibliographie sur les méthodes de MQA (Mesh Quality Assessment),
— Implémentation de méthodes de l’état de l’art, en particulier de [10]
— Proposition d’une nouvelle méthode profonde reposant sur des descripteurs locaux du maillage,
— Comparaisons sur les bases Liris/EPFL et Liris Masking

Références
[1] Lanjiang. Wang, “A survey on iqa,” 2021.
[2] Reza Rassool, “VMAF reproducibility : Validating a perceptual practical video quality metric,” in 2017 IEEE International
Symposium on Broadband Multimedia Systems and Broadcasting, BMSB 2017, Cagliari, Italy, June 7-9, 2017. 2017, pp. 1–2,
IEEE.
[3] Abdullah Bulbul, Tolga K. Çapin, Guillaume Lavoué, and Marius Preda, “Assessing visual quality of 3-d polygonal models,”
IEEE Signal Process. Mag., vol. 28, no. 6, pp. 80–90, 2011.
[4] Guillaume Lavoué and Massimiliano Corsini, “A comparison of perceptually-based metrics for objective evaluation of
geometry processing,” IEEE Transactions on Multimedia, vol. 12, no. 7, pp. 636–649, 2010.
[5] Ilyass Abouelaziz, Mohammed El Hassouni, and Hocine Cheri, “Blind 3d mesh visual quality assessment using support
vector regression,” Multim. Tools Appl., vol. 77, no. 18, pp. 24365–24386, 2018.
[6] Guillaume Lavoué, “A multiscale metric for 3d mesh visual quality assessment,” Comput. Graph. Forum, vol. 30, no. 5, pp.
1427–1437, 2011.
[7] Anass Nouri, Christophe Charrier, and Olivier Lézoray, “3d blind mesh quality assessment index,” in 3D Image Processing,
Measurement (3DIPM), and Applications 2017, Burlingame, CA, USA, 29 January 2017 – 2 February 2017, William Puech and
Robert Sitnik, Eds. 2017, pp. 9–16, Ingenta.
[8] Fakhri Torkhani, KaiWang, and Jean-Marc Chassery, “Perceptual quality assessment of 3d dynamic meshes : Subjective
and objective studies,” Signal Process. Image Commun., vol. 31, pp. 185–204, 2015.
[9] Kai Wang, Fakhri Torkhani, and Annick Montanvert, “A fast roughness-based approach to the assessment of 3d mesh
visual quality,” Comput. Graph., vol. 36, no. 7, pp. 808–818, 2012.
[10] Ilyass Abouelaziz, Aladine Chetouani, Mohammed El Hassouni, Longin Jan Latecki, and Hocine Cheri, “3d visual saliency
and convolutional neural network for blind mesh quality assessment,” Neural Comput. Appl., vol. 32, no. 21, pp. 16589–
16603, 2020.
[11] Ilyass Abouelaziz, Aladine Chetouani, Mohammed El Hassouni, Hocine Cheri, and Longin Jan Latecki, “Learning graph
convolutional network for blind mesh visual quality assessment,” IEEE Access, vol. 9, pp. 108200–108211, 2021.

Profil du candidat :
Prol recherché :
— Etudiant.e en Master 2 Recherche ou en dernière année d’école d’ingénieur spécialisé en informatique, image et/ou intelligence artificielle .
— Une solide formation en machine learning est indispensable.
— Des connaissances et expériences solides en traitement d’images, apprentissage profond et programmation (Python, TensorFlow/PyTorch) sont nécessaires.
— La maîtrise de l’anglais scientique et des qualités rédactionnelles sont importantes.
— Autonomie et curiosité pour la recherche scientique.

Formation et compétences requises :
Candidature : Pour postuler, envoyer par email aux encadrants un dossier avec CV, lettre de motivation, relevés de notes des deux dernières années de formation, ainsi que toute pièce susceptible de renforcer la candidature (lettre de recommandation, etc.).

Adresse d’emploi :
Laboratoire GREYC UMR CNRS 6072, Caen

Document attaché : 202201110915_sujetMasterDeepMQA2022.pdf