Offre en lien avec l’Action/le Réseau : HELP/– — –

Laboratoire/Entreprise : laboratoire d’informatique et systèmes (LIS) UMR
Durée : 36 mois
Contact : zniyed@univ-tln.fr
Date limite de publication : 2022-04-20

Contexte :
De nos jours, les progrès dans l’apprentissage automatique et surtout dans l’apprentissage profond permettent aux machines de détecter et de reconnaître les objets spécifiques mieux que les êtres humains dans certains domaines. L’apprentissage profond s’appuie généralement sur un volume énorme de données pour apprendre le modèle d’apprentissage. Plus les données sont volumineuses, plus le modèle fonctionne avec précision. Malgré le grand succès de l’apprentissage profond, il reste encore quelques défis à surmonter pour déployer des modèles profonds dans la vie réelle. Entre autres, le déploiement des modèles profonds sur des équipements embarqués ou mobiles ayant des ressources de calcul et de stockage limitées reste un défi majeur. En effet, les réseaux de neurones profonds (DNNs, pour Deep neural networks en anglais) nécessitent beaucoup de calcul et de mémoire, ce qui les rend difficiles à déployer sur des équipements embarqués avec des ressources de calcul limitées. Ces réseaux profonds sont caractérisés par des millions voire des milliards de paramètres et sont presque exclusivement entraînés en utilisant une ou plusieurs cartes graphique (GPU) très rapides et gourmandes en énergie.
Dans ce projet, nous proposons d’aborder la problématique de compression et d’apprentissage des DNNs, en utilisant les décompositions tensorielles. Les tenseurs ont rec cu une attention particulière dans ce sens en raison de leur capacité de représenter à la fois des données hétégorènes et volumineuses. Dans ce cas, les données peuvent être organisées selon un tableau à D dimensions, aussi appelé tenseur d’ordre D. L’utilisation des tenseurs présente plusieurs avantages par rapport aux matrices, comme l’unicité, c’est-à-dire la garantie d’identifiabilité des paramètres récupérés, ou encore la disponibilité d’outils puissants pour effectuer des décompositions de tenseurs.
De ce fait, les décompositions tensorielles sont des outils puissants de l’algèbre multilinéaire, qui sont utilisés dans une grande variété d’applications, notamment pour la compression et l’apprentissage des réseaux de neurones.

Sujet :
Compression des matrices de poids et des noyaux tensoriels:
Des études récentes montrent que les matrices de poids des DNNs sont souvent redondantes, et en restreignant leur rangs, il est possible de réduire considérablement le nombre de paramètres sans baisse significative de performance. Cette observation reste valable pour les noyaux des couches de convolution. Le but de cette thèse est de trouver des approximations tensorielles de rang faible permettant une réduction du nombre de paramètres. Ces paramètres peuvent êtres soient les noyaux de convolution; qui sont naturellement modélisés par des tenseurs d’ordre 4; ou des matrices de poids pour les couches entièrement connectées; que nous proposons de convertir sous format tensoriel. Dans cette thèse, d’abord d’un point de vue fondamental, différents modèles tensoriels et algorithmes seront étudiés pour la modélisation et la compression des tenseurs de poids. Des représentations compactes peuvent être obtenues en recourant à des modèles basés sur des représentations classiques, du type décomposition canonique polyadique (CPD), ou sur les réseaux de tenseurs (RTs), en particulier des modèles de trains de tenseurs (TT) et des modèles Tucker hiérarchiques (TH). Le principe des RTs est de transformer des tenseurs d’ordre élevé en un ensemble de tenseurs de petites dimensions et d’ordre au plus égale à $3$. L’intérêt de cette approche est de faire la “super”-compression des tenseurs de poids en utilisant des approximations de rang faible, avec la possibilité de faire du calcul parallèle. Une propriété intéressante des réseaux de tenseurs est leur capacité à effectuer efficacement des opérations, du type produit matriciel, produit de Hadamard ou produit scalaire, sous le format tensoriel. Plusieurs opérations sont développées dans le cas des trains de tenseurs, par exemple la somme ou le produit entre deux matrices sous format TT. Une fois une couche; de convolution ou entièrement connectée; est remplacée par sa décomposition, l’objectif serait d’adapter les opérations importantes de type convolution, produit matrice-matrice ou matrice-vecteur, au format des décompositions adoptées. Cela permettera de: (i) accélérer le temps d’inférence des DNNs, et (ii) adapter l’algorithme d’apprentissage aux poids tensoriels, pour faire des éventuels ajustements des paramètres.

Modélisation et apprentissage des réseaux de neurones:
Ce deuxième axe de recherche propose d’aller plus loin que la modélisation et la compression des poids. Un lien entre les décompositions tensorielles et la modélisation générale des réseaux de neurones sera étudié. Dans cette partie, le but est de formuler le problème d’apprentissage des DNNs comme un problème de factorisation tensorielle. Ce lien a été investigué par des travaux séminaux récents. Certains travaux sont axés sur la mise en relation des décompositions tensorielles avec les réseaux de neurones avec des unités de produit (au lieu d’unités de sommation). Dans d’autres, l’apprentissage d’un réseau de neurones à une seule couche avec des fonctions d’activation “fléxibles” (FAFs) a été formulé comme un problème de décomposition contraint d’un tenseur CPD. Dans ce dernier travail, la décomposition a permis de compresser des réseaux pré-entrainés en estimant conjointement les poids et les nouvelles fonctions d’activations, dites fléxibles. Dans cette thèse, des questions sur la modélisation des NNs seront addressées.
Le but est de modéliser les couches des DNNs, et de proposer des nouvelles méthodes d’apprentissage, basées sur les factorisations tensorielles.

Application à la surveillance automatique basée sur des modèles profonds dans des drones:
Du point de vue des applications, un exemple important est donné par les drones de surveillance automatique utilisant les DNNs. Ces drones représentent une solution de supervision, selon un déploiement alliant homme et machine pour sécuriser automatiquement des grands espaces. Le défi étant de réduire le nombre de paramètres des réseaux pour une implémentation dans des architectures avec des ressources de calcul limitées. Pratiquement, cette réduction du nombre de paramètres signifie des réseaux plus compacts avec une empreinte mémoire réduite, ce qui peut être important pour les architectures avec une RAM ou une mémoire de stockage limitée. A titre d’exemple, le réseau VGG-19 dispose à peu près de 138 millions de paramètres. Il est donc crucial de développer de nouvelles méthodes pour pallier ce déluge du nombre de paramètres. De plus, l’augmentation du nombre de paramètres induit des temps d’execution élevés, ainsi qu’une consommation d’énergie plus importante. Ce sont des grands défis qui restent ouverts quand les modèles profonds sont déployés sur des équipements embarqués tels que des drones. Il est donc nécessaire de gérer efficacement ce problème, et de développer de nouvelles stratégies adaptées aux systèmes embarqués.
Ce sujet de thèse a un lien étroit avec les travaux, en collaboration avec la DGA, réalisés dans notre équipe.
On cite le projet DGA RAPID Manta, porté par Nadège THIRION-MOREAU, où nous nous intéressons à développer un drone intelligent permettant d’éviter automatiquement des obstacles sur la mer. De plus, le projet ANR ASTRID ROV-Chasseur, porté par Thanh Phuong NGUYEN, s’intéresse à la détection et la reconnaissance des objets spécifiques sous-marins (poissons et mines). En effet, ce projet de thèse est la continuité de ces travaux, en considérant également des applications potentielles en surveillance maritime, un domaine d’application clé dans les activités de recherche de l’équipe SIIM. Dans le cadre de ce projet, nous proposons de déployer les modèles profonds efficaces sur les équipements embarqués tels que drones, engin sous-marin télécommandé, ROV (Remotely operated underwater vehicle) pour les applications en surveillance maritime.

Profil du candidat :
Le candidat doit être un ressortissant de l’UE, du Royaume Uni ou de la Suisse.

Formation et compétences requises :
Pour candidater, veuillez envoyer votre CV, relevés de notes avec qualifications et informations pertinentes, avant le 8 avril 2022, à Yassine Zniyed (zniyed@univ-tln.fr) et Thanh Phuong NGUYEN (tpnguyen@univ-tln.fr)

Adresse d’emploi :
Laboratoire d’informatique et systèmes (LIS) UMR 7020
Université de Toulon. Campus de La Garde – Bt X
83041 TOULON

Document attaché : 202203021441_Sujet_AID_version_courte.pdf