Influence de la vraisemblance des données simulées sur la qualité de pré-entraînement d’un modèle

When:
01/03/2027 all-day
2027-03-01T01:00:00+01:00
2027-03-01T01:00:00+01:00

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : CIRAD Montpellier
Durée : 6 mois
Contact : sylvain.leclerc@cirad.fr
Date limite de publication : 2027-03-01

Contexte :
La quantité et la qualité des données d’entraînement conditionnent fortement la qualité d’un
modèle de deep learning. Lorsque les données réelles sont insuffisantes, une solution de plus en
plus répandue consiste à pré-entraîner le modèle sur des données synthétiques, puis à l’adapter
avec une faible quantité de données réelles. Le stage s’appuie sur deux cas d’application:
•Ramification d’arbres fruitiers. Des séquences décrivant la ramification sont générées par
un Transformer. Leur acquisition exige des observations détaillées, ce qui limite les données
disponibles. Les modèles statistiques de ramification développés chez le pommier sont une
des sources possibles de séquences synthétiques.
•Spectroscopie proche infrarouge (NIRS). Les modèles fondation tabulaires (TFM) sont des
Transformers pré-entraînés sur des données issues de processus génériques (modèles
causaux structurels, processus gaussiens). Les spécialiser à la NIRS suppose d’intégrer les
spécificités de ces données: forte colinéarité et structure physico-chimique. Le stage évaluera
l’apport de cette spécialisation.
Dans les deux cas, les générateurs peuvent reproduire des caractéristiques statistiques des
observations, intégrer des processus physiques ou biologiques, ou ne viser aucune fidélité aux
données réelles. Le stage les compare via la vraisemblance, i.e. la probabilité d’avoir obtenu les
données réelles à partir des générateurs, afin d’identifier les propriétés les plus favorables au pré-
entraînement.

Sujet :
Problématique:
Dans quelle mesure la vraisemblance associée aux données de pré-entraînement impacte-t-elle le
pré-entraînement du modèle ?

Objectifs:
• Analyser comment la vraisemblance associée aux données synthétiques influence l’efficacité
du pré-entraînement.
• En déduire une méthode générique de sélection et de combinaison des générateurs, adaptée
à une tâche donnée.

Méthodologie:
Les générateurs seront caractérisés par une analyse qualitative de leurs principes de
construction, distinguant quatre familles :•
Agnostiques: aucune recherche de fidélité (tirages uniformes, motifs arbitraires; modèles
causaux structurels pour les TFM).
• Statistiques descriptives simples: reproduisent moyennes, variances, fréquences ou
distributions, sans modéliser les dépendances complexes.
• Hypothèses structurelles : représentent une organisation connue ou supposée des données,
sans ajuster leurs paramètres aux observations.
• Structure et calibration empirique: par ex. chaîne de Markov ou modèle semi-markovien
caché (HSMM) ajustés aux séquences; reproduction de perturbations physiques typiques pour
la NIRS.
À cela s’ajoute une analyse quantitative: l’estimation de la vraisemblance des données réelles
sous chaque générateur, par des approches adaptées au cas d’application et au générateur.
Plusieurs approches sont possibles pour faire cette estimation, et différente selon le cas
d’application et selon le générateur.
Déroulement du stage:
• Mois 1-2: étude bibliographique (domaines d’application, estimation de vraisemblance,
Transformers, PFN, pré-entraînement); prise en main des données et du pipeline; intégration
de la vraisemblance.
• Mois 3-4: impact de la vraisemblance d’un générateur sur les performances; effet du mélange
de générateurs et de leurs proportions; méthode de sélection de la meilleure combinaison.
• Mois 5-6: analyse des résultats par cas d’application, documentation du protocole, rédaction
du rapport.

Déroulement du stage:
• Mois 1-2: étude bibliographique (domaines d’application, estimation de vraisemblance,
Transformers, PFN, pré-entraînement); prise en main des données et du pipeline; intégration
de la vraisemblance.
• Mois 3-4: impact de la vraisemblance d’un générateur sur les performances; effet du mélange
de générateurs et de leurs proportions; méthode de sélection de la meilleure combinaison.
• Mois 5-6: analyse des résultats par cas d’application, documentation du protocole, rédaction
du rapport.

Profil du candidat :
Master 2 ou équivalent en mathématiques, informatique ou statistiques.
Solides connaissances en machine learning et maîtrise de Python.
Bonne maîtrise de l’anglais (lu, écrit, parlé).

Formation et compétences requises :
Personne motivée, curieuse et autonome, avec un intérêt pour la recherche en apprentissage automatique et une capacité à travailler au sein d’une équipe pluridisciplinaire.

Adresse d’emploi :
Cirad, Av. Agropolis, 34980 Montferrier-sur-Lez

Document attaché : 202611170910_Sujet_de_stage_vraisemblance_des_donnes_de_pre-entrainement .pdf