FENDER

 

Atelier FENDER (2021)

Federate ExplaiNability DEfinitions and Research

Responsables

Correspondant ComDIR : Marie-Christine Rousset

Thématiques

Explicabilité et interprétabilité des modèles d’intelligence artificielle. Lien entre données et explication.

Données concernées

Données environnementales séries temporelles, géo-référencée, données commerciales de plusieurs entreprises, éventuellement données juridiques. Données ouvertes.

Mots clés

explicabilité, interprétabilité

Contexte et positionnement scientifique

La multiplication des données a permis l’avènement de méthodes d’apprentissage statistique de plus en plus précises mais aussi plus complexes et parfois plus loin des données et de leur sémantique par rapport à ce qui était fait dans les systèmes à base de connaissances. Ces méthodes statistiques sont appelées parfois boîtes noires, car il est difficile d’appréhender leur fonctionnement (leur processus interne) et la raison pour laquelle certains résultats sont produits. L’explicabilité ou l’interprétabilité de tels algorithmes passe par le développement de méthodes qui souvent mettent en parallèle des algorithmes ou leurs résultats et un sous-ensemble de données pour en expliquer les comportements.

L’atelier s’intéresse de manière croisée à l’explicabilité et l’interprétabilité du point de vue de l’informatique et du point de vue des sciences humaines et a pour objectif de voir ce que chaque champ disciplinaire peut apporter à l’autre dans la manière de représenter, définir et même consommer ou évaluer des explications et le rôle des données et leurs propriétés dans ces explications. Par exemple, en informatique, une explication peut porter sur le fonctionnement d’une méthode ou sur son résultat. L’explication a posteriori du résultat (post-hoc explanation produite par un système comme LIME) peut être vue comme un vecteur de poids sur des attributs interprétables. Par contre, en sciences humaines, l’explication apparaît plus comme un processus de structuration interactive de connaissances, de négociation du sens, ou un phénomène émergeant du dialogue, dont la qualité est à appréhender en fonction des univers cognitifs des interlocuteurs. Une “bonne explication” produite par un système IA ne correspond pas seulement aux “faits” dans l’univers de référence, mais permet également à l’usager humain d’atteindre ses objectifs, et de comprendre selon l’état actuel de ses connaissances relatives au domaine de ce qui est à expliquer.

A partir de ce premier constat rapide, plusieurs questions de recherche apparaissent déjà comme importantes et mériteraient d’être enrichies par les discussions de l’atelier :

  • définir précisément les notions d’interprétabilité et d’explicabilité dans chacun des domaines et voir leur évolution au cours du temps : comment ont été perçus les besoins en explications et ce qu’on appelle une explication ; des travaux ont été conduits en informatique par le GDR IA GT explicabilité (https://www.gdria.fr/gt-explicabilite/) en ce sens notamment ;
  • préciser la dépendance des méthodes d’explicabilité existantes à la qualité, diversité des données sous-jacentes aux modèles. Notamment, certaines méthodes reposent sur un espace de données interprétables ;
  • préciser comment prendre en compte l’humain dans l’explication et notamment son niveau de qualification, ses attentes, ou encore le contexte de l’explication fournie. Cette question peut être étendue au cas où plusieurs cibles qui ont des intérêts parfois divergents reçoivent l’explication (cas multi-parties prenantes).
  • les questions précédentes amèneront à s’interroger sur la forme d’une explication et l’exploration de nouvelles formes d’explications – sous la forme, par exemple, de narrations ou visualisations de données – et sur la nature statique et définitive d’une explication telle qu’elle est conçue généralement actuellement en informatique : sous la forme d’une règle de décision, un vecteur de poids sur des attributs interprétables. Peut-on imaginer des explications avec lesquelles il est possible d’interagir ? Est-ce que ces questions font sens au niveau de la construction cognitive des humains et de leur processus de compréhension ?
  • aborder la question de l’évaluation des explications dans différents domaines. Notamment en informatique, en classification la question semble encore ouverte, mais on pourrait imaginer d’autres tâches comme les systèmes de recommandation pour lesquels l’évaluation ne passe classiquement pas que par des mesures de précision, mais aussi par des mesures de diversité, de couverture, de robustesse de l’explication à une perturbation des conditions initiales.

L’atelier n’aura pas vocation à aborder en largeur l’ensemble des questions de recherche décrites ci-avant mais plutôt de les prioriser et de déterminer collectivement, avec un regard pluridisciplinaire, celles qui devront prioritairement être abordées et celles qui nécessitent un travail de plus long terme et des collaborations spécifiques dans le cadre de thèses de doctorat entre participants, d’un projet ANR ou européen.

Cet atelier a pour objectif d’apporter un regard bi-disciplinaire et vise à enrichir la perception d’un problème par son étude croisée dans plusieurs domaines. La communauté informatique notamment s’est déjà emparée par le biais du GdR IA GT Explicabilité de ces thématiques. Il n’est pas question ici de faire de la concurrence à ce groupe bien établi, mais de nourrir ses réflexions en apportant des questions soulevées par le regard pluridisciplinaire.

Des liens doivent être établis avec des actions MADiCS comme MADONA et PLATFORM.

En effet, du point de vue des sciences humaines, une explication semble se rapprocher d’un discours argumenté et donc d’une narration basée sur les données. L’action MADONA a déjà produit un modèle conceptuel du processus de narration de données, qui se rapprocherait de l’explication du résultat d’un algorithme de machine learning. De même, la capacité à expliquer un algorithme influence directement la confiance que les utilisateurs peuvent avoir et donc l’acceptation de leurs décisions ce qui rapproche des thématiques de l’action PLATFORM.

 

Site de l’Atelier FENDER en cours de construction…


Évènements à venir