Soutenance de thèse de Marin LE GUILLOU

Ecole Doctorale
COGNITION, LANGAGE, EDUCATION
Spécialité
Sciences cognitives
établissement
Aix-Marseille Université
Mots Clés
Intelligence Artificielle Explicable (XAI),Coopération Humain - Agent Artificiel,Equipe Humain-Autonomie,Mécanismes prédictifs,Modèle Hierarchique des Intentions,
Keywords
Explainable Artificial Intelligence (XAI),Human - Artificial Agent joint action,Human-Autonomy Teaming,Predictive Mechanisms,Hierarchichal Model of Intentions,
Titre de thèse
Explicabilité de l'agent artificiel : explorer le contenu et le format de l’interaction entre l'humain et l'intelligence artificielle
Explanation of the Artificial Agent: Exploring the content and format of human interaction with AI.
Date
Vendredi 22 Septembre 2023
Adresse
Ecole de l'Air, Batiment des Etudes BA 701 13661 Salon Cedex AIR
Amphitéâtre Marin La Meslée
Jury
Directeur de these M. Laurent PREVOT Aix Marseille Université
Rapporteur Mme Aurélie CLODIC LAAS CNRS
Rapporteur M. Franck MARS LS2N CNRS
Examinateur Mme Elisabeth PACHERIE ENS
Président M. Noël NGUYEN Aix Marseille Université
Examinateur Mme Florence DE GRANCEY Thalès
CoDirecteur de these M. Bruno BERBERIAN ONERA

Résumé de la thèse

"Le développement de l'IA est aussi fondamental que la création du microprocesseur, de l'ordinateur personnel, de l'internet et du téléphone portable. Elle changera la façon dont les gens travaillent, apprennent, voyagent, se soignent et communiquent entre eux. Des industries entières se réorienteront autour d'elle." C’est ainsi que Bill Gates décrit la révolution technologique promise par les récents progrès de l'intelligence artificielle. Ces progrès permettent d’imaginer une ère dans laquelle les humains seront assistés par des agents artificiels (AA) dans de nombreuses tâches. Or l’opacité de l’IA embarquée dans les AAs freine aujourd’hui les possibilités de coopération. Il apparait dès lors critique de comprendre comment soutenir la coopération entre les humains et ces agents artificiels. Cette thèse contribue à cet effort en proposant une approche originale du problème. Se basant sur les connaissances inhérentes au contrôle de l’action, notamment de l’action conjointe, la thèse explore la nature de l'information qu'un agent artificiel doit transmettre pour soutenir la coopération avec son partenaire humain. L’hypothèse est faite que la communication des précurseurs des intentions de l'agent artificiel (Intention Based Explanations ou IBEs) est un élément clé de la coopération entre l'homme et l'agent artificiel. Le concept d'intention est abordé ici à travers le modèle hiérarchique dynamique des intentions de Pacherie, qui rassemble les travaux philosophiques sur les intentions et les travaux empiriques sur le contrôle moteur (Pacherie, 2008). En particulier, ce modèle propose de distinguer les intentions distales, proximales et motrices opérant à différents niveaux de contrôle de l'action. Overcooked, utilisé comme paradigme pour le test de l’hypothèse, est une tâche coopérative où deux joueurs doivent livrer des soupes le plus rapidement possible. Pour atteindre cet objectif, les agents (humains et AA) doivent se coordonner sur les tâches et dans l’espace. En utilisant ce paradigme, nous avons mené une série d'expériences dans lesquelles nous avons étudié l'impact de la communication des IBEs sur la performance de l'équipe humain-agent et l’expérience subjective des participants (utilisation de questionnaire permettant de mesurer la confiance envers l’AA, la fluidité de la coopération et la contribution perçue de l'AA à la tâche). Nos résultats montrent un impact positif des IBEs sur la confiance des participants envers les actions de l'agent artificiel. Les résultats d'une seconde expérience montrent que les IBEs influencent le comportement des participants vers plus de coopération - même s'ils ne sont pas efficaces en termes de performance, tout en répliquant l'impact des IBEs sur la confiance des participants. Dans une troisième expérience, nous démontrons que l'amélioration de la performance individuelle de l'agent réduit l'effet des IBE à la fois sur le plan comportemental et subjectif. Enfin, une quatrième étude indique que les bénéfices en termes subjectifs (notamment la confiance dans l’AA) liés à l’utilisation des IBEs disparaissent si les intentions proximales ou motrices sont présentées de manière séparée. La thèse apporte des éléments permettant de considérer les IBEs comme des activateurs de l’action conjointe humain-agent artificiel. Les IBEs ont l'avantage d'être des activateurs d'action conjointe "en ligne", alors que les approches plus traditionnelles des explications causales sont des processus hors ligne. En outre, les IBE ont l'avantage potentiel d'être moins coûteux que les explications causales, compte tenu du compromis performance/transparence des techniques d'IA. Les solutions opérationnelles proviendront probablement d'une combinaison équilibrée des deux approches, associée à des capacités de coopération efficaces du côté de l'agent - éventuellement par le biais d'une lecture adéquate des intentions de l'humain.

Thesis resume

"The development of AI is as fundamental as the creation of the microprocessor, the personal computer, the Internet, and the mobile phone. It will change the way people work, learn, travel, get health care, and communicate with each other. Entire industries will reorient around it.” With these words, Bill Gates describes the technological revolution promised by recent advances in artificial intelligence. These advances lead us to anticipate a new era in which humans will be assisted by artificial agents (AA) able to perform all kinds of tasks. However, imagining a future world where humans interact with virtual assistants to perform more or less critical tasks also requires an understanding of how to support cooperation between humans and these artificial agents. Today, however, there are a number of bottlenecks, linked in particular to the opacity of AI-based systems, which need to be overcome. This thesis contributes to this effort by taking an original approach to the problem. Based on knowledge from motor control, in particular work on joint action control, we explore the nature of the information that an artificial agent must transmit to support cooperation with its human partner. In particular, we hypothesize that communication of the precursors of artificial agent's intentions (Intention Based Explanations or IBEs) is a key element in Human-AA cooperation. The concept of intention is addressed here through the Pacherie's dynamic hierarchical model of intentions, which brings together philosophical work on intentions and empirical work on representations and motor control (Pacherie, 2008). In particular, this model proposes to distinguish distal intentions, proximal intentions and motor intentions operating at different levels of action control (hence the name DPM model). To test our hypothesis, we propose to use the Overcooked cooperative paradigm. Overcooked is a two-players cooperative task where the goal is to deliver soups as fast as possible. To achieve this goal, the agents (human and AA) should split up tasks on the fly and coordinate effectively in order to achieve high reward. Using this paradigm, we conducted a series of experiments in which we investigated the impact of AA’s intention communication on human-agent team performance and on the human's subjective experience of the AA using questionnaire about trust in AA, cooperation fluency and AA’s contribution to the task. Our results show a positive impact of IBEs on participants' trust towards artificial agent's actions in the Overcooked cooperative paradigm. The results from a second user-study in Overcooked show that IBEs influences participant's behavior towards more cooperativeness– even if not efficient with regard to performance. The results about the impact of IBEs on participant's trust are replicated, and the user-study in Overcooked also shows that improving agent's individual performance reduces the effect of IBEs both behaviorally and subjectively. The last study in Overcooked shows that the subjective effect of IBEs is not observed when only proximal or motor intentions precursors - or presented alone. Interestingly this comes with participant's behavior still being geared towards cooperation but without the negative impact on performance observed when intention precursors are presented together. The thesis brings elements for considering IBEs as human-artificial agents joint-action enablers. IBEs have the advantage of being "online" joint-action enablers while more traditional approaches of causal explanations are offline processes. Also, IBEs have the potential advantage of being cheaper - regarding the performance/transparency trade-off of AI techniques - than causal explanations. Operational solutions will probably come from a well-balanced combination of both approaches coupled with efficient cooperative abilities on agent's side - possibly through adequate human's intentions reading.