[PDF] Raisonnement sur le contexte et les croyances pour linteraction

View - Download Raisonnement sur le contexte et les croyances pour linteraction

Previous PDF

Next PDF

THÈSE

THÈSE

En vue de l"obtention du

DOCTORAT DE L"UNIVERSITÉ FÉDÉRALETOULOUSE MIDI-PYRÉNÉES

Délivré par :

l"Institut National Polytechnique de Toulouse (INP Toulouse)Présentée et soutenue le18/10/2016par :

Grégoire MILLIEZRaisonnement sur le contexte et les croyances pour l"interaction homme-robotJURY Peter Ford DOMINEYDirecteur de recherche CNRS Président du Jury Raja CHATILADirecteur de recherche CNRS Rapporteur du Jury Dominique DuhautProfesseur des universités Rapporteur du Jury Rachid ALAMIDirecteur de recherche CNRS Membre du Jury Daniel SIDOBREMaître de conférences Membre du JuryÉcole doctorale et spécialité :

MITT : Domaine STIC : Intelligence Artificielle

Unité de Recherche :

Laboratoire d"analyse et d"architecture des systèmes

Directeur(s) de Thèse :

Rachid Alami

Rapporteurs :

Dominique DUHAUTetRaja CHATILA

i iii " Les hommes demanderont de plus en plus aux machines de leur faire oublier les machines.» -Philippe Sollers,Logique de la fiction "L"aspect le plus triste de notre vie aujourd"hui est que la science acquière les connaissances plus vite que la société n"acquière la sagesse.» -Isaac Asimov v

Remerciements

La fin d"une thèse est également la fin d"un chapitre dans le livre d"une vie. Ce chapitre représente pour moi l"accomplissement de dix années d"études et il me revient ici de remercier les personnes qui m"ont aidé à l"écrire jusqu"au bout. Mes premiers remerciements vont à Rachid Alami, mon directeur de thèse, qui par ses conseils, m"a permis de produire un travail de qualité. J"ai également apprécié les discutions et les moments partagés. Je remercie grandement Sébastien Druon qui m"a soutenu lors de mon premier stage en robotique. Par sa patience et sa pédagogie, il m"a aidé à prendre confiance en moi et m"a donné l"envie de faire une thèse. Je remercie également ceux qui m"ont encourager à faire des études et m"ont toujours soutenu, Pierre et Anne mes parents ainsi que ma famille. Je remercie tous ceux qui m"ont accompagné durant ce périple, mes amis et collègues, avec qui j"ai eu le plaisir de collaborer et de partager des moments privi- légiés. Le travail bien que parfois difficile, fut plus supportable en votre compagnie. J"espère avoir la chance et l"honneur de travailler à nouveaux avec vous à l"avenir. Enfin je remercie Pierre, Domitille et Nathalie pour leur patience lors de leur relecture.

Table des matières

Résumé

1

Abstract

3

1 Introduction

5

1.1 Contexte général

5

1.2 Contexte de la thèse

8

1.2.1 Le projet MaRDi

8

1.2.2 Environnement de travail

8

1.3 Motivations

9

1.3.1 Scénario

9

1.3.2 Défis liés à la thèse et contributions associées

10

1.4 Publications

12

1.5 Organisation du manuscrit

13

2 Construction et Maintien de l"État du Monde

15

2.1 Contexte

16

2.1.1 Défis à relever

16

2.1.2 Évaluation de la situation

16

2.1.3 État de l"art

18

2.2 Perception et données capteurs

25

2.2.1 Éléments statiques

25

2.2.2 Objets

26

2.2.3 Robots

27

2.2.4 Humains

28

2.3 Représentation du monde et regroupement des données

28

2.4 Connaissances sur l"environnement et calculs de faits

31

2.4.1 Représentation de la connaissance

31

2.4.2 Calculs de faits

34

2.5 Hypothèses pour le maintien de l"état du monde

39

2.5.1 Hypothèses de position

39

2.5.2 Généralisation

42

2.6 Base de données temporelle

44

2.6.1 Gestion des données

44

2.6.2 Gestion de l"historique

44
viii Table des matières

2.7 Implémentation

46

2.7.1 Collecte de données et généricité

46

2.7.2 Outils de développement

47

2.7.3 Architecture globale

48

2.8 Résultats expérimentaux

49

2.8.1 Le robot guide

50

2.8.2 Le robot coéquipier

51

3 Prise de perspective et maintien de l"état mental des agents

55

3.1 Motivation

55

3.2 Théorie de l"esprit

56

3.2.1 Littérature en psychologie

56

3.2.2 Usage en robotique

58

3.3 Prise de perspective et état mental

60

3.3.1 Prise de perspective perceptuelle

60

3.3.2 Prise de perspective conceptuelle

62

3.4 Implémentation

66

3.4.1 Traitement générique de la mise à jour de l"état de croyance

66

3.4.2 Réflexion sur d"éventuelles améliorations

68

3.5 Résultats expérimentaux

69

3.5.1 Configuration expérimentale

69

3.5.2 Résultats

71

3.6 Conclusion

78

4 Vers un Dialogue Situé Homme-Robot

79

4.1 Contexte

80

4.1.1 Introduction

80

4.1.2 Le projet MaRDi

80

4.1.3 Scénario associé

82

4.2 Les trois phases de l"interaction

84

4.2.1 Détermination de la demande utilisateur

84

4.2.2 Élaboration de plan

85

4.2.3 Exécution du plan

86

4.3 Architecture du système de dialogue situé

87

4.3.1 Entrées multimodales utilisateur

89

4.3.2 Le contexte comme aide à la compréhension

91

4.3.3 Gestionnaire de dialogue

93

4.3.4 Restitution multimodale

97

Table des matières ix

4.4 Implémentation dans un simulateur robotique

98

4.4.1 Motivation

98

4.4.2 Choix du simulateur

99

4.4.3 Simulation de l"interaction

100

4.4.4 Simulation de l"exécution

102

4.4.5 Expérimentation et résultats

103

4.5 Implémentation sur plateforme robotique

105

4.5.1 Élaboration du domaine de planification

106

4.5.2 Supervision et exécution

107

4.5.3 Expérimentation et résultats

109

4.6 Conclusion

116

5 Prise de Perspective et Reconnaissance d"Intentions

119

5.1 Contribution

119

5.2 Contexte

119

5.3 Estimation de l"intention

123

5.3.1 Du contexte à l"intention

125

5.3.2 De l"intention à l"action

125

5.3.3 De l"action aux observations

127

5.3.4 Déduction d"intention et d"action

128

5.4 Comportements pro-actifs

129

5.5 Architecture

130

5.6 Étude expérimentale

131

5.6.1 Étude utilisateurs

134

5.6.2 Implémentation

135

5.6.3 Discussion

137

5.7 Conclusion

137

6 Prise en compte de l"Expertise Humaine et Adaptation de la Col-

laboration 141

6.1 Contexte et motivation

142

6.2 Travaux associés

144

6.3 Suivi des connaissances de l"homme

145

6.3.1 Estimation de la situation et état mental

145

6.3.2 Niveau de connaissance de tâche

146

6.4 Planificateur HTN s"adaptant à l"homme

147

6.5 Présentation et négociation du plan partagé

151

6.5.1 Prétraitement du plan

151
x Table des matières

6.5.2 Présentation de plan

153

6.5.3 Négociation de plan

154

6.6 Exécution de plan adaptative

154

6.6.1 Algorithme de gestion de plan

154

6.6.2 Explication de l"algorithme de gestion de plan

156

6.6.3 Exécution et surveillance

158

6.6.4 Échec et replanification

159

6.7 Implémentation

159

6.7.1 Architecture

159

6.7.2 Expérimentation

160

6.8 Étude utilisateur et discussion

164

6.8.1 Étude utilisateur

164

6.8.2 Résultats

165

6.9 Conclusion

167

7 Conclusion et Perspectives

169

7.1 Conclusion

169

7.2 Améliorations et travaux à venir

171

Bibliographie

173

Résumé

Les premiers robots sont apparus dans les usines, sous la forme d"automates programmables. Ces premières formes robotiques ont le plus souvent un nombre très limité de capteurs et se contentent de répéter une séquence de mouvements et d"actions. De nos jours, de plus en plus de robots ont à interagir ou coopérer avec l"homme, que se soit sur le lieu de travail avec les robots coéquipiers ou dans les foyers avec les robots d"assistance. Mettre un robot dans un environnement humain soulève de nombreuses pro- blématiques. En effet, pour évoluer dans le même environnement que l"homme et comprendre cet environnement, le robot doit être doté de capacités cognitives ap- propriées. Au delà de la compréhension de l"environnement matériel, le robot doit être capable de raisonner sur ses partenaires humains afin de pouvoir collaborer avec eux ou les servir au mieux. Lorsque le robot interagit avec des humains, l"accom- plissement de la tâche n"est pas un critère suffisant pour quantifier la qualité de l"interaction. En effet, l"homme étant un être social, il est important que le robot puisse avoir des mécanismes de raisonnement lui permettant d"estimer également l"état mental de l"homme pour améliorer sa compréhension et son efficacité, mais aussi pour exhiber des comportements sociaux afin de se faire accepter et d"assurer le confort de l"humain. Dans ce manuscrit, nous présentons tout d"abord une infrastructure logicielle générique (indépendante de la plateforme robotique et des capteurs utilisés) qui permet de construire et maintenir une représentation de l"état du monde à l"aide de l"agrégation des données d"entrée et d"hypothèses sur l"environnement. Cette infra- structure est également en charge de l"évaluation de la situation. En utilisant l"état du monde qu"il maintient à jour, le système est capable de mettre en oeuvre divers raisonnements spatio-temporels afin d"évaluer la situation de l"environnement et des agents (humains et robots) présents. Cela permet ainsi d"élaborer et de maintenir une représentation symbolique de l"état du monde et d"avoir une connaissance en permanence de la situation des agents. Dans un second temps, pour aller plus loin dans la compréhension de la situation des humains, nous expliquerons comment nous avons doté notre robot de la capacité connue en psychologie développementale et cognitive sous le nom de "théorie de l"esprit" concrétisée ici par des mécanismes permettant de raisonner en se mettant à la place de l"humain, c"est à dire d"être doté de "prise de perspective". Par la suite nous expliquerons comment l"évaluation de la situation permet d"établir un dialogue situé avec l"homme, et en quoi la capa-

2 Résumé

cité de gérer explicitement des croyances divergentes permet d"améliorer la qualité de l"interaction et la compréhension de l"homme par le robot. Nous montrerons également comment la connaissance de la situation et la possibilité de raisonner en se mettant à la place de l"homme permet une reconnaissance d"intentions ap- propriée de celui-ci et comment nous avons pu grâce à cela doter notre robot de comportements proactifs pour venir en aide à l"homme . Pour finir, nous présente- rons une étude présentant un système de maintien d"un modèle des connaissances de l"homme sur diverses tâches et qui permet une gestion adaptée de l"interaction lors de l"élaboration interactive et l"accomplissement d"un plan partagé.

Abstract

The first robots appeared in factories, in the form of programmable controllers. These first robotic forms usually had a very limited number of sensors and simply repeated a small set of sequences of motions and actions. Nowadays, more and more robots have to interact or cooperate with humans, whether at the workplace with teammate robots or at home with assistance robots. Introducing a robot in a human environment raises many challenges. Indeed, to evolve in the same environment as humans, and to understand this environment, the robot must be equipped with appropriate cognitive abilities. Beyond understanding the physical environment, the robot must be able to rea- son about human partners in order to work with them or serve them best. When the robot interacts with humans, the fulfillment of the task is not a sufficient criterion to quantify the quality of the interaction. Indeed, as the human is a social being, it is important that the robot can have reasoning mechanisms allowing it to assess the mental state of the human to improve his understanding and efficiency, but also to exhibit social behaviors in order to be accepted and to ensure the comfort of the human. In this manuscript, we first present a generic framework (independent of the robotic platform and sensors used) to build and maintain a representation of the state of the world by using the aggregation of data entry and hypotheses on the environment. This infrastructure is also in charge of assessing the situation. Using the state of the world it maintains, the system is able to utilize various spatio- temporal reasoning to assess the situation of the environment and the situation of the present agents (humans and robots). This allows the creation and maintenance of a symbolic representation of the state of the world and to keep awareness of each agent status. Second, to go further in understanding the situation of the humans, we will explain how we designed our robot with the capacity known in developmental and cognitive psychology as "theory of mind", embodied here by mechanisms allowing the system to reason by putting itself in the human situation, that is to be equip- ped with "perspective-taking" ability. Later we will explain how the assessment of the situation enables a situated dialogue with the human, and how the ability to explicitly manage conflicting beliefs can improve the quality of interaction and un- derstanding of the human by the robot. We will also show how knowledge of the situation and the perspective taking ability allows proper recognition of human intentions and how we enhanced the robot with proactive behaviors to help the

4 Résumé

human. Finally, we present a study where a system maintains a human model of knowledge on various tasks to improve the management of the interaction during the interactive development and fulfillment of a shared plan.

Chapitre 1

IntroductionSommaire

1.1 Contexte général

5

1.2 Contexte de la thèse

8

1.2.1 Le projet MaRDi

8

1.2.2 Environnement de travail

8

1.3 Motivations

9

1.3.1 Scénario

9

1.3.2 Défis liés à la thèse et contributions associées

10

1.4 Publications

12

1.5 Organisation du manuscrit

13 1.1 Contexte général

De nombreux fantasmes ont toujours entouré la représentation que l"on se fait des robots. Le concept de créatures intelligentes confectionnées par la main de l"homme est déjà présent dans les mythologies telles que le mythe du Golem dans la mythologie juive ou l"histoire de Pygmalion et Galatée dans la mythologie grecque, ou encore les servantes androïdes en or du dieu Héphaïstos que l"on retrouve dans l"Iliaded"Homère. On retrouve dans la littérature du XIXe siècle le thème de l"automate prenant vie, à travers des oeuvres telles queL"homme au sabled"Ernst Theodor Amadeus Hoffmann ou le compte de féesPinocchiode Carlo Collodi. C"est également à cette époque qu"est paru le célèbre roman de Mary Shelley :Frankenstein ou le Prométhée moderne. Cette oeuvre met en scène la perte de contrôle du savant Frankenstein sur sa créature, cette dernière se révolte contre son créateur et les êtres humains en général dont il est rejeté. Cette thématique de révolte contre l"homme sera très largement reprise dans les oeuvres de science-fiction occidentales du XXè siècle. Un auteur cependant se démarque de cette ligne en présentant un recueil de nouvelles nomméLes Robots.

6 Chapitre 1. Introduction

Il s"agit de l"auteur américain Isaac Asimov, qui à travers ces nouvelles présente les limites possibles de systèmes robotiques et comment s"assurer que les robots s"éver- tuent à contribuer au bien-être des humains en énonçant notamment les trois lois de la robotique. Ces lois, implantées au coeur même du système robotique, doivent forcer le robot à agir pour garantir l"intégrité physique de tout être humain, pour obéir aux ordres des hommes et enfin pour garantir sa propre intégrité physique. De nos jours, la thématique de la machine échappant au contrôle de l"homme est toujours présente notamment dans le cinéma Hollywoodien à travers des oeuvres telles queTerminator,Matrix,The Machineou encoreEx-Machina. Il est cepen- dant à constater que ces machines ont des comportements de plus en plus proches de l"être humain, de par leur intelligence mais aussi leur capacité d"établir des interac- tions sociales avec l"homme. Certaines oeuvres cependant, dans la lignée d"Asimov, décrivent les robots comme des compagnons particulièrement utiles et dociles. On peut notamment cité l"androïde adolescentDARYLdu film éponyme, David, le Pinocchio moderne du filmAI, le robot médical Baymax du film d"animationles nouveaux hérosou encore TARS, le robot du filmInterstellar. La représentation que l"opinion publique se fait des robots a son importance car elle influence la perception des robots [

Sundar 2016

] et donc la direction donnée à la recherche. Ainsi, la culture japonaise est décrite comme robophile [

Gilson 1998

Dans ce même pays, on constate un investissement massif dans la recherche en robotique, notamment dans la robotique de service depuis plusieurs décennies. Malgré les scénarios apocalyptiques de certaines oeuvres et les angoisses socié- tales liées au robot, tel la suppression d"emplois peu qualifiés, les robots sont entrés dans nos usines et commencent à arriver dans nos maisons. Les premiers modèles ont pris la forme d"automates programmables dans les industries et de robots aspi- rateurs ou de jouets dans les foyers. Ces premières formes ont une intelligence très limitée et liée à une tâche, le plus souvent assez basique, à accomplir. Ces premiers modèles, de par leur adaptabilité très limitée et leur intelligence qui tient plus de la réaction que du raisonnement, sont plus proches d"un automate que d"un système réellement intelligent. Cependant, on constate depuis quelques années une complexi- fication des robots industriels et domestiques. Cette complexification permet aux robots les plus récents de prendre en compte l"homme. Ainsi, l"homme et la ma- chine vont être amenés de plus en plus à se côtoyer, que se soit sur le lieu de travail avec des robot coéquipiers ou dans les foyers avec les robots compagnons ou assis- tants. C"est dans ce contexte que les robots sociaux arrivent sur le marché. Ainsi, dès le début des années 2000, des robots ayant pour but d"interagir avec l"homme sont commercialisés par Sony : tout d"abord Aibo

1qui prends la forme d"un chien1. https ://fr.wikipedia.org/wiki/Aibo

1.1. Contexte général 7

puis Qrio

2, un petit robot humanoïde. Dans la même lignée que Qrio, Aldebaran

(aujourd"hui devenu Softbank Robotics) sort fin 2006 le robot NAO

3qui devien-

dra rapidement une plateforme très utilisée dans les laboratoires de recherches et universités à travers le monde. Plus récemment, Softbank Robotics a également mis au point le robot humanoïde Pepper

4qui est déjà utilisé comme plateforme

de renseignements et d"informations commerciales. Il est également à constater que plusieurs campagnes de crowd-founding ont rencontré un franc succès pour des pro- jets de plateformes robotiques sociales pour le domicile. On peut notamment citer les robots Jibo

5ou Buddy6. Ces deux projets de plateforme robotique interagissant

avec l"homme et destinée au grand public, ont reçu des retours très positifs et sont révélateurs de l"engouement de la population pour ce genre de plateforme. En effet, le secteur de la robotique de service et domestique (robots assistants/équipiers) est considéré comme un des enjeux économiques de ce siècle. On estime que d"ici à 2020, le marché de la robotique de service (tous secteurs confondus) pourrait représenter un volume supérieur à 15.69 milliards de dollars par an selon une étude de Grand

View Research

7. L"un des intérêts premier de la robotique d"assistance est lié au vieillissement de la population. En effet, les robots autonomes d"assistance pourraient permettre de redonner une certaine autonomie aux personnes âgées ainsi qu"un accès aux technologies modernes à travers l"utilisation intuitive des robots comme interface. Pour ce qui est des robots équipiers, ils pourraient permettre d"exécuter des tâches

répétitives, pénibles, mais également des tâches dangereuses voir irréalisables par

l"homme (par exemple celles nécessitant une grande précision) tout en travaillant en collaboration avec un opérateur humain. Cependant, pour le robot coéquipier comme pour le robot assistant, le contactquotesdbs_dbs27.pdfusesText_33

[PDF] Bibliographie Islam - Vignobles

[PDF] Bibliographie Islam médiéval - Vignobles

[PDF] Bibliographie L3 Lettres - Centre Universitaire de Mayotte - Gestion De Projet

[PDF] Bibliographie La communication en entreprise

[PDF] bibliographie La Fontaine-1

[PDF] Bibliographie Les lieux de saint Dominique

[PDF] Bibliographie Les risques liés à l`utilisation d`Internet

[PDF] Bibliographie Les saints dominicains - Anciens Et Réunions

[PDF] Bibliographie litterature scandinave 2010 - Des Bandes Dessinées

[PDF] BIBLIOGRAPHIE L`EVOLUTION DU MONDE VIVANT - Homicide

[PDF] Bibliographie M Marie Bernard 05 07 2016

[PDF] Bibliographie Malebranche - Anciens Et Réunions

[PDF] BIBLIOGRAPHIE MARTIN PAGE-1Emma

[PDF] BIBLIOGRAPHIE mécanique quantique

[PDF] Bibliographie médicaments hors GHS pour traitement - Anciens Et Réunions