[PDF] Conception et développement de composants logiciels et matériels

View - Download Conception et développement de composants logiciels et matériels

Previous PDF

Next PDF

Confidentiel

THÈSETHÈSE

En vue de l"obtention du

DOCTORAT DE L"UNIVERSITÉ FÉDÉRALETOULOUSE MIDI-PYRÉNÉES

Délivré par :

l"Université Toulouse 3 Paul Sabatier (UT3 Paul Sabatier)

Présentée et soutenue le23/01/2019par :

Conception et Développement de Composants Logiciels et Matériels pour un Dispositif Ophtalmique JURY

François BERRYProfesseur d"Université

Alberto IZAGUIRRE

ALTUNAProfesseur d"Université

Aude BOUCHIERDocteur et Ingénieur

Olivier MORELMaître de Conférences

Patrick DANÈSProfesseur d"Université

Bertrand

VANDEPORTAELEMaître de Conférences

École doctorale et spécialité :

EDSYS : Informatique 4200018

Double mention :

EDSYS : Robotique 4200046

Unité de Recherche :

Laboratoire d"analyse et d"architecture des systèmes

Directeur(s) de Thèse :

Bertrand VANDEPORTAELEetPatrick DANÈS

Rapporteurs :

François BERRYetAlberto IZAGUIRRE ALTUNA

i

Remerciements

Je souhaite tout d"abord remercier mes deux directeurs de thèse Bertrand Van- deportaele et Patrick Danès, pour leur aide et leur soutien. Je remercie également pour leur accueil et leur conseils l"ensemble des membres de l"équipe de R&D de Essilor du site de Labège et les autres employés de Essilor avec qui j"ai pu être en interaction au cours de ma thèse. Je remercie en particulier Aude Bouchier (mon encadrante entreprise) pour son aide et son soutien. Je souhaite également remercier Henri Camon (directeur du laboratoire commun OPERA), qui m"a apporté son soutien et son aide en particulier sur les aspects administratifs. Je tiens à remercier les équipes RAP et GEPETTO du LAAS-CNRS pour ces trois années passées à leur côtés, qui furent fort enrichissantes. Enfin, je souhaite un grand merci à mon conjoint Kévin, ainsi qu"à ma famille et mes amis, qui m"ont soutenu tout au long de la thèse. iii

Résumé

Les recherches menées au cours de cette thèse de Doctorat s"inscrivent dans les activités du laboratoire commun OPERA (OPtique EmbaRquée Active) impliquant ESSILOR-LUXOTTICA et le CNRS. L"objectif est de contribuer au développement des "lunettes du futur" intégrant des fonctions d"obscurcissement, de focalisation ou d"affichage qui s"adaptent en permanence à la scène et au regard de l"utilisateur. Ces nouveaux dispositifs devront être dotés de capacités de perception, de déci- sion et d"action, et devront respecter des contraintes d"encombrement, de poids, de consommation énergétique et de temps de traitement. Ils présentent par conséquent des connexions évidentes avec la robotique. Dans ce contexte, les recherches ont consisté à investiguer la structure et la construction de tels systèmes afin d"identifier leurs enjeux et difficultés. Pour ce faire, la première tâche a été de mettre en place des émulateurs de divers types de lunettes actives, qui permettent de prototyper et d"évaluer efficacement diverses fonctions. Dans cette phase de prototypage et de test, ces émulateurs s"appuient naturellement sur une architecture logicielle modulaire typique de la robotique. La seconde partie de la thèse s"est focalisée sur le prototypage d"un compo- sant clé des lunettes du futur, qui implique une contrainte supplémentaire de basse consommation : le système de suivi du regard, aussi appelé oculomètre. Le prin- cipe d"un assemblage de photodiodes et d"un traitement par réseau de neurones a été proposé. Un simulateur a été mis au point, ainsi qu"une étude de l"influence de l"agencement des photodiodes et de l"hyper-paramétrisation du réseau sur les performances de l"oculomètre. Mots-clés :Lunettes intelligentes, robotique, réalité augmentée, oculométrie (gaze tracking), architecture modulaire. v

Abstract

The research carried out during this doctoral thesis takes place within the OPERA joint laboratory (OPtique EmbaRquée Active) involving ESSILOR- LUXOTTICA and the CNRS. The aim is to contribute to the development of "glasses of the future", which feature obscuration, focus or display capabilities that continuously adapt to the scene and the user gaze. These new devices will be en- dowed with perception, decision and action capabilities, and will have to respect constraints of space, weight, energy consumption and processing time. They there- fore show obvious connections with robotics. In this context, the structure and building of such systems has been investigated in order to identify their issues and difficulties. To that end, the first task was to set up emulators of various types of active glasses, which enable the prototyping and effective testing of various functions. In this prototyping and testing phase, these emulators naturally rely on a modular software architecture typical of robotics. The second part of the thesis focused on the prototyping of a key component which implies an additional constraint on low consumption, namely the eye tracking system, also known as gaze tracker. The principle of a photodiode assembly and of a neural network processing has been proposed. A simulator has been developed, as well as a study of the influence of the arrangement of photodiodes and the hyper- parametrization of the network on the performance of the oculometer. Key-words :Smart glasses, robotics, augmented reality, gaze tracking, modular architecture.

Table des matières

Introduction1

1 Contexte de l"étude : la vision instrumentée7

1.1 Le système visuel humain. . . . . . . . . . . . . . . . . . . . . . . . 8

1.1.1 Composition et fonctionnement de l"œil. . . . . . . . . . . . 8

1.1.2 Rappels d"optique pour la modélisation de l"œil. . . . . . . . 9

1.1.2.1 Points principaux et points nodaux. . . . . . . . . 10

1.1.2.2 Modèles optiques de l"œil. . . . . . . . . . . . . . . 12

1.1.3 La rétine et le rôle des photorécepteurs. . . . . . . . . . . . 15

1.1.4 Les mouvements de l"œil. . . . . . . . . . . . . . . . . . . . . 15

1.1.5 La perception 3D. . . . . . . . . . . . . . . . . . . . . . . . . 17

1.2 Les lunettes du futur. . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.2.1 Dispositif ophtalmique et nouveaux usages. . . . . . . . . . . 18

1.2.2 Définition de la réalité augmentée et de la réalité virtuelle. . 19

1.2.3 Technologies, Contraintes, Opportunités. . . . . . . . . . . . 21

1.2.3.1 Applications potentielles et complexité. . . . . . . 21

1.2.3.2 Technologies. . . . . . . . . . . . . . . . . . . . . . 22

1.2.3.3 Contraintes et opportunités. . . . . . . . . . . . . . 24

A Contraintes d"embarquabilité. . . . . . . . 24

B Contraintes pour le confort visuel. . . . . 24

C Opportunités. . . . . . . . . . . . . . . . . 25

1.3 Un système robotique embarqué. . . . . . . . . . . . . . . . . . . . 25

1.3.1 Des scénarios types aux fonctions embarquées. . . . . . . . . 25

1.3.2 Architectures logicielles robotiques pour le prototypage de

fonctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

1.3.2.1 Architecture modulaire. . . . . . . . . . . . . . . . 26

1.3.2.2 Interfaces de communication. . . . . . . . . . . . . 28

1.3.3 Résumé - Vue d"ensemble. . . . . . . . . . . . . . . . . . . . 29

1.4 Objectifs de la thèse. . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2 Composants matériels et logiciels33

2.1 Affichage de contenu. . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.1.1 Casques de réalité augmentée. . . . . . . . . . . . . . . . . . 35

A Les VST-HMDs. . . . . . . . . . . . . . . 35

B Les OST-HMDs. . . . . . . . . . . . . . . 35

2.1.2 Limitations des dispositifs de réalité augmentée. . . . . . . . 36

2.1.2.1 Limitations des affichages sur des HMDs. . . . . . 36

A Résolution. . . . . . . . . . . . . . . . . . 36

B Champ de vue. . . . . . . . . . . . . . . . 36

C Conflit convergence-accommodation. . . . 37

viiiTable des matières D Luminosité et Contraste. . . . . . . . . . . 37 E Différence de point de vue. . . . . . . . . 37

2.1.2.2 Contraintes inhérentes à la réalité augmentée. . . . 38

A Temps réel, latence et fréquence d"affichage38 B Estimation de la pose du dispositif d"affichage38

2.1.2.3 Contraintes d"embarquabilité d"un HMD. . . . . . 39

2.1.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.2 Perception de l"environnement. . . . . . . . . . . . . . . . . . . . . . 39

2.2.1 Modélisation des caméras. . . . . . . . . . . . . . . . . . . . 40

2.2.1.1 Modèle trou d"épingle. . . . . . . . . . . . . . . . . 40

2.2.1.2 Modèle trou d"épingle avec distorsion : "Plump bob"40

2.2.1.3 Étalonnage. . . . . . . . . . . . . . . . . . . . . . . 42

2.2.1.4 Modèle pour caméra à large champ de vue. . . . . 43

A Modèle fisheye. . . . . . . . . . . . . . . . 43 B Modèle génériques pour caméras omnidi- rectionnelles . . . . . . . . . . . . . . . . . 44

2.2.1.5 Conclusion. . . . . . . . . . . . . . . . . . . . . . . 45

2.2.2 Perception 3D. . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.2.2.1 Capteurs passifs et actifs. . . . . . . . . . . . . . . 45

A Les caractéristiques des systèmes actifs. . 46 B Les caractéristiques des systèmes passifs. . 46

2.2.2.2 Perception 3D par stéréovision. . . . . . . . . . . . 47

A Principe. . . . . . . . . . . . . . . . . . . . 47 B Calcul de cartes de disparité. . . . . . . . 49 C Stéréovision sur une séquence d"images. . 50

2.2.2.3 Autres techniques basées sur des capteurs passifs. . 52

A Caméras plénoptiques. . . . . . . . . . . . 52

B Perception 3D basée sur des techniques

d"apprentissage . . . . . . . . . . . . . . . . 53

2.2.2.4 Conclusion. . . . . . . . . . . . . . . . . . . . . . . 55

2.3 Localisation des lunettes dans la scène. . . . . . . . . . . . . . . . . 55

2.3.1 Localisation dans un environnement maîtrisé. . . . . . . . . 56

2.3.1.1 Systèmes sans caméra embarquée. . . . . . . . . . 56

2.3.1.2 Systèmes avec caméra(s) embarquée(s). . . . . . . 56

A Systèmes basés marqueur. . . . . . . . . . 57 B Systèmes basés modèle 3D. . . . . . . . . 57

2.3.2 Localisation dans un environnement inconnu. . . . . . . . . 58

2.3.2.1 SLAM basé primitives géométriques. . . . . . . . . 59

A Méthodes basées filtrage. . . . . . . . . . 60 B Méthodes basées ajustement de faisceaux. 60

2.3.2.2 SLAM direct. . . . . . . . . . . . . . . . . . . . . . 61

2.3.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

2.4 Détection et suivi du regard du porteur. . . . . . . . . . . . . . . . 62

2.4.1 Techniques d"oculométrie (suivi du regard,eye-gaze tracking)62

Table des matièresix

2.4.2 Techniques basées caméra et extraction d"éléments caracté-

ristiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

2.4.2.1 Éléments caractéristiques détectés. . . . . . . . . . 64

2.4.2.2 Méthodes basées interpolations. . . . . . . . . . . . 65

A Les PCCR et autres techniques s"appuyant

sur les reflets . . . . . . . . . . . . . . . . . 65 B L"usage de la pupille ou de l"iris seul. . . . 66 C Les limites de ces méthodes. . . . . . . . . 66

2.4.2.3 Méthodes basées modèle 3D. . . . . . . . . . . . . 66

2.4.3 Oculomètre basse consommation. . . . . . . . . . . . . . . . 68

2.4.4 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

2.5 Rendu synthétique de l"environnement et affichage d"information

augmentée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

2.5.1 Deux procédés de synthèse d"image. . . . . . . . . . . . . . . 70

2.5.1.1 Incrustation d"objets synthétiques. . . . . . . . . . 70

2.5.1.2 Affichage de contenu synthétique construit à partir

de la scène . . . . . . . . . . . . . . . . . . . . . . . 71

2.5.2 Rendu d"une image par DIBR pour un autre point de vue. . 73

2.5.2.1 Synthèse d"images intermédiaires. . . . . . . . . . . 74

A "Direct 3D warping". . . . . . . . . . . . . 74

B Maillage triangulaire. . . . . . . . . . . . . 74

C Inverse 3D warping. . . . . . . . . . . . . 76

D Fusion des images cibles intermédiaires. . 77

2.5.2.2 Remplissage de zones vides. . . . . . . . . . . . . . 78

A Remplissage des cracks. . . . . . . . . . . 79

B Remplissage des trous dus aux occlusions. 79

2.5.2.3 Génération de nouvelles vues par des techniques

d"apprentissage automatique . . . . . . . . . . . . . 80

2.5.2.4 Limite du DIBR. . . . . . . . . . . . . . . . . . . . 81

2.5.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

2.6 Étalonnage du dispositif. . . . . . . . . . . . . . . . . . . . . . . . . 82

2.6.1 Modèle de projection. . . . . . . . . . . . . . . . . . . . . . . 83

2.6.2 Étalonnage d"un OST-HMD. . . . . . . . . . . . . . . . . . . 84

2.6.2.1 Méthodes basées sur l"alignement de points. . . . . 84

2.6.2.2 Méthodes basées caméras. . . . . . . . . . . . . . . 85

2.6.2.3 Méthodes avec adaptation dynamique au regard du

porteur . . . . . . . . . . . . . . . . . . . . . . . . . 87

2.6.3 Étalonnage d"un VST-HMD. . . . . . . . . . . . . . . . . . . 87

2.6.4 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

2.7 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

xTable des matières

3 Proposition d"un oculomètre basse consommation91

3.1 Prototypage virtuel d"un oculomètre basse consommation. . . . . . 92

3.1.1 Exigences pour l"optique embarquée. . . . . . . . . . . . . . 92

3.1.2 Une solution basée photodiodes et apprentissage automatique93

3.1.2.1 Sélection d"un assemblage de photodiodes. . . . . . 93

3.1.2.2 Synthèse d"un algorithme pour estimer la direction

du regard . . . . . . . . . . . . . . . . . . . . . . . . 94

3.1.3 Simulation de l"oculomètre dans un environnement synthétique95

3.1.3.1 Synthèse d"images du visage et de l"œil. . . . . . . 96

3.1.3.2 Simulation de l"assemblage de photodiodes. . . . . 97

A Assemblage de photodiodes. . . . . . . . . 97

B Photodiode. . . . . . . . . . . . . . . . . . 98

3.2 Tests sur données synthétiques. . . . . . . . . . . . . . . . . . . . . 101

3.2.1 Définition des hyperparamètres du réseau. . . . . . . . . . . 102

3.2.1.1 Méthodes pour l"évaluation et la comparaison de ré-

seaux de neurones . . . . . . . . . . . . . . . . . . . 104

3.2.1.2 Prétraitement des données d"entrée. . . . . . . . . 105

3.2.1.3 Initialisation des poids et fonction d"activation. . . 108

3.2.1.4 Fonction de perte. . . . . . . . . . . . . . . . . . . 109

3.2.1.5 Définition d"une architecture de réseau de neurones112

3.2.1.6 Dimensionnement du nombre d"époques et de la

taille de la base de données . . . . . . . . . . . . . . 114

3.2.2 Premiers résultats et analyse. . . . . . . . . . . . . . . . . . 115

3.2.2.1 Estimation de la direction du regard. . . . . . . . . 116

3.2.2.2 Estimation de la pose de l"œil. . . . . . . . . . . . 118

3.2.3 Évaluation de différents assemblages de photodiodes. . . . . 120

3.2.3.1 Variation de l"angle d"ouverture des photodiodes. . 120

3.2.3.2 Variation du nombre de photodiodes. . . . . . . . . 122

3.2.3.3 Variation de l"orientation des photodiodes. . . . . . 122

3.2.3.4 Variation de l"organisation spatiale des photodiodes122

3.2.3.5 Test avec filtre. . . . . . . . . . . . . . . . . . . . . 127

3.2.3.6 Conclusion sur l"assemblage à considérer. . . . . . 127

3.3 Tests sur données réelles. . . . . . . . . . . . . . . . . . . . . . . . . 129

3.3.1 Banc de test et procédure d"acquisition de données. . . . . . 129

3.3.2 Oculomètre basé caméras pour le banc de test. . . . . . . . . 131

3.3.3 Simulation des photodiodes à partir d"images réelles. . . . . 132

3.4 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

3.5 Perspectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

4 Prototypage et évaluation135

4.1 Banc de test basé sur un VST-HMD. . . . . . . . . . . . . . . . . . 136

4.1.1 Description générale. . . . . . . . . . . . . . . . . . . . . . . 136

4.1.1.1 Composants logiciels et matériels. . . . . . . . . . . 136

Table des matièresxi

A Système d"affichage et banc stéréoscopique large champ de vision . . . . . . . . . . . . 136

B Estimation de la direction du regard. . . . 138

C Localisation des lunettes dans la scène. . . 138 D Perception 3D de la scène. . . . . . . . . . 138

4.1.1.2 Architecture logicielle. . . . . . . . . . . . . . . . . 139

4.1.2 Synthèse d"images par DIBR pour le point de vue de l"utilisateur142

4.1.2.1 Calcul de la carte de profondeur. . . . . . . . . . . 142

4.1.2.2 Étape de "3D warping". . . . . . . . . . . . . . . . 143

4.1.2.3 Remplissage des zones vides. . . . . . . . . . . . . 144

4.1.3 Projection de contenu augmenté ou altéré. . . . . . . . . . . 145

4.1.4 Suivi du regard. . . . . . . . . . . . . . . . . . . . . . . . . . 146

4.1.4.1 Implémentation d"un algorithme basé interpolation148

4.1.4.2 Implémentation d"un algorithme basé modèle 3D. . 150

4.1.5 Premiers tests, résultats et performances. . . . . . . . . . . . 153

4.1.5.1 Test du VST-HMD par une application. . . . . . . 153

4.1.5.2 Performance temporelle actuelle sur CPU. . . . . . 153

4.1.5.3 Test et analyse de la perception 3D. . . . . . . . . 155

4.1.6 Perspectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

quotesdbs_dbs27.pdfusesText_33

[PDF] Obtention du Certificat de changement de résidence - El mouwatin

[PDF] Demande de changement de statut étudiant ? salarié

[PDF] Instruction du Gouvernement INTV1631686J du 2 novembre 2016

[PDF] premiere demande ou renouvellement - Les services de l 'État dans

[PDF] Procédures de 1ère demande ou de renouvellement de titres séjour

[PDF] vous souhaitez céder votre contrat fixe - Boutique orangefr

[PDF] Intégrales doubles

[PDF] Assistance ? domiciliation bancaire - Crédit Agricole du Nord Est

[PDF] La liste ci-dessous vous aidera ? ne pas oublier un - Neuflize OBC

[PDF] Transformer les images

[PDF] Désactivation des coussins gonflables - SAAQ

[PDF] fiche technique 1 - Académie de Clermont-Ferrand

[PDF] PROCÉDÉ A SUIVRE POUR UNE MUTATION - USSB Handball

[PDF] Changement de filière en deuxième année (S3) - Faculté des

[PDF] formulaire admission TERMINALE GT PRO R2017