Traitement automatique de vidéos en LSF Modélisation et PDF

Imprimer Dictionnaire L.S.F. - copie

Petit Dictionnaire de L.S.F. à l'usage des élèves et des enseignants. Attention : ce document est à usage interne et ne peut être vendu ! a b c d.

PETIT DICTIONNAIRE DE SIGNES ILLUSTRÉ - tiré du Catéchisme

cemment identifié parmi les sources anciennes de la LSF. Avec plus de 400 dessins et descriptions il est le dernier grand re- cueil de signes de «l'âge

Mon dictionnaire de la Langue des Signes Française Marseillaise

La Langue des Signes Françaises (LSF) est une langue visuo-gestuelle. Même si chaque pays Pour effectuer nos dessins nous nous.

Quelques-signes-pour-communiquer-avec-les-patients-Sourds.pdf

23 nov. 2017 Petit dictionnaire de la Langue des Signes Française (LSF). Bonjour. Au revoir. Merci. S'il vous plaît. Oui. Non. Bien. Mauvais. LIEUX.

Des documents pour continuer à découvrir le monde des sourds

sourds d'interprètes LSF

Traitement automatique de vidéos en LSF Modélisation et

14 juil. 2011 informations accessibles au public sourd et la traduction en LSF de ces ... et codée du signifié (sous forme de son

DICTIONNAIRE DE LINGUISTIQUE EN LANGUE DES SIGNES

Dictionnaire Larousse en ligne. URL : http://www.larousse.fr/dictionnaires/francais. Consulté le 21 novembre 2015. Dictionnaire vivant en langue des signes

Marie-France DAILLAT Aurélie GONO et Anne VANBRUGGHE

Associant le dessin et la description il publie un dictionnaire bilingue français-langue des signes jusqu'aujourd'hui inégalé. Ce dictionnaire replace

DICTIONNAIRE ÉTYMOLOGIQUE ET HISTORIQUE

DICTIONNAIRE ÉTYMOLOGIQUE ET HISTORIQUE. DE LA LANGUE DES SIGNES FRANÇAISE. Yves Delaporte est ethnologue directeur de recherche au CNRS. Depuis 1994

Contribution à la traduction automatique Français/Langue des

16 mai 2012 Et merci mes enfants

THESETHESE

En vue de l'obtention du

DOCTORAT DE L'UNIVERSITÉ DE TOULOUSEDOCTORAT DE L'UNIVERSITÉ DE TOULOUSE Délivré par l'Université Toulouse III - Paul Sabatier

Discipline ou spécialité : Informatique

JURY

Frédéric Lerasle (Président)

Patrice Dalle (Directeur)

Justus Piater (Rapporteur)

Sylvie Gibet (Rapporteur)

Dominique Boutet (Examinateur)

Pascal Jobez (Invité)

Ecole doctorale : EDMITT

Unité de recherche : IRIT

Directeur de Thèse : Patrice Dalle

Présentée et soutenue par François Lefebvre-Albaret

Le 7 octobre 2010

Titre :

Traitement automatique de vidéos en LSF

Modélisation et exploitation des contraintes phonologiques du mouvement i

Cette th

`ese a´et´e cofinanc´ee par la soci´et´e Websourd et par la r´egion Midi-Pyr´en´ees.

Certaines illustrations de signes sont tir

´ees de dictionnaires d"IVT et Monica Companys. Nous remer- cions ces deux ´editeurs de nous avoir autoris´e`a les utiliser. ii

R´ESUM´E

Dans le domaine du Traitement Automatique des Langues Naturelles, l"exploitation d"

´enonc´es en

langues des signes occupe une place `a part. En raison des sp´ecificit´es propres`a la Langue des Signes

Franc¸aise (LSF) comme la simultan

´eit´e de plusieurs param`etres, le fort rˆole de l"expression du visage, le recours massif

`a des unit´es gestuelles iconiques et l"utilisation de l"espace pour structurer l"´enonc´e, de nou-

velles m ´ethodes de traitement doiventˆetre adapt´ees`a cette langue.

Nous exposons d"abord une m

´ethode de suivi bas´ee sur un filtre particulaire, permettant de d´eterminer`a tout moment la position de la t ˆete, des coudes, du buste et des mains d"un signeur dans une vid´eo mono- vue. Cette m

´ethode a´et´e adapt´ee`a la LSF pour la rendre plus robuste aux occultations, aux sorties de cadre

et aux inversions des mains du signeur.

Ensuite, l"analyse de donn

´ees issues de capture de mouvement nous permet d"aboutir`a une cat´egorisation dediff ´erentsmouvementsfr´equemment utilis´esdanslaproduction designes.Nous enproposons unmod`ele param

´etrique que nous utilisons dans le cadre de la recherche de signes dans une vid´eo,`a partir d"un

exemple vid

´eo de signe.

Ces mod

`eles de mouvement sont enfin r´eutilis´es dans des applications permettant d"assister un utilisateur

dans la cr ´eation d"images de signe et la segmentation d"une vid´eo en signes.

Mots cl

´es: phonologie, segmentation, video, patron de mouvement, LSF iv

ABSTRACT

There are a lot of differences between sign languages and vocal languages. Among them, we can un-

derline the simultaneity of several parameters, the important role of the face expression, the recurrent use

of iconic gestures and the use of signing space to structure utterances. As a consequence, new methods

have to be developed and adapted to those languages.

At first, we detail a method based on a particle filter to estimate at any time, the position of the signer"s

head, hands, elbows and shoulders in a monoview video. This method has been adapted to the French Sign

Language in order to make it more robust to occlusion, inversion of the signer"s hands or disappearance of

hands from the video frame.

Then, we propose a classification of the motion patterns that are frequently involved in the sign production,

thanks to the analysis of motion capture data. The parametric models associated to each sign pattern are

used in the frame of automatic sign retrieval in a video from a filmed sign example.

We finally include those models in two applications. The first one helps an user in creating sign pictures.

The second one is dedicated to computer aided sign segmentation. Keywords: French Sign Language, phonology, segmentation, video, FSL, motion pattern vi

TABLE DES MATI`ERES

´ESUM´E. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .iii

ABSTRACT. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .v

TABLE DES MATI

`ERES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .vii LISTE DES FIGURES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xiii LISTE DES SIGLES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xix D

´EDICACE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xxi

REMERCIEMENTS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xxiii CHAPITRE 1 : INTRODUCTION. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1 Contexte du travail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Objectifs de l"

´etude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Pr

´esentation de la probl´ematique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.4 Structure de la th

`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 I La Langue des Signes Franc¸aise et sa mod´elisation 5 CHAPITRE 2 : LA LANGUE DES SIGNES FRANC¸AISE. . . . . . . . . . . . . . . . . . .7

2.1 Aspects historiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.1 La naissance et l"

ˆage d"or de la LSF . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.2 Le congr

`es de Milan et ses cons´equences . . . . . . . . . . . . . . . . . . . . . . 8

2.1.3 La LSF aujourd"hui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Quelques d

´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.1 Langue des Signes Franc¸aise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.2 Dactylologie ou alphabet manuel . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.3 Langage Parl

´e Compl´et´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.2.4 Franc¸ais sign

´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3 Une organisation diff

´erente des langues vocales . . . . . . . . . . . . . . . . . . . . . . . 11

2.3.1 Param

`etres impliqu´es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3.2 Une organisation dans le temps et l"espace . . . . . . . . . . . . . . . . . . . . . 13

2.3.3 L"iconicit

´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.4 Cons

´equences pour un traitement automatique de la LSF . . . . . . . . . . . . . . 17 viiiCHAPITRE 3 : LA NOTATION DU SIGNE. . . . . . . . . . . . . . . . . . . . . . . . . . .19

3.1 Qu"est ce qu"un signe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.1.1 R

´eponse de la linguistique g´en´erale . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.1.2 R

´eponse sp´ecifique aux langues des signes . . . . . . . . . . . . . . . . . . . . . 23

3.1.3 Pertinence de la notion de signe . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.1.4 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.2 La description des signes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.2.1 Approches explicites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.2.2 Notations symboliques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.2.3 Approches param

´etriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.2.4 Approches temporelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.2.5 Description unisegmentale des signes . . . . . . . . . . . . . . . . . . . . . . . . 31

3.2.6 Autres approches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.2.7 Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.2.8 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

II´Etat de l"art sur le traitement automatique des Langues des Signes 37 CHAPITRE 4 : DIFF´ERENTESM´ETHODESD"ACQUISITIOND"UNEPRODUCTIONEN LANGUE DES SIGNES. . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

4.1 Diff

´erents syst`emes d"acquisition du mouvement . . . . . . . . . . . . . . . . . . . . . . 39

4.1.1 Dispositifs electro-m

´ecaniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

4.1.2 Dispositifs magn

´etiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.1.3 Dispositifs de capture intertiels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.1.4 Dispositifs optique avec marqueurs . . . . . . . . . . . . . . . . . . . . . . . . . 42

4.1.5 Dispositifs optique sans marqueurs . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.1.6 Synth

`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.2 Reconstruction monoculaire de la posture . . . . . . . . . . . . . . . . . . . . . . . . . . 45

4.2.1 Type de vid

´eo trait´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.2.2 Hypoth

`eses simplificatrices pour nos vid´eo en LSF . . . . . . . . . . . . . . . . . 47

4.2.3 Difficult

´es propres aux vid´eos en Langue des Signes . . . . . . . . . . . . . . . . 48

4.2.4 M

´ethodes g´en´eriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

4.2.5 Comparaison des m

´ethodes de reconstruction mono-vue de la posture . . . . . . . 49

4.2.6 Pr

´etraitements de la vid´eo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

4.2.7 Mod

´elisation de l"apparence du corps humain . . . . . . . . . . . . . . . . . . . . 53

4.2.8 Mod

´elisation de la dynamique du corps humain . . . . . . . . . . . . . . . . . . . 60

4.2.9 De l"observation

`a la reconstruction : obtention de la posture du signeur . . . . . . 64

4.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

CHAPITRE 5 : M

´ETHODES DE TRAITEMENT AUTOMATIQUE DES LANGUES DES SIGNES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69

5.1 Approche traditionnelle du traitement automatique de la parole . . . . . . . . . . . . . . . 69

5.1.1 Probl

`eme de repr´esentation du signal sonore . . . . . . . . . . . . . . . . . . . . . 70

5.1.2 Dynamic Time Warping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.1.3 Les Mod

`eles de Markov Cach´es . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.1.4 Les r

´eseaux neuronaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5.2 Difficult

´e d"application des m´ethodes traditionnelles de TAL au TALS . . . . . . . . . . . 73

5.2.1 Des donn

´ees d"entr´ees h´et´erog`enes . . . . . . . . . . . . . . . . . . . . . . . . . 73

5.2.2 Difficult

´es dues`a la variabilit´e des signes . . . . . . . . . . . . . . . . . . . . . . 74

5.2.3 Difficult

´es dues`a l"iconicit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

5.2.4 Difficult

´es dues`a la grammaire spatiale . . . . . . . . . . . . . . . . . . . . . . . 75

5.3 Probl

`eme de repr´esentation du signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

5.3.1 Compression du vecteur d"entr

´ee . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

5.3.2 Transformation des coordonn

´ees . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

5.3.3 Solution composite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

5.4 R ´eseau neuronaux pour la reconnaissance de signes . . . . . . . . . . . . . . . . . . . . . 79

5.5 DTW pour la reconnaissance de signes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

5.6 Les Mod

`eles de Markov pour la reconnaissance de signes . . . . . . . . . . . . . . . . . . 80

5.6.1 La mod

´elisation des gest`emes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

5.6.2 Les Mod

`eles de Markov Cach´es et leurs variantes . . . . . . . . . . . . . . . . . . 81

5.6.3 Mod

´elisation des transitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

5.6.4 Prise en compte de la variabilit

´e . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

5.7 Mod

´elisations alternatives des signes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

5.7.1 Caract

´erisation des ch´er`emes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

5.7.2 S

´eparation de la reconnaissance et de la segmentation . . . . . . . . . . . . . . . . 87

5.8 De la reconnaissance de signes isol

´es`a la reconnaissance en continu . . . . . . . . . . . . 88

5.9 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

III Unmod`eleparam´etriqueauservicedutraitementautomatiquedesLangues des Signes93 CHAPITRE 6 : SUIVI D"UN SIGNEUR DANS UNE VID´EO MONO-VUE. . . . . . . . . .95

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

6.2 Caract

´erisation des postures d"un´enonc´e en LS . . . . . . . . . . . . . . . . . . . . . . . 95

6.2.1 Corpus utilis

´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

6.2.2 Rotation du buste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

6.2.3 Rotation de la t

ˆete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 x

6.2.4 Positions des coudes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

6.2.5 Positions des mains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

6.2.6 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6.3 Structure de l"algorithme de suivi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

6.4 D

´etection de la peau et du fond . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.4.1 Une approche bayesienne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.4.2 Sch

´ema d´etermination de la couleur de peau et de fond . . . . . . . . . . . . . . . 111

6.5 Suivi des diff

´erents membres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.5.1 Retour sur l"

´etat de l"art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.5.2 Mod

`ele d"apparence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

6.5.3 Mise en place d"un filtrage particulaire partitionn

´e . . . . . . . . . . . . . . . . . 117

6.6 D

´esambigu¨ısation des mains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

6.6.1 Utilisation de la position relative des mains . . . . . . . . . . . . . . . . . . . . . 119

6.6.2 Utilisation de la distance main coude . . . . . . . . . . . . . . . . . . . . . . . . 121

6.6.3 Utilisation de la continuit

´e du mouvement . . . . . . . . . . . . . . . . . . . . . . 121

6.6.4 Fusion des mesures de probabilit

´e . . . . . . . . . . . . . . . . . . . . . . . . . . 122

6.7 Correction de la position des coudes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

6.8 Correction de l"estimation de la profondeur des mains du signeur . . . . . . . . . . . . . . 123

6.9 Vers un param

´etrage automatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.10

´Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1256.10.1 Rapidit´e du suivi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

6.10.2 Efficacit

´e de la d´esambigu¨ısation des mains . . . . . . . . . . . . . . . . . . . . . 125

6.10.3 Robustesse du suivi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

6.10.4 Pr

´ecision du suivi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

6.10.5 Pr

´ecision de l"estimation de la profondeur . . . . . . . . . . . . . . . . . . . . . . 131

6.11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

CHAPITRE 7 : MODELE PARAMETRIQUE DE SIGNE POUR L"ANALYSE DE VID

´EOS 135

7.1 Retour sur les syst

`emes de reconnaissance de la LSF . . . . . . . . . . . . . . . . . . . . 135

7.2 Cat

´egories de signes en LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

7.3 Mod

´elisation de la variabilit´e dans l"ex´ecution des mouvements . . . . . . . . . . . . . . 138

7.3.1 Mod

´elisation des mouvements balistiques . . . . . . . . . . . . . . . . . . . . . . 140

7.3.2 Mod

´elisation des mouvements balistiques r´ep´et´es . . . . . . . . . . . . . . . . . . 145

7.3.3 Mod

´elisation d"autres mouvements . . . . . . . . . . . . . . . . . . . . . . . . . 148

7.4 Utilisation des patrons de mouvements pour la cat

´egorisation de mouvements . . . . . . . 149

7.4.1 Patrons g

´eom´etriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

7.4.2 Patrons dynamiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.5 Relations main droite/ main gauche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

7.5.1 Appartenance

`a un type de sym´etrie . . . . . . . . . . . . . . . . . . . . . . . . . 154 xi

7.5.2 Notion d"angle de sym

´etrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

7.6 Mise en oeuvre des patrons de signe : Comparaison de deux signes . . . . . . . . . . . . . 160

7.6.1 Cat

´egorisation des signes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

7.6.2 Caract

´erisation des signes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

7.6.3 Mesure de similarit

´e entre deux signes . . . . . . . . . . . . . . . . . . . . . . . . 164

7.7 Syst

`eme de requˆete vid´eo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

7.7.1 ´Etapes de la recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.7.2quotesdbs_dbs50.pdfusesText_50

[PDF] Traitement automatique de vidéos en LSF Modélisation et