[PDF] Suivi dobjets dintérêt dans une séquence d`images: des points

View - Download Suivi dobjets dintérêt dans une séquence d`images: des points

Previous PDF

Next PDF

Université de Nice - Sophia Antipolis

ÉCOLE DOCTORALESTIC

Sciences et Technologies de l"Information et de la Communication

THÈSE

pour obtenir le titre de

Docteur en Sciences

de l"Université de Nice - Sophia Antipolis Mention : Automatique, Traitement du Signal et des Images présentée et soutenue par

Vincent GARCIA

Équipe d"accueil : CReATIVe - Laboratoire I3SSUIVI D"OBJETS D"INTÉRÊT DANS UNE SÉQUENCE D"IMAGES:DES POINTS SAILLANTS AUX MESURES STATISTIQUESThèse dirigée par Michel BARLAUDet par Éric DEBREUVE

Soutenue publiquement le 11 décembre 2008 devant le jury composé de Jenny BENOIS-PINEAUProfesseur des Universités (Bordeaux) Présidente Renaud KERIVENProfesseur des Universités (Paris) Rapporteur Frank NIELSENProfesseur à l"École Polytechnique (Paris) Rapporteur Luc ROBERTCTO à Autodesk RealViz (Sophia Antipolis) Examinateur Michel BARLAUDProfesseur des Universités (Nice - Sophia Antipolis) Directeur de thèse Éric DEBREUVEChargé de recherche CNRS Directeur de thèse ii

À ma mère bien trop tôt disparue

iv "With great power comes great responsibility."

Ben PARKER

vi

TABLE DES MATIÈRESRemerciements xiii

1 Introduction 1

1.1 Contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

I Suivi d"objets dans une vidéo fondé sur les points saillants 7

2 État de l"art des méthodes de suivi d"objets 9

2.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Représentation et détection des objets . . . . . . . . . . . . . 10

2.3 Suivi de points . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4 Suivi de silhouettes . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5 Suivi de noyaux . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3 Description locale 17

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.2 Points et régions d"intérêt . . . . . . . . . . . . . . . . . . . . 18

3.2.1 Saillance visuelle . . . . . . . . . . . . . . . . . . . . . 18

3.2.2 Moravec . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.2.3 Harris et Stephens . . . . . . . . . . . . . . . . . . . . 21

3.2.4 Lindeberg, LoG . . . . . . . . . . . . . . . . . . . . . . 24

3.2.5 Harris-Laplace . . . . . . . . . . . . . . . . . . . . . . 25

3.3 Vecteurs de description . . . . . . . . . . . . . . . . . . . . . . 27

3.3.1 Voisinage de pixels . . . . . . . . . . . . . . . . . . . . 29

3.3.2 Distribution . . . . . . . . . . . . . . . . . . . . . . . . 30

3.3.3 SIFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.4 Mesures de similarité . . . . . . . . . . . . . . . . . . . . . . . 33

3.4.1 Corrélation . . . . . . . . . . . . . . . . . . . . . . . . 34

3.4.2 Distances . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

vii viii Table des matières

4 Suivi d"après les trajectoires de points d"intérêt 39

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

4.2 Mouvement global entre deux images . . . . . . . . . . . . . 40

4.2.1 Appariement de points d"intérêt . . . . . . . . . . . . 40

4.2.2 Estimation du mouvement . . . . . . . . . . . . . . . 42

4.2.3 Résultats sur la séquence Carmap . . . . . . . . . . . 45

4.2.4 Résultats sur la séquence Arménie . . . . . . . . . . . 48

4.3 Mouvement global sur un GOP . . . . . . . . . . . . . . . . . 49

4.3.1 Construction et sélection des trajectoires . . . . . . . 50

4.3.2 Estimation du mouvement . . . . . . . . . . . . . . . 52

4.3.3 Résultats sur la séquence Carmap . . . . . . . . . . . 53

4.3.4 Résultats sur la séquence Arménie . . . . . . . . . . . 53

4.4 Estimation d"un mouvement local sur un GOP glissant . . . 54

4.4.1 Pondération spatio-temporelle . . . . . . . . . . . . . 58

4.4.2 Résultats sur la séquence Carmap . . . . . . . . . . . 63

4.4.3 Résultats sur la séquence Arménie . . . . . . . . . . . 65

4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

5 Suivi de la couronne de l"objet 69

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

5.2 Approche classique . . . . . . . . . . . . . . . . . . . . . . . . 70

5.3 Masquage partiel du fond . . . . . . . . . . . . . . . . . . . . 73

5.4 Estimation du mouvement . . . . . . . . . . . . . . . . . . . . 77

5.5 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

II Suivi d"objets dans une vidéo fondé sur des mesures statis- tiques 95

6 Suivi d"objets fondé sur des mesures statistiques 97

6.1 Vers des mesures statistiques pour le suivi . . . . . . . . . . . 97

6.2 Descripteur : couleur + géométrie . . . . . . . . . . . . . . . . 98

6.3 Mesure de similarité : divergence de Kullback-Leibler . . . . 100

6.3.1 Similarité entre distributions . . . . . . . . . . . . . . 100

6.3.2 Définition . . . . . . . . . . . . . . . . . . . . . . . . . 100

6.3.3 Approximation deDKLpar la méthode des kPPV . . 101

6.4 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

6.5 Un frein : le coût calcul . . . . . . . . . . . . . . . . . . . . . . 102

7 Recherche des k plus proches voisins 103

7.1 Problème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

7.2 Méthodes de recherche des kPPV . . . . . . . . . . . . . . . . 104

7.2.1 Approche exhaustive . . . . . . . . . . . . . . . . . . . 104

Table des matières ix

7.2.2 Partitionnement de l"espace . . . . . . . . . . . . . . . 105

7.2.3 Locality sensitive hashing . . . . . . . . . . . . . . . . 106

7.3 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

8 Implémentation GPU 111

8.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

8.2 NVIDIA CUDA . . . . . . . . . . . . . . . . . . . . . . . . . . 112

8.2.1 Généralités sur l"API . . . . . . . . . . . . . . . . . . . 112

8.2.2 Vocabulaire . . . . . . . . . . . . . . . . . . . . . . . . 113

8.2.3 Programmation sur GPU . . . . . . . . . . . . . . . . 115

8.2.4 Mémoires . . . . . . . . . . . . . . . . . . . . . . . . . 117

8.2.4.1 Mémoire globale . . . . . . . . . . . . . . . . 117

8.2.4.2 Mémoire partagée . . . . . . . . . . . . . . . 118

8.2.4.3 Mémoire texture . . . . . . . . . . . . . . . . 119

8.3 Recherche des kPPV en CUDA . . . . . . . . . . . . . . . . . 120

8.3.1 Calcul des distances . . . . . . . . . . . . . . . . . . . 120

8.3.2 Tri des distances . . . . . . . . . . . . . . . . . . . . . 122

8.4 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

9 Expérimentations et application au suivi d"objets 127

9.1 Résultats sur données synthétiques . . . . . . . . . . . . . . . 127

9.1.1 Contexte théorique . . . . . . . . . . . . . . . . . . . . 127

9.1.2 Spécifications techniques . . . . . . . . . . . . . . . . 128

9.1.3 Temps de calcul . . . . . . . . . . . . . . . . . . . . . . 128

9.1.3.1 Tableau général . . . . . . . . . . . . . . . . 128

9.1.3.2 Influence de la dimension . . . . . . . . . . 130

9.1.3.3 Influence du nombre de points . . . . . . . . 130

9.1.3.4 Influence du paramètrek. . . . . . . . . . . 132

9.1.4 Répartition du temps de calcul . . . . . . . . . . . . . 132

9.1.4.1 Influence de l"implémentation . . . . . . . . 135

9.1.4.2 Influence de la dimension . . . . . . . . . . 135

9.1.4.3 Influence du nombre de points . . . . . . . . 136

9.1.4.4 Influence du paramètrek. . . . . . . . . . . 136

9.2 Application au suivi d"objets . . . . . . . . . . . . . . . . . . 137

9.2.1 Suivi d"objets . . . . . . . . . . . . . . . . . . . . . . . 137

9.2.2 Composantes testées . . . . . . . . . . . . . . . . . . . 138

9.2.3 Expérimentations sur la séquence Crew . . . . . . . . 140

9.2.3.1 Vidéo et réglages . . . . . . . . . . . . . . . . 140

9.2.3.2 Résultats qualitatifs . . . . . . . . . . . . . . 140

9.2.3.3 GPU . . . . . . . . . . . . . . . . . . . . . . . 147

9.2.4 Expérimentations sur la séquence Poltergay . . . . . 147

9.2.4.1 Vidéo et réglages . . . . . . . . . . . . . . . . 147

9.2.4.2 Séquence Poltergay . . . . . . . . . . . . . . 148

9.2.4.3 GPU . . . . . . . . . . . . . . . . . . . . . . . 149

x Table des matières

9.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

10 CUBLAS 157

10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

10.2 Recherche des kPPV en CUBLAS . . . . . . . . . . . . . . . . 158

10.3 Experimentations . . . . . . . . . . . . . . . . . . . . . . . . . 160

10.3.1 Influence de la dimension . . . . . . . . . . . . . . . . 160

10.3.2 Influence du nombre de points . . . . . . . . . . . . . 161

10.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

III Conclusion générale et perspectives 165

11 Conclusion générale 167

11.1 Suivi d"après les trajectoires de points d"intérêt . . . . . . . . 167

11.1.1 Bilan des travaux présentés . . . . . . . . . . . . . . . 167

11.1.2 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . 168

11.2 Suivi de la couronne de l"objet . . . . . . . . . . . . . . . . . . 168

11.2.1 Bilan des travaux présentés . . . . . . . . . . . . . . . 168

11.2.2 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . 169

11.3 Suivi d"objets fondé sur des mesures statistiques . . . . . . . 170

11.3.1 Bilan des travaux présentés . . . . . . . . . . . . . . . 170

11.3.2 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . 170

IV Annexes 173

A Estimation de l"entropie 175

A.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 A.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 A.2.1 Histogramme . . . . . . . . . . . . . . . . . . . . . . . 176 A.2.2 Méthode à noyau . . . . . . . . . . . . . . . . . . . . . 177 A.2.3 k-ème plus proche voisin . . . . . . . . . . . . . . . . 178 A.3 Influence du nombre d"échantillons . . . . . . . . . . . . . . 180 B Influence du critère d"estimation de mouvement 183

C Code source CUDA 189

D La post-production cinématographique 191

D.1 Cinématographie et production . . . . . . . . . . . . . . . . . 191 D.2 Post-production visuelle . . . . . . . . . . . . . . . . . . . . . 192 D.2.1 Matchmoving . . . . . . . . . . . . . . . . . . . . . . . 193 D.2.2 Rotoscopie . . . . . . . . . . . . . . . . . . . . . . . . . 194 D.2.3 Création et animation d"objets 3D . . . . . . . . . . . 195

Table des matières xi

D.2.4 Compositing . . . . . . . . . . . . . . . . . . . . . . . 199

E NVIDIA CUDA Zone 201

Liste des figures 206

Liste des tableaux 207

Bibliographie 221

Résumé 222

REMERCIEMENTSEn premier lieu, je tiens à remercier les personnes qui m"ont fait l"hon- neur de participer à mon jury. Je remercie messieurs Renaud Keriven et Frank Nielsen pour le soin qu"ils ont porté à la lecture du manuscrit y ap- portant chacun un éclairage différent. Je remercie madame Jenny Benois- Pineau pour m"avoir fait l"honneur de présider ce jury. Je remercie mon- sieur Luc Robert pour avoir accepté de faire partie du jury et pour m"avoir accueilli au sein de la société RealViz pendant les trois premières années de ma thèse. Je tiens également à remercier Messieurs Jean-Marc Fédou et Luc Pron- zato, directeurs successifs du Laboratoire I3S de Sophia Antipolis, pour m"avoir accueilli au sein de leur laboratoire. Je souhaite exprimer ma reconnaissance aux personnes qui m"ont di- rigé au cours des ces années de thèse. Je remercie monsieur Michel Barlaud pour la qualité de son encadrement. Il m"a guidé sur le chemin de la thèse et j"ai pu bénéficier de ses conseils judicieux et de sa vision d"ensemble du domaine. Je remercie monsieur Éric Debreuve pour sa patience, ses conseils avisés, sa rigueur scientifique, et pour tout ce qu"il m"a appris. Je n"aurais son aide, même si mes connaissances actuelles dans ce domaine sont à des années lumière des siennes;-) Je remercie Ronald Mallet, ingénieur de recherche à ILM

1, qui m"a en-

normément aidé à intégrer mes algorithmes au sein du logiciel Matchmo- ver. Au-delà de son aide, Ronald est devenu un ami avec qui j"ai passé de longues heures à discuter de cinéma, de sciences, deTranformers, deSpider- man, deHulk, d"Iron man,etc.

Je remercie Micheline Hagnéré pour toute l"aide qu"elle m"a offerte pen-1. " Dans la vie, il y a ceux qui ont un pistolet chargé et ceux qui creusent. » Ronald ne

creuse pas, il a travaillé surTransformers. Classe non? xiii xiv Remerciements raisons. Je remercie ma famille pour m"avoir soutenu avant et tout au long de la thèse. Je remercie mes parents (Agnès et Rémy), mes nombreux frères et Marie et Louisette. Je remercie Céline (Ba)Nania pour m"avoir soutenu et supporté pendant ces longues années. Ces quatre années de thèse n"auraient pas été les mêmes sans les docto- rants, les stagiaires et les permanents de l"équipe CReATIVe et plus géné- ralement du laboratoire. Les pauses café / thé ont réellement contribué à la bonne ambiance générale du laboratoire et, à titre personnel, m"ont aidé à faire face aux difficultés de la thèse. Ainsi, je remercie Leonardo

2, Marie-

Andrée (alias Mago), Changy, V., G., Thomas, Muriel

3, les ritals (Marco,

Vincenzo, Paolo, Sylvia

4), Éric (alias Ewol), les Freds (Payan & Précioso5),

Marie (alias Moger), Sandrine, Yasmine, Anis, Aymen, Akram, Sami, Fran- çois, Wali, et Elena. Je remercie Marie, Lionel, André, Ronald, Laure, Cé- dric, Laurent, Benoît, Stéphane, David, Aline, Ariane, ainsi que tous ceux que j"ai oubliés. Je finis cette section en remerciant le Docteur Sylvain Boltz, également connu sous le pseudonyme de Lasyl. Sylvain a été mon co-bureau tout au long de la thèse. Il m"a supporté et m"a initié aux joies du FPS;-). Sylvain m"a tout appris par ses connaissances avancées dans les domaines du de- sign, de la photographie, des techniques de survie (e.g. Comment prendre une douche quand on a pas de serviette?), des sports extrêmes, et de la vie en gé- néral. Sylvain m"a accompagné lors de nombreux voyages (Graz, Boston, Santorini, etc.) et m"a également enseigné son art :Comment manger et boire le plus possible sans se faire remarquer à un buffet qui ne nous est pas réservé. Comme dirait un brésilien cher à notre coeur "Mex, t"es un mec bien!».2. Beleza?

3. Girl power

4. Linus Torvalds spiritual daughter

5. J"ai compris mais j"rigole pas...

- CHAPITRE1-INTRODUCTION§ 1.1CONTEXTE Le traitement d"images désigne une discipline des mathématiques ap- pliquées qui étudie les images numériques et leur transformation dans le but d"améliorer leur qualité, de réduire leur coût de stockage ou d"en ex- traire une information sémantique et pertinente. Une image peut tout à fait être traitée comme un signal bidimensionnel dans le cas d"images en ni- veaux de gris, et comme un signal tridimensionnel dans le cas d"images couleur. C"est pourquoi le traitement d"images est souvent défini comme étant un sous-ensemble du traitement du signal. Les premiers travaux sur numériques. Puis, d"autres problèmes sont apparus tels que la détection de primitives (détection de contours [Can86, Der87] et de points d"inté- rêt [Mor77, HS88, SB97, MS04]) particulièrement utilisées en vision par or- dinateur,l"imageriemédicale[MdSR +07,PKPB07,PVDK08,CAI+08,CPMG+08, KCF +06], l"imagerie satellitaire [RJZ03, RJZ06] (voir figure 1.1), ou encore la post-production cinématographique. L"extension naturelle du traitement d"images est le traitement de vidéos, une vidéo étant simplement un en- semble ou une collection d"images. Depuis les années 1990, le traitement numériques, les téléphones portables, les télévisions numériques haute dé- finition, les webcams, les lecteurs vidéo, etc. Les algorithmes de traitement d"images et de vision par ordinateurs se classent en trois catégories : algorithmes de bas niveau, de niveau inter- médiaire, et de haut niveau. Les algorithmes de bas niveau réalisent des opérations basiques sur les pixels (e.g.plusieurs pixels se déplacent dans une image). Les algorithmes de niveau intermédiaire incluent des calculs de plus haut niveau tel que le groupement de pixels (e.g.un ensemble de 1

2 Chapitre 1. Introduction

pixels de même couleur se déplace selon un mouvement affine unique). Enfin, les algorithmes de haut niveau permettent de donner une informa- tion sémantique en analysant une image ou une vidéo (e.g.un véhicule est en mouvement). Dans cette thèse, nous étudions et proposons des algo- rithmes de bas niveau et de niveau intermédiaire. Les informations de haut niveau requises pour la mise en place de ces algorithmes (e.g.initialisation de la position d"un objet d"intérêt) sont en effet définies par un opérateur humain. une vidéo. Dans notre cas, cela consiste à localiser un objet d"intérêt en chaque image d"une vidéo donnée d"après une position initiale déterminée manuellement sur la première image de cette même vidéo. Les applications du suivi d"objets sont nombreuses : vidéo surveillance (analyse du trafic routier ou du mouvement d"une foule), compression vidéo,inpainting,com- positing, préservation d"anonymat (voir figure 1.2), etc. En post-production cinématographique, le suivi d"objets est souvent appelérotoscopieen mé- moire du nom des premiers appareils permettant de suivre manuellement un objet en mouvement dans une vidéo (voir annexe D.2.2). La rotoscopie est l"une des techniques les plus utilisées pour les effets spéciaux et l"une des plus chères car elle est encore souvent effectuée image par image.

§ 1.2CONTRIBUTIONS

Les principales contributions de cette thèse sont premièrement la pro- position de nouvelles méthodes de suivi d"objets fondées sur l"utilisation de points saillants et/ou de mesures statistiques, et deuxièmement l"implé- mentation d"une méthode rapide d"estimation de mesures statistiques via la programmation GPU. GDB07b, GDB07c] est fondée sur l"analyse de trajectoires de points d"inté- rêt. Un point d"intérêt est un point ayant un voisinage riche d"informations ce qui lui permet d"être détecté de manière précise et fiable dans une image ou un ensemble d"images (e.g.coins, jonctions, fins de ligne, etc. [Mor77, HS88, SB97, MS04]). Il est ainsi relativement simple de construire une tra- jectoire temporelle d"un point d"intérêt dans une vidéo. Pour cette mé- thode de suivi, notre contribution porte principalement sur l"analyse de trajectoires et l"utilisation de groupes d"images pour l"estimation robuste du mouvement d"un objet déterminé. La méthode proposée permet ainsi de suivre précisément un objet tout en gérant les occultations partielles et les déformations locales dudit objet. La seconde méthode de suivi d"objets proposée [GBDB07] repose sur le

1.2. Contributions 3

(a) Compression d"images(b) Imagerie satellitaire (c) Imagerie spatiale(d) Imagerie médicale FIGURE1.1 -Traitement d"images et applications. La figure (a) illustre l"image Lena célèbre dans la communauté de traitement d"images car cette image a été utilisée à de très nombreuses reprises pour diverses applications telles que la dé- tection de contours et la compression d"images. La figure (b) illustre la lisière du Rub"al-Khali (EAU / Oman) prise par le satellite SPOT 4 développé par le CNES. La figure (c) montre la constellation d"Orion où de jeunes étoiles sont en train de naître. Cette image a été prise par la NASA. Enfin, la figure (d) montre un exemple d"IRM (Imagerie par Résonance Magnétique) de cerveau humain particulièrement utilisée pour des applications médicales.

4 Chapitre 1. Introduction

FIGURE1.2 -Application du suivi d"objets à la préservation de l"anonymat dans une vidéo. Le visage de chaque personne à protéger est détouré manuellement sur la première image de la vidéo, puis ce visage est suivi sur les images suivantes.

Photographie prise par Jean-Marc Luneau.

suivi de la couronne de l"objet. Cette couronne est une bande de quelques pixels de large située sur le bord de l"objet d"intérêt. De par sa position, cette couronne contient des informations sur l"objet, des informations de contour, mais également des informations relatives au fond de l"image. l"estimation du mouvement de l"objet. Cette méthode permet de suivre pré- cisément des objets texturés ou des objets complètement uniformes. La se- conde contribution porte sur l"utilisation de l"entropie de Shannon [Sha48, CT91] comme mesure de similarité. Cette mesure permet d"améliorer la ro- bustesse du suivi aux données aberrantes (pixels du fond) et permet une plus grande souplesse dans le choix de la largeur de la couronne. La troisième méthode présentée correspond aux travaux de Boltzet al.[BDB07, Bol08] sur l"utilisation conjointe d"une mesure statistique et de caractéristiques couleur-espace pour le suivi d"objets. Au cours du temps, un objet d"intérêt est susceptible de changer de forme, de taille, de cou- leur, etc. Ces variations peuvent rendre le suivi d"objets inefficace pour des approches locales. En revanche, les propriétés statistiques d"un objet (e.g. distribution des couleurs) varient généralement peu dans le temps. Boltz et al.présentent une méthode de suivi utilisant des composantes couleurs et des composantes géométriques et utilisant la divergence de Kullback-

1.2. Contributions 5

Leibler [KL51, Kul59] comme mesure de similarité. Ces travaux furent pré- cédemment proposés par Elgammalet al.[EDD03]. La contribution des auteurs porte sur l"utilisation de la recherche des k plus proches voisins (kPPV) pour l"estimation de la divergence de Kullback-Leibler en haute dimension. Le suivi proposé est précis et gère les occultations et les défor- mations géométriques. Pour cette méthode, notre contribution porte sur l"implémentation rapide

1[GDB08].

Nous montrons par différentes expérimentations que la programmation GPU peut grandement accélérer la recherche des kPPV en haute dimen- sion. Les améliorations de notre travail se traduisent par une accélération du suivi d"objets, mais également par l"accélération d"autre algorithmes de

traitement d"images (recherche d"images par le contenu).1. GPU :Graphics Processing Unitsignifiantunité de calcul graphique. Type de processeurs

utilisés dans les cartes graphiques et spécialisés dans le calcul parallèle.

6 Chapitre 1. Introduction

PREMIÈRE PARTIESUIVI D"OBJETS DANS UNE VIDÉO FONDÉ

SUR LES POINTS SAILLANTS

7 - CHAPITRE2-ÉTAT DE L"ART DES MÉTHODES DE SUIVI D"OBJETS§ 2.1GÉNÉRALITÉS Le suivi d"objets est un problème fréquemment rencontré dans le do- maine de la vision par ordinateur. L"augmentation constante de la puis- des besoins pour l"analyse de vidéos ont engendré un vif intérêt pour les algorithmes de suivi d"objets. L"analyse de vidéos se compose de 3 étapes : détection d"objets d"intérêt, suivi de ces objets, et analyse du mouvement de ces objets pour en déduire un comportement. Ainsi, le suivi d"objets per- met de réaliser les tâches suivantes : - Reconnaissance d"objets (ou de personnes) fondée sur l"analyse du mouvement (e.g.démarche d"une personne, analyse de trafic routier en temps réel) - Surveillance automatique pour reconnaitre des activités suspectes ou inhabituelles (e.g.vidéo-surveillance [CBPG03, CBP05]) - Indexation de vidéo : annotation automatique et recherche de vidéos dans une base de données multimédia - Interface homme-machine par l"analyse de posture ou le suivi du re- gard - Navigation de véhicule : calcul de trajectoires et évitement d"obs- tacles De manière très simple, le suivi d"objets peut se concevoir comme le pro- blème d"estimation de la trajectoire d"un ou plusieurs objets dans le plan image. La difficulté du suivi d"objets dépend de plusieurs facteurs relatifs aux données ou à l"application : 9

10 Chapitre 2. État de l"art des méthodes de suivi d"objets

- Perte d"informations causée par la projection d"un monde 3D sur une image 2D - Présence de bruit dans les images - Mouvements complexes - Objets non rigides et/ou articulés - Occultations partielles ou totales - Objets de forme complexe - Variation de l"illumination de la scène et des objets - Nécessité d"un suivi en temps réel De nombreuses approches de suivi d"objets ont été proposées. Outre l"al- gorithme lui-même, la différence entre ces méthodes réside en partie dans le choix de la représentation et de la forme des objets, des caractéristiques (composantes) de l"image utilisées, de la nature du mouvement estimé, etc. Ce choix dépend de l"application ainsi que de la vidéo traitée. Yilmazet al.réalisent dans [YJS06] une étude des méthodes traitant du problème du suivi d"objets. Les auteurs y établissent une classification des méthodes de suivi dont les catégories sont :

1. Suivi de points

2. Suivi de silhouettes

3. Suivi de noyaux

§ 2.2REPRÉSENTATION ET DÉTECTION DES OBJETS La représentation des objets fait partie intégrante du processus de suivi. un ensemble de points [SKMG04]. Cette représentation est adaptée aux ob- jets occupant une petite partie de l"image. Un objet peut également être représenté par une forme simple telle qu"un rectangle, une ellipse, etc. [CRM03]. Cette représentation est adaptée au suivi d"objets rigides (e.g.véhicules) mais peut également convenir pour des objets non rigides. Un contour (ou une silhouette) peut permettre de représenter un objet. Cette représentation est adaptée au suivi d"objets non rigides ayant une forme complexe [YLS04]. Enfin, la représentation d"un objet par un squelette [AA01] ou par un mo- dèle articulé (régions jointes par des articulations) est très adaptée au suivi d"objets articulés (e.g.suivi de personnes). La première étape lors du processus de suivi d"objets consiste en la dé- tection des objets à suivre. Cette détection peut intervenir au début de la vidéo ou à tout moment si des objets peuvent potentiellement entrer dans

2.3. Suivi de points 11

le champ de la caméra. La méthode la plus simple pour cette détection est la mise à contribution d"un opérateur humain. Cet opérateur se charge de localiser le ou les objets à suivre. La méthode de soustraction du fond calcule la différence entre deux images consécutives [JN79, WADP97] laissant apparaître les objets en mouvement. La détection d"objets peut également être réalisée en détectant les points d"intérêt de l"image [Mor77, HS88, SMB00]. Cette méthode est cependant peu adaptée si le fond de la vidéo est texturé. Dans un tel cas, il est pro- bable que de nombreux points d"intérêt soient détectés faussant de fait la détection d"objets.

§ 2.3SUIVI DE POINTS

Le problème du suivi d"objets peut être formulé comme un problème de mise en correspondance de points. La détection de points peut cependant être gênée par plusieurs facteurs tels que la présence de bruit dans les images, les occultations partielles ou totales, les erreurs de détection de points, etc. Sethi et Jain [SJ87] résolvent le problème de mise en correspondance en utilisant une approchegloutonne(de l"anglaisgreedy) fondée sur l"ajout de contraintes de proximité et de rigidité des objets. Les appariements de points de deux images voisines, initialisés par une recherche des plus pro- ches voisins, sont échangés en minimisant une fonctionnelle. Cette mé- thode ne permet pas de prendre en compte les occultations. Suite aux travaux de Sethi et Jain [SJ87], Veenmanet al.[VRB01] intro- duisent une contrainte de mouvement dans leur méthode de mise en cor- respondance. Cette contrainte est parfaitement adaptée au suivi de points contrainte n"est pas adaptée si les points appartiennent à différents objets dont le mouvement est différent. Le suivi est dans un premier temps réalisé sans contrainte sur les deux premières images de la vidéo. La contrainte de mouvement est utilisée dès la troisième image. Cette approche permet de gérer les occultations et les erreurs de détection de points. Schmidet al.[Sch96, SM97, SMB98] introduisent une contrainte géomé- trique au processus d"appariement de points. Deux points voisins doivent être appariés à deux points également voisins dans l"image suivante. Les appariements ne respectant pas cette contrainte sont simplement ignorés pour la suite du processus. Cette contrainte géométrique a pour but de diminuer le nombre d"appariements incorrects. L"inconvénient majeur de

12 Chapitre 2. État de l"art des méthodes de suivi d"objets

cette méthode est le fait que des appariements corrects sont également éli- minés. Trichet et Merialdo [TM07] ajoutent une contrainte géométrique (triangu- lation de Delaunay) au processus d"appariement. Les auteurs réalisent la détection des points dans le voisinage des objets détectés à l"image pré- cédente. La triangulation de Delaunay de chaque ensemble de points doit être respectée entre deux images consécutives. Cette approche permet de diminuer le nombre d"appariements incorrects de points. Cependant, la contrainte étant plus forte que pour les travaux de Schmidet al., un grand nombre d"appariements corrects sont éliminés.

§ 2.4SUIVI DE SILHOUETTES

La représentation d"un objet par une forme simple telle qu"un rectangle ou une ellipse peut être mal adaptée si l"objet en question est de forme très complexe (e.g.main, corps humain, animal, arbre, etc.). La représentation d"un tel objet par une silhouette permet de tenir compte précisément de la forme de l"objet. Le but des méthodes de suivi fondées sur l"utilisation de silhouettes est d"estimer la silhouette des objets d"intérêt pour chaque image de la vidéo. Cette approche est également connue sous le nom de segmentation d"images. La segmentation d"images est une opération dequotesdbs_dbs45.pdfusesText_45

[PDF] harris detector

[PDF] détecteur de harris algorithme

[PDF] algorithme de detection de contour d'une image

[PDF] détecteur de harris matlab

[PDF] detection des contours d'une image

[PDF] détecteur sift

[PDF] mise en correspondance de points d intérêt

[PDF] poi garmin camping car

[PDF] garmin poi loader

[PDF] telecharger poi garmin gratuit

[PDF] mise jour radar gps mappy

[PDF] poi loader garmin radar gratuit

[PDF] telecharger aire camping car gps mappy

[PDF] poi garmin radar gratuit

[PDF] livre interpretation des reves en islam gratuit pdf