[PDF] [PDF] Descripteurs dimages pour les systèmes de vision routiers en

View - Download [PDF] Descripteurs dimages pour les systèmes de vision routiers en

Previous PDF

Next PDF

T H E S E

Numérod"ordreEDSPIC:824

École doctorale : Sciences Pour l"Ingénieur

THÈSE

pour obtenir le grade de :

Docteur de l"Université Clermont Auvergne

Spécialité : "Électronique et Systèmes" présentée et soutenue publiquement par

Pierre DUTHON

le 1 er décembre 2017 Descripteurs d"images pour les systèmes de vision routiers en situations atmosphériques dégradées et caractérisation des hydrométéores

Directeur de thèse :Frédéric CHAUSSE

Co-encadrants de thèse :Frédéric BERNARDIN, Michèle COLOMB Jury Evelyne RICHARD,Directrice de Recherche, Laboratoire d"Aérologie, Toulouse Président du jury

Alice C

APLIER,Professeur, GIPSA-LAB, Saint Martin d"Hères Rapporteur

Nicolas H

AUTIÈRE,Docteur Ingénieur HDR, IFSTTAR, Marne-la-Vallée Rapporteur

Ludovic B

OUILLOUD,Docteur Ingénieur, Météo France, Toulouse Invité

Frédéric C

HAUSSE,Maître de conférence HDR, Institut Pascal, Aubière Directeur de thèse

Frédéric B

ERNARDIN,Docteur Ingénieur, Cerema, Clermont-Ferrand Examinateur

Michèle C

OLOMB,Directrice de Recherche, Cerema, Clermont-Ferrand Examinateur ii

Résumé

Descripteurs d"images pour les systèmes de vision routiers en situations atmosphé- riques dégradées et caractérisation des hydrométéores Les systèmes de vision artificielle sont de plus en plus présents en contexte routier.

Ils sont installés sur l"infrastructure, pour la gestion du trafic, ou placés à l"intérieur du

véhicule, pour proposer des aides à la conduite. Dans les deux cas, les systèmes de vision artificielle visent à augmenter la sécurité et à optimiser les déplacements. Une revue bibliographique retrace les origines et le développement des algorithmes de vision artificielle en contexte routier. Elle permet de démontrer l"importance des descrip- teurs d"images dans la chaîne de traitement des algorithmes. Elle se poursuit par une revue des descripteurs d"images avec une nouvelle approche source de nombreuses analyses, en les considérant en parallèle des applications finales. En conclusion, la revue bibliogra- phique permet de déterminer quels sont les descripteurs d"images les plus représentatifs en contexte routier. Plusieurs bases de données contenant des images et les données météorologiques associées (par exemple, pluie, brouillard) sont ensuite présentées. Ces bases de données sont innovantes car l"acquisition des images et la mesure des conditions météorologiques sont effectuées en même temps et au même endroit. De plus, des capteurs météorolo-

giques calibrés sont utilisés. Chaque base de données contient différentes scènes (par

exemple, cible noir et blanc, piéton) et divers types de conditions météorologiques (par exemple, pluie, brouillard, jour, nuit). Les bases de données contiennent des conditions météorologiques naturelles, reproduites artificiellement et simulées numériquement. Sept descripteurs d"images parmi les plus représentatifs du contexte routier ont en-

suite été sélectionnés et leur robustesse en conditions de pluie évaluée. Les descripteurs

l"inverse, le descripteur de Harris et les descripteurs qui combinent différentes orientations sont robustes pour des intensités de pluie de 0 à 30 mm/h. La robustesse des descripteurs d"images en conditions de pluie diminue lorsque l"intensité de pluie augmente. Finale- ment, les descripteurs les plus sensibles à la pluie peuvent potentiellement être utilisés pour des applications de détection de la pluie par caméra. Le comportement d"un descripteur d"images en conditions météorologiques dégradées

n"est pas forcément relié à celui de la fonction finale associée. Pour cela, deux détecteurs

de piéton ont été évalués en conditions météorologiques dégradées (pluie, brouillard, jour,

nuit). La nuit et le brouillard sont les conditions qui ont l"impact le plus important sur la

détection des piétons. La méthodologie développée et la base de données associée peuvent

être utilisées à nouveau pour évaluer d"autres fonctions finales (par exemple, détection de

véhicule, détection de signalisation verticale). En contexte routier, connaitre les conditions météorologiques locales en temps réel est

essentiel pour répondre aux deux enjeux que sont l"amélioration de la sécurité et l"optimi-

sation des déplacements. Actuellement, le seul moyen de mesurer ces conditions le long

des réseaux est l"installation de stations météorologiques. Ces stations sont coûteuses et

nécessitent une maintenance particulière. Cependant, de nombreuses caméras sont déjà

présentes sur le bord des routes. Une nouvelle méthode de détection des conditions météo-

rologiques utilisant les caméras de surveillance du trafic est donc proposée. Cette méthode iii utilise des descripteurs d"images et un réseau de neurones. Elle répond à un ensemble de

contraintes clairement établies a“n de pouvoir détecter l"ensemble des conditions météo-

rologiques en temps réel, mais aussi de pourvoir proposer plusieurs niveaux d"intensité. La méthode proposée permet de détecter les conditions normales de jour, de nuit, la pluie et le brouillard. Après plusieurs phases d"optimisation, la méthode proposée obtient de MOTS CLÉS: Système de transport intelligent, Système d"aide à la conduite avancé, Vision par ordinateur, Traitement d"images, Analyse d"images, Descripteur d"images, Dé-

tection de piéton, Caméras, Conditions météorologiques dégradées, Pluie, Brouillard,

Détection des conditions météorologiques, Bases de données.

Abstract

Image descriptors for road computer vision systems in adverse weather conditions and hydrometeors caracterisation Computer vision systems are increasingly being used on roads. They can be installed along infrastructure for traf“c monitoring purposes. When mounted in vehicles, they perform driver assistance functions. In both cases, computer vision systems enhance road safety and streamline travel. A literature review starts by retracing the introduction and rollout of computer vision algorithms in road environments, and goes on to demonstrate the importance of image descriptors in the processing chains implemented in such algorithms. It continues with a review of image descriptors from a novel approach, considering them in parallel with “nal applications, which opens up numerous analytical angles. Finally the literature re- view makes it possible to assess which descriptors are the most representative in road environments. Several databases containing images and associated meteorological data (e.g. rain, fog) are then presented. These databases are completely original because image acqui- sition and weather condition measurement are at the same location and the same time. Moreover, calibrated meteorological sensors are used. Each database contains different scenes (e.g. black and white target, pedestrian) and different kind of weather (i.e. rain, fog, daytime, night-time). Databases contain digitally simulated, arti“cial and natural weather conditions. Seven of the most representative image descriptors in road context are then selected and their robustness in rainy conditions is evaluated. Image descriptors based on pixel intensity and those that use vertical edges are sensitive to rainy conditions. Conversely, the Harris feature and features that combine different edge orientations remain robust for rainfall rates ranging in 0 ... 30 mm/h. The robustness of image features in rainy conditions decreases as the rainfall rate increases. Finally, the image descriptors most sensitive to rain have potential for use in a camera-based rain classi“cation application. to the associated “nal function one. Thus, two pedestrian detectors were assessed in degraded weather conditions (rain, fog, daytime, night-time). Night-time and fog are iv the conditions that have the greatest impact on pedestrian detection. The methodology developed and associated database could be reused to assess others “nal functions (e.g. vehicle detection, traf“c sign detection). In road environments, real-time knowledge of local weather conditions is an essential prerequisite for addressing the twin challenges of enhancing road safety and streamlining travel. Currently, the only mean of quantifying weather conditions along a road network requires the installation of meteorological stations. Such stations are costly and must be maintained; however, large numbers of cameras are already installed on the roadside. A new method that uses road traf“c cameras to detect weather conditions has therefore been proposed. This method uses a combination of a neural network and image descriptors applied to image patches. It addresses a clearly de“ned set of constraints relating to the ability to operate in real-time and to classify the full spectrum of meteorological conditions and grades them according to their intensity. The method differentiates between normal daytime, rain, fog and normal night-time weather conditions. After several optimisation steps, the proposed method obtains better results than the ones reported in the literature for comparable algorithms. KEYWORDS: Intelligent transportation systems, Advanced driver assistance system, Machine vision, Image processing, Image analysis, Image feature extraction, Pedestrian detection, Cameras, Adverse weather conditions, Rain, Fog, Weather detection, Databases. v

Remerciements

Tout d"abord, je tiens à remercier chaleureusement les membres du jury pour avoir accepté d"évaluer mon travail, et pour avoir tous consacrés du temps pour cela. Merci à Evelyne Richard, Alice Caplier, Nicolas Hautière et Ludovic Bouilloud. Ce jury est réelle-

ment composé d"experts des différents sujets abordés au cours de ma thèse, j"en suis très

reconnaissant et profondément touché.

de mon parcours de thèse, sans qui je n"aurais jamais été aussi loin. Michèle Colomb, merci

pour avoir partagé ta vision de la recherche qui nécessite une rigueur scientifique dont tu as su me montrer l"exemple. Merci aussi pour m"avoir montré tout le travail souterrain lié au montage de projets. Frédéric Bernardin, merci pour tous nos échanges, formels ou beaucoup moins, toujours dans la bonne humeur mais surtout toujours avec passion. Bien que tu sois capable de prendre une hauteur immense quand il s"agit de concevoir des modèles, tu sais aussi te mettre à la portée de chacun. Merci aussi pour ta bienveillance

au quotidien. Frédéric Chausse, tu es clairement mon directeur de thèse préféré! (Bien

qu"étant le seul.) Merci à toi pour tous ces bons conseils, pour ta franchise et ton efficacité

redoutable. Tu es réellement le roi de la phrase choc, de ces mots qui donne envie de dire "j"achète cet algorithme!". Tu as su trouver un équilibre subtil dans ton encadrement afin de me permettre d"avancer dans mon travail, sans pour autant m"imposer une piste

de recherche particulière. J"ai encore beaucoup à apprendre, à écouter, et je suis sûr

que nos routes continuerons de se croiser. Merci aussi pour m"avoir donné la chance de dispenser quelques travaux pratiques d"informatique, cet exercice fut très enrichissant et j"espère pouvoir le continuer dans le futur. Merci aussi à vous trois pour tout le temps que vous m"avez accordé, pour les nombreuses relectures et corrections, toujours justes et perspicaces. Je tiens aussi particulièrement à remercier l"ensemble de ma direction (Département Laboratoire de Clermont-Ferrand et Direction Territoriale Centre-Est) pour m"avoir offert

cette chance de réaliser une thèse. Merci à Dominique Delouis pour avoir cru à ce projet, à

Alexandre Cuer pour avoir pris le relais et à Roland Cotte pour ces encouragements chaleu- reux lors de la terminaison de celui-ci. Malgré les quelques tourments et interrogations actuels, je suis convaincu que le Cerema est réellement un endroit favorable à ce type de travaux, car il permet à la fois de toucher le domaine de la recherche mais aussi d"obtenir des données de terrain qui sont indispensables pour nourrir ces recherches. Faisons tout notre possible pour que cela continue. Je remercie aussi l"Institut Pascal, en tant que fidèle partenaire du Cerema sur de nombreux projets de recherche, mais aussi pour le financement d"une partie du matériel ayant permis de réaliser cette thèse. Ce sera toujours un plaisir de passer dans vos locaux pour croiser les collègues des Cézeaux. Je n"oublie pas non plus le Labex IMobS3 qui est un puissant moteur pour les collaborations clermontoises. Plus largement, je tiens à saluer l"ensemble des partenaires du Cerema avec lesquels j"ai pu interagir dans le cadre d"autres projets, qui sont toujours à la source d"échanges pertinents et enrichissants. Je tiens sincèrement à remercier l"ensemble des collègues du Département Laboratoire de Clermont-Ferrand. Il est toujours agréable de circuler dans les couloirs (bien que l"on ne fasse pas que cela) car on y croise toujours des sourires. Cela rend le quotidien professionnel bien plus agréable! Merci à tous pour cette bonne ambiance qui ne tient vi

“nalement qu"à chacun. Merci aussi à tous pour persévérer et pour faire vivre de beaux

métiers, malgré un contexte national malheureusement bien dif“cile. Un grand merci

aux collègues les plus proches : les collègues de l"unité et de l"étage, ceux avec qui on

bricole (la recherche c"est aussi cela) et ceux avec qui je mange tous les midis (ou presque!).

Nos échanges sont toujours très agréables : potins, blagues et débats endiablés sont au

rendez-vous. Cela agrémente réellement le quotidien et participe énormément à l"envie de se lever et d"aller travailler. J"en pro“te aussi pour remercier les anciens du laboratoire : qu"ils se soient dirigés vers d"autres horizons ou partis à la retraite. Finalement, j"ai une

pensée toute particulière pour les familles de Thierry et Philippe : ils nous ont quittés bien

trop tôt. Les meilleurs pour la “n, je remercie chaleureusement tous mes amis, ils m"apportent toujours la joie de vivre sans jamais rien exiger en retour. Bien entendu, je remercie aussi ma famille (et ma belle famille!), en particulier mes parents et mon frère, pour leur soutien

inébranlable. Sans eux, je ne serais clairement pas là où j"en suis. Maëva, merci à toi, car

c"est avec toi que je réalise mes plus beaux projets et que je vis mes plus beaux succès, bien au delà des diplômes. vii viii

Table des matières

Table des matièresix

Liste des “guresxiii

Liste des tableauxxvii

1 Introduction1

1.1 Cadre de la thèse................................... 1

1.2 Contexte et enjeux.................................. 3

1.3 Problématique..................................... 5

1.4 Plan du mémoire................................... 6

2 Revue bibliographique des algorithmes de vision arti“cielle en contexte routier9

2.1 Introduction...................................... 10

2.2 Vision artificielle sur la route............................ 12

2.3 Structure des algorithmes de vision artificielle en contexte routier...... 16

2.4 État de l"art sur les descripteurs d"images..................... 19

2.5 Statistique croisée des descripteurs d"images et des applications finales... 25

2.6 Analyse temporelle.................................. 28

2.7 Conclusion....................................... 31

3 Création de bases de données météo-image33

3.1 Introduction...................................... 34

3.2 Les conditions météorologiques dégradées en contexte routier........ 36

3.3 Unframeworkd"acquisition et de gestion des données météo-image.... 43

3.4 Les bases de données mises en place....................... 54

3.5 Conclusion....................................... 62

4 Évaluation de la robustesse des descripteurs d"images en conditions météorolo-

giques dégradées65

4.1 Introduction...................................... 66

4.2 Validation du simulateur de pluie et d"une méthode d"évaluation des descrip- teurs d"images en conditions de pluie....................... 68

4.3 Évaluation des descripteurs d"images en conditions de pluie naturelle... 75

4.4 Évaluation d"une fonction finale en conditions météorologiques dégradées : détection des piétons................................. 87

4.5 Conclusion....................................... 93

ix

TABLE DES MATIÈRES

5 Mesure des conditions météorologiques par caméra97

5.1 Introduction...................................... 98

5.2 Revue bibliographique sur la mesure des conditions météorologiques par caméra......................................... 99

5.3 Algorithme de détection des conditions météorologiques par caméra.... 101

5.4 Méthode d"apprentissage et de test mise en place................ 103

5.5 Résultats........................................ 104

5.6 Conclusion....................................... 110

6 Conclusion113

6.1 Bilan général...................................... 113

6.2 Perspectives...................................... 115

A Algorithmes de vision artificielle du contexte routier identifiés au cours de la re- vue bibliographiqueI B Descripteurs d"images identifiés au cours de la revue bibliographiqueIII B.1 Colorimétrique.................................... III B.2 Filtres.......................................... III B.3 Statistique....................................... V B.4 Transformation intégrale.............................. V B.5 Symétrie........................................ VI C Définition des descripteurs d"images implémentésVII C.1 utilisation directe de l"intensité (Gray)....................... VII C.2 gradient 1D horizontal (GradX)........................... VII C.3 gradient 1D vetical (GradY)............................. VII C.4 Sobel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VIII C.5 Descripteur de Harris. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VIII C.6 histogramme sur l"intensité des pixels - ouhistogram of intensity- (HOI). . VIII C.7Histogram of Oriented Gradient(HOG)...................... IX

D Plateforme R&D Brouillard et PluieXI

D.1 Un environnement contrôlé nécessaire pour des tests à nature métrologiqueXI D.2 La plate-forme d"essais, de recherche et de développement en conditions météorologiques dégradées, une réponse aux besoins............. XII D.3 Principales caractéristiques............................. XIV D.4 Contacts........................................ XV

E Pluie et vision artificielleXVII

E.1 Modélisation physique de la pluie et des caméras. . . . . . . . . . . . . . . . XVIII E.2 Mesures de présence ou d"intensité de pluie par caméra. . . . . . . . . . . . XXVII E.3 Méthodes de segmentation et de suppression de la pluie. . . . . . . . . . . . XXXI E.4 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XXXIII

F Liste des acronymesXXXV

G Liste des descripteurs d"imagesXXXVII

x

TABLE DES MATIÈRES

H Liste des symbolesXXXIX

xi

TABLE DES MATIÈRES

xii

Liste des “gures

2.1Historique du développement des algorithmes de vision artificielle pour

l"infrastructure..................................... 13 2.2 Historique du développement des algorithmes de vision artificielle à bord des véhicules...................................... 15 2.3 Schéma du principe de fonctionnement d"un algorithme de vision artificielle en contexte routier................................... 18

2.4 Historique des descripteurs d"images les plus représentatifs de l"état de l"art.19

3.1 Représentation schématique de l"évolution du contrasteCen fonction de la distance de visibilité météorologiqueViset de la distance entre l"objet et l"observateur D..................................... 38

3.2 Les capteurs de mesure de la distance de visibilité météorologique...... 39

3.3 Les capteurs de mesure de l"intensité de pluie................... 42

3.4 Répartition de la taille des gouttes : nombre de gouttesN a en fonction de leur diamètreapour trois intensités de pluie (R R ) selon la loi de Marshall et Palmer.......................................... 44 3.5 Vitesse terminale de chute des gouttesven fonction de leur diamètreaselon différentes lois de la littérature............................ 44

3.6 Volume de pluie simulée par le simulateur de pluie................ 45

3.7 Impact de la distance d"une goutte sur l"image obtenue avec un modèle de caméra à ouverture et lentille............................. 46

3.8 Décomposition du facteur de transparence................... 47

3.9 Comparaison entre des images acquises en conditions de pluie naturelle et des images avec de la pluie simulée numériquement............... 48

3.10 Représentation de la Plateforme R&D Brouillard et Pluie du Cerema..... 49

3.11 Interface graphique du logiciel d"acquisition météorologique et de déclen- chement automatique d"acquisition des images................. 50 3.12 Principe de fonctionnement du logiciel d"acquisition des données météo- image........................................... 51 3.13quotesdbs_dbs35.pdfusesText_40

[PDF] la bastille paris

[PDF] la bastille 1789

[PDF] qu'est ce que la bastille

[PDF] multiplication a trou cm2

[PDF] bastille place

[PDF] la bastille aujourd'hui

[PDF] soustraction a trou cm2

[PDF] bastille arrondissement

[PDF] multiplication a trou 6eme

[PDF] l'histoire de la bastille

[PDF] soustraction a trou 6eme

[PDF] operation a trou cm2

[PDF] multiplication posée a virgule

[PDF] multiplication posée ce1 leçon

[PDF] multiplication des nombres entiers cm2