[PDF] descripteurs d'images
[PDF] la bastille paris
[PDF] la bastille 1789
[PDF] qu'est ce que la bastille
[PDF] multiplication a trou cm2
[PDF] bastille place
[PDF] la bastille aujourd'hui
[PDF] soustraction a trou cm2
[PDF] bastille arrondissement
[PDF] multiplication a trou 6eme
[PDF] l'histoire de la bastille
[PDF] soustraction a trou 6eme
[PDF] la prise de la bastille résumé
[PDF] operation a trou cm2
[PDF] multiplication posée a virgule
1 1
Indexation et recherche par le contenu
visuel dans les documents multimédia
Nozha Boujemaa
Directeur de Recherche - Chef du projet IMEDIA
Institut National de Recherche en Informatique et en Automatique http://www-rocq.inria.fr/imedia/N. Boujemaa~ 2
Introduction
La recherche d'informationdans les
documents multimédias est un problème crucial ...
Elle adopéles recherches dans le domaine
de l'indexation et de la recherche par le contenuet en particulier celui de l'apparence visuelleN. Boujemaa ~ 3Contenu sémantique vs. Contenu physique
Contenu sémantique:
• Annotations/Ontologies: relations et structuration sémantique => " Human-based metadata »
Contenu Physique:
• Images fixes/animés, son/parole, ... => " Machine-based metadata »Dernière décennie => Pertinence de l'indexation et la recherche par le contenu physiquepour l'accès aux archives multimédias (PhysicalContent-based)
N. Boujemaa~ 4Motivation
Abondance des archives multimédia (locales/distribuées)
Intérêt de la recherche par l'image:
indépendante de la langue de recherche description moins subjective que le texte parfois plus riche que le texte souvent plus efficace (ambiguïté)
N. Boujemaa~ 5
Indexation par mot-clé?
N. Boujemaa~ 6
Recherche d'informations
"Avocat " ? 2
N. Boujemaa~ 7
Recherche d'information
"Voilier" "Port"
Imagecible
Requête textuelle: "Port du voile"
N. Boujemaa~ 8
Recherche visuelle
N. Boujemaa~ 9
Applications
Internet (images et vidéos),
Audiovisuel
(personnage dans les JT, documentaires, sport, ...) Médecine (recherche à but diagnostic ou pédagogique) Art et Design (archives archéologiques, peintures, tissus, ...) Authentification (visages, empreintes digitales, logos) Sécurité(surveillance vidéo, objets d'arts volés ...)
Education (recherche encyclopédique)
N. Boujemaa~ 10
Thèmes de recherche
L'indexation: construction de l'espace des
signatures (descripteurs) • Bases d'images génériques: - signatures de couleur, texture et forme • Bases d'images spécifiques: applications à la biométrie - Détection et signatures de visages, - Signatures d'empreintes digitales
N. Boujemaa~ 11
Thèmes de recherche
Recherche précise par description localeet requêtes partielles. • Segmentation en régions, • Extraction de points d'intérêt •Structurationdes grands espaces
Navigation intelligente :
•Catégorisationautomatique de la base d'images •Contrôle de pertinence
Indexation multimédia (image + texte)
• Propagation de mots-clés, annotation textuelle semi- automatique
N. Boujemaa~ 12
Plan Introduction: Architecture d'un système de recherche Signatures d'images spécifiques et génériques
Requêtes partielles
Recherche interactive
Recherche d'image mentale
3 13
Introduction
Architecture d'un système de recherche par
le contenu visuel
N. Boujemaa~ 14
Image database Image
Image Signatures
computation
Feature Space
Architecture Générale
Indexing
Off-line
Retrieval
On-line
user
Image query
Visual
similarity Image similarities
N. Boujemaa~ 16
IKONA : le système d'indexation et de
recherche d'IMEDIA
Architecture modulaire Client/Serveur:
• Serveur C++ (UNIX) • Client Java, client C++, client cgi-bin • Description texte/image native • Images (et imagettes) représentées par leurs URLs: Seules les signatures sont stockées sur le serveur, les bases d'images peuvent être distribuées • Répartition de la charge sur les machines multi- processeurs (noyau multi-threads)
N. Boujemaa~ 17
Attributs d'images
On peut écrire abusivement:
image = forme + couleur + texture
Il existe d' autre attributs d'images,
éventuellement plus complexe
A chaque attribut correspond une signature
qui est la représentation de cet attribut en machine
N. Boujemaa~ 18
Attributs
Couleur
• Couleur moyenne, couleur dominante, distribution des couleurs
Structure
• Descripteur de structure de l'image: Histogramme d'orientation. • Descripteur de la forme d'un objet d'intérêt: Superficie, excentricité, moments, ...
Texture
• mesure l'hétérogénéité locale et l'homogénéité globale:
Fourier, ondelettes, cooccurences, ...
N. Boujemaa~ 19
Propriétés des signatures
Significativespour l'utilisateur (?!)
Compactes
(+ sémantique, - données)
Rapidesà calculer et à comparer
Conservation/ non-conservation de
l'arrangement spatial
Invariance(morphologique, pose,
occultation, ...) dépend de l'application 4
N. Boujemaa~ 20
Deux catégories de bases d'images
Bases spécialisées
Contenu homogène
Interprétation objective
Utilisation experte
Mise en correspondance
Reconnaissance d'objets
Robustesse, Efficacité
Évaluation quantitativeBases généralistes
Contenu hétérogène
Interprétation subjective
Utilisation grand public
Similarité perceptuelle
Recherche d'images
Interactivité, Flexibilité
Évaluation qualitative
N. Boujemaa~ 21
Catégories de requêtes
Requête par une image exemple
Requêtes partielles
Requête par ébauche graphique (sketch)
Requête par composition logique
22
Signatures spécifiques
et génériques
N. Boujemaa~ 23
Bases Spécifiques
Principalement applications biométriques
(visages, empreintes)
Très grandes bases
Détection, identification
Algorithmes dédiés
N. Boujemaa~ 24
Visages
Détection et reconnaissance devisages
Défis
•ne pas raterdes visages dans une image et éviterles faux positifs (avec invariance à la pose,
à l'échelle ...)
• descripteurs de visages invariantspar rapport à l'occultation, l'expression facialeet les conditions d'éclairage
N. Boujemaa~ 25
5
N. Boujemaa~ 26N. Boujemaa~ 27
IKONA INRIA
N. Boujemaa~ 28
Reconnaissance de visages
N. Boujemaa~ 29
N. Boujemaa~ 30
DSW face signature
Entropy map
Dyn. Prog.
N. Boujemaa~ 31
Evaluation on ARF face data base
6
N. Boujemaa~ 32
Audiovisuel
N. Boujemaa~ 33
Détection de Visages
N. Boujemaa~ 34
Segmentation de visages
N. Boujemaa~ 35
Segmentation/description de visages
N. Boujemaa~ 36N. Boujemaa~ 37
7
N. Boujemaa~ 44
Bases génériques
Textures et scènes naturelles TableauxImages Télé
N. Boujemaa~ 45
Histogramme de couleur: échantillonner l'espace couleur
Invariant par translation, rotation et échelle
(avec normalisation)
Signature couleur de base
R G B C ccc,))j,i(f(MN1)(h M 1iN 1j 1)(h c
N. Boujemaa~ 47
Limitations de l'histogramme couleur
L'histogramme est une distribution du premier ordre =>ne peut pas distinguer des surfaces couleurs de tailleéquivalentes mais de répartitionsdifférentes.
N. Boujemaa~ 48
Insuffisance de l'histogramme
N. Boujemaa~ 50
Démarche générale
Large spectre de descripteurs génériques:
couleur, texture, forme, composition spatiale...
Combinaison d'un grand nombre de ces
descripteurs (+- efficaces) =>Pb de taille de l'espace de description
N. Boujemaa~ 51
Autre démarche
Combiner différents types d'informations
dans la même signature: exp: couleur et texture =>Permet de rendre compte de la répartition spatiale de la couleur 8
N. Boujemaa~ 52
Histogramme pondéré
w(i,j)est une mesure locale dans le voisinage de chaque pixel H' a la même dimension qu'un histogramme normal
Aussi performante et beaucoup plus compacte que
les signatures "concurrentes» C ccc,))j,i(f()j,i(wMN1)('h M 1iN 1j
N. Boujemaa~ 56
Bases d'images génériques / Signatures couleur compactes
Histogrammes
couleur basiques
Signatures
intégrant la répartition spatiale de la couleur
N. Boujemaa~ 57
Histogrammes
couleur basiques
Signatures
intégrant la répartition spatiale de la couleur Bases d'images génériques / Signatures couleur compactes
N. Boujemaa~ 58
Recherche visuelle dans une base généraliste
Signature
couleur classique
Signature
integrant la répartition spatiale de la couleur " Visage au premier plan »
N. Boujemaa~ 59
Query image
Relevant images (C=10)
Retrieved images (N=5)
Relevant images retrieved (k=3)
Precision = k / N = 0.6
Recall = k / C = 0.3
Precision/ Recall Measures
Precision-Recall curve: Count precision at recall 1/C, 2/C, ... 1.
N. Boujemaa~ 60
Generalist database: precision-recall, RGB
9
N. Boujemaa~ 61
Histogramme pondérés
Intègre couleur et texturedans la même signature, Décrit a répartition spatiale de la couleur: plus efficace que la combinaison de descripteurs couleur et texture indépendants
Plus compact que l'état de l'art
Permet une réduction très significative de la dimension de l'espace de représentation => optimisation de la recherche (non-exclusif avec des approches Bases de Données)
N. Boujemaa~ 62
N. Boujemaa~ 63N. Boujemaa~ 64
Tableaux
Demo web interactive:
http://www-rocq.inria.fr/imedia/ikona/
N. Boujemaa~ 65N. Boujemaa~ 66
Agence Photo (IDS)
10
N. Boujemaa~ 67
Biodiversité
N. Boujemaa~ 68
Héritage culturel
N. Boujemaa~ 69
Descripteurs visuels MPEG7
Couleur:
Color space, Dominant color(s), Color Histogram, Color-
Structure Histogram,
SHAPE:
• Object Bounding Box, Region-Based Shape Descriptor,
Contour-Based Shape Descriptor
MOTION
• Camera Motion , Motion Trajectory, Parametric Motion, Motion
Activity
TEXTURE
• Homogeneous Texture, Texture Browsing, Edge Histogram
N. Boujemaa~ 70
Descripteurs visuels MPEG7
Parties normatives et desParties non normatives
Exp: Color Histogram
Parties normatives
"Descriptor Syntax
Descriptor Syntax Semantics ...."
N. Boujemaa~ 71
Descripteurs visuels MPEG7
Parties non normatives
Extraction de descripteur
Critère de calcul de similarité
N. Boujemaa~ 72
Les approches CBIR les plus répandues
Description globale des
images (Couleur, structure) Recherche
approximative d'une ambiancequotesdbs_dbs9.pdfusesText_15
[PDF] Indexation et recherche dimages par le contenu - Centre Inria