[PDF] cours indexation image
[PDF] indexation d'images par le contenu
[PDF] recherche d'image par contenu visuel
[PDF] comment indexer une image
[PDF] indexation images
[PDF] indexation et recherche d'images
[PDF] descripteurs d'images
[PDF] la bastille paris
[PDF] la bastille 1789
[PDF] qu'est ce que la bastille
[PDF] multiplication a trou cm2
[PDF] bastille place
[PDF] la bastille aujourd'hui
[PDF] soustraction a trou cm2
[PDF] bastille arrondissement
1 1
Indexation et recherche par le contenu
visuel dans les documents multimédia
Nozha Boujemaa
Directeur de Recherche - Chef du projet IMEDIA
Institut National de Recherche en Informatique et en Automatique http://www-rocq.inria.fr/imedia/N. Boujemaa~ 2
Introduction
La recherche d'informationdans les
documents multimédias est un problème crucial ...
Elle adopéles recherches dans le domaine
de l'indexation et de la recherche par le contenuet en particulier celui de l'apparence visuelleN. Boujemaa ~ 3Contenu sémantique vs. Contenu physique
Contenu sémantique:
• Annotations/Ontologies: relations et structuration sémantique => " Human-based metadata »
Contenu Physique:
• Images fixes/animés, son/parole, ... => " Machine-based metadata »Dernière décennie => Pertinence de l'indexation et la recherche par le contenu physiquepour l'accès aux archives multimédias (PhysicalContent-based)
N. Boujemaa~ 4Motivation
Abondance des archives multimédia (locales/distribuées)
Intérêt de la recherche par l'image:
indépendante de la langue de recherche description moins subjective que le texte parfois plus riche que le texte souvent plus efficace (ambiguïté)
N. Boujemaa~ 5
Indexation par mot-clé?
N. Boujemaa~ 6
Recherche d'informations
"Avocat " ? 2
N. Boujemaa~ 7
Recherche d'information
"Voilier" "Port"
Imagecible
Requête textuelle: "Port du voile"
N. Boujemaa~ 8
Recherche visuelle
N. Boujemaa~ 9
Applications
Internet (images et vidéos),
Audiovisuel
(personnage dans les JT, documentaires, sport, ...) Médecine (recherche à but diagnostic ou pédagogique) Art et Design (archives archéologiques, peintures, tissus, ...) Authentification (visages, empreintes digitales, logos) Sécurité(surveillance vidéo, objets d'arts volés ...)
Education (recherche encyclopédique)
N. Boujemaa~ 10
Thèmes de recherche
L'indexation: construction de l'espace des
signatures (descripteurs) • Bases d'images génériques: - signatures de couleur, texture et forme • Bases d'images spécifiques: applications à la biométrie - Détection et signatures de visages, - Signatures d'empreintes digitales
N. Boujemaa~ 11
Thèmes de recherche
Recherche précise par description localeet requêtes partielles. • Segmentation en régions, • Extraction de points d'intérêt •Structurationdes grands espaces
Navigation intelligente :
•Catégorisationautomatique de la base d'images •Contrôle de pertinence
Indexation multimédia (image + texte)
• Propagation de mots-clés, annotation textuelle semi- automatique
N. Boujemaa~ 12
Plan Introduction: Architecture d'un système de recherche Signatures d'images spécifiques et génériques
Requêtes partielles
Recherche interactive
Recherche d'image mentale
3 13
Introduction
Architecture d'un système de recherche par
le contenu visuel
N. Boujemaa~ 14
Image database Image
Image Signatures
computation
Feature Space
Architecture Générale
Indexing
Off-line
Retrieval
On-line
user
Image query
Visual
similarity Image similarities
N. Boujemaa~ 16
IKONA : le système d'indexation et de
recherche d'IMEDIA
Architecture modulaire Client/Serveur:
• Serveur C++ (UNIX) • Client Java, client C++, client cgi-bin • Description texte/image native • Images (et imagettes) représentées par leurs URLs: Seules les signatures sont stockées sur le serveur, les bases d'images peuvent être distribuées • Répartition de la charge sur les machines multi- processeurs (noyau multi-threads)
N. Boujemaa~ 17
Attributs d'images
On peut écrire abusivement:
image = forme + couleur + texture
Il existe d' autre attributs d'images,
éventuellement plus complexe
A chaque attribut correspond une signature
qui est la représentation de cet attribut en machine
N. Boujemaa~ 18
Attributs
Couleur
• Couleur moyenne, couleur dominante, distribution des couleurs
Structure
• Descripteur de structure de l'image: Histogramme d'orientation. • Descripteur de la forme d'un objet d'intérêt: Superficie, excentricité, moments, ...
Texture
• mesure l'hétérogénéité locale et l'homogénéité globale:
Fourier, ondelettes, cooccurences, ...
N. Boujemaa~ 19
Propriétés des signatures
Significativespour l'utilisateur (?!)
Compactes
(+ sémantique, - données)
Rapidesà calculer et à comparer
Conservation/ non-conservation de
l'arrangement spatial
Invariance(morphologique, pose,
occultation, ...) dépend de l'application 4
N. Boujemaa~ 20
Deux catégories de bases d'images
Bases spécialisées
Contenu homogène
Interprétation objective
Utilisation experte
Mise en correspondance
Reconnaissance d'objets
Robustesse, Efficacité
Évaluation quantitativeBases généralistes
Contenu hétérogène
Interprétation subjective
Utilisation grand public
Similarité perceptuelle
Recherche d'images
Interactivité, Flexibilité
Évaluation qualitative
N. Boujemaa~ 21
Catégories de requêtes
Requête par une image exemple
Requêtes partielles
Requête par ébauche graphique (sketch)
Requête par composition logique
22
Signatures spécifiques
et génériques
N. Boujemaa~ 23
Bases Spécifiques
Principalement applications biométriques
(visages, empreintes)
Très grandes bases
Détection, identification
Algorithmes dédiés
N. Boujemaa~ 24
Visages
Détection et reconnaissance devisages
Défis
•ne pas raterdes visages dans une image et éviterles faux positifs (avec invariance à la pose,
à l'échelle ...)
• descripteurs de visages invariantspar rapport à l'occultation, l'expression facialeet les conditions d'éclairage
N. Boujemaa~ 25
5
N. Boujemaa~ 26N. Boujemaa~ 27
IKONA INRIA
N. Boujemaa~ 28
Reconnaissance de visages
N. Boujemaa~ 29
N. Boujemaa~ 30
DSW face signature
Entropy map
Dyn. Prog.
N. Boujemaa~ 31
Evaluation on ARF face data base
6
N. Boujemaa~ 32
Audiovisuel
N. Boujemaa~ 33
Détection de Visages
N. Boujemaa~ 34
Segmentation de visages
N. Boujemaa~ 35
Segmentation/description de visages
N. Boujemaa~ 36N. Boujemaa~ 37
7
N. Boujemaa~ 44
Bases génériques
Textures et scènes naturelles TableauxImages Télé
N. Boujemaa~ 45
Histogramme de couleur: échantillonner l'espace couleur
Invariant par translation, rotation et échelle
(avec normalisation)
Signature couleur de base
R G B C ccc,))j,i(f(MN1)(hquotesdbs_dbs16.pdfusesText_22
[PDF] Indexation et recherche dimages par le contenu - Centre Inria