[PDF] Indexation et recherche par le contenu visuel dans les documents

View - Download Indexation et recherche par le contenu visuel dans les documents

Previous PDF

Next PDF

1 1

Indexation et recherche par le contenu

visuel dans les documents multimédia

Nozha Boujemaa

Directeur de Recherche - Chef du projet IMEDIA

Institut National de Recherche en Informatique et en Automatique http://www-rocq.inria.fr/imedia/N. Boujemaa~ 2

Introduction

La recherche d'informationdans les

documents multimédias est un problème crucial ...

Elle adopéles recherches dans le domaine

de l'indexation et de la recherche par le contenuet en particulier celui de l'apparence visuelleN. Boujemaa ~ 3Contenu sémantique vs. Contenu physique

Contenu sémantique:

• Annotations/Ontologies: relations et structuration sémantique => " Human-based metadata »

Contenu Physique:

• Images fixes/animés, son/parole, ... => " Machine-based metadata »Dernière décennie => Pertinence de l'indexation et la recherche par le contenu physiquepour l'accès aux archives multimédias (PhysicalContent-based)

N. Boujemaa~ 4Motivation

Abondance des archives multimédia (locales/distribuées)

Intérêt de la recherche par l'image:

indépendante de la langue de recherche description moins subjective que le texte parfois plus riche que le texte souvent plus efficace (ambiguïté)

N. Boujemaa~ 5

Indexation par mot-clé?

N. Boujemaa~ 6

Recherche d'informations

"Avocat " ? 2

N. Boujemaa~ 7

Recherche d'information

"Voilier" "Port"

Imagecible

Requête textuelle: "Port du voile"

N. Boujemaa~ 8

Recherche visuelle

N. Boujemaa~ 9

Applications

Internet (images et vidéos),

Audiovisuel

(personnage dans les JT, documentaires, sport, ...) Médecine (recherche à but diagnostic ou pédagogique) Art et Design (archives archéologiques, peintures, tissus, ...) Authentification (visages, empreintes digitales, logos) Sécurité(surveillance vidéo, objets d'arts volés ...)

Education (recherche encyclopédique)

N. Boujemaa~ 10

Thèmes de recherche

L'indexation: construction de l'espace des

signatures (descripteurs) • Bases d'images génériques: - signatures de couleur, texture et forme • Bases d'images spécifiques: applications à la biométrie - Détection et signatures de visages, - Signatures d'empreintes digitales

N. Boujemaa~ 11

Thèmes de recherche

Recherche précise par description localeet requêtes partielles. • Segmentation en régions, • Extraction de points d'intérêt •Structurationdes grands espaces

Navigation intelligente :

•Catégorisationautomatique de la base d'images •Contrôle de pertinence

Indexation multimédia (image + texte)

• Propagation de mots-clés, annotation textuelle semi- automatique

N. Boujemaa~ 12

Plan Introduction: Architecture d'un système de recherche Signatures d'images spécifiques et génériques

Requêtes partielles

Recherche interactive

Recherche d'image mentale

3 13

Introduction

Architecture d'un système de recherche par

le contenu visuel

N. Boujemaa~ 14

Image database Image

Image Signatures

computation

Feature Space

Architecture Générale

Indexing

Off-line

Retrieval

On-line

user

Image query

Visual

similarity Image similarities

N. Boujemaa~ 16

IKONA : le système d'indexation et de

recherche d'IMEDIA

Architecture modulaire Client/Serveur:

• Serveur C++ (UNIX) • Client Java, client C++, client cgi-bin • Description texte/image native • Images (et imagettes) représentées par leurs URLs: Seules les signatures sont stockées sur le serveur, les bases d'images peuvent être distribuées • Répartition de la charge sur les machines multi- processeurs (noyau multi-threads)

N. Boujemaa~ 17

Attributs d'images

On peut écrire abusivement:

image = forme + couleur + texture

Il existe d' autre attributs d'images,

éventuellement plus complexe

A chaque attribut correspond une signature

qui est la représentation de cet attribut en machine

N. Boujemaa~ 18

Attributs

Couleur

• Couleur moyenne, couleur dominante, distribution des couleurs

Structure

• Descripteur de structure de l'image: Histogramme d'orientation. • Descripteur de la forme d'un objet d'intérêt: Superficie, excentricité, moments, ...

Texture

• mesure l'hétérogénéité locale et l'homogénéité globale:

Fourier, ondelettes, cooccurences, ...

N. Boujemaa~ 19

Propriétés des signatures

Significativespour l'utilisateur (?!)

Compactes

(+ sémantique, - données)

Rapidesà calculer et à comparer

Conservation/ non-conservation de

l'arrangement spatial

Invariance(morphologique, pose,

occultation, ...) dépend de l'application 4

N. Boujemaa~ 20

Deux catégories de bases d'images

Bases spécialisées

Contenu homogène

Interprétation objective

Utilisation experte

Mise en correspondance

Reconnaissance d'objets

Robustesse, Efficacité

Évaluation quantitativeBases généralistes

Contenu hétérogène

Interprétation subjective

Utilisation grand public

Similarité perceptuelle

Recherche d'images

Interactivité, Flexibilité

Évaluation qualitative

N. Boujemaa~ 21

Catégories de requêtes

Requête par une image exemple

Requêtes partielles

Requête par ébauche graphique (sketch)

Requête par composition logique

22

Signatures spécifiques

et génériques

N. Boujemaa~ 23

Bases Spécifiques

Principalement applications biométriques

(visages, empreintes)

Très grandes bases

Détection, identification

Algorithmes dédiés

N. Boujemaa~ 24

Visages

Détection et reconnaissance devisages

Défis

•ne pas raterdes visages dans une image et éviterles faux positifs (avec invariance à la pose,

à l'échelle ...)

• descripteurs de visages invariantspar rapport à l'occultation, l'expression facialeet les conditions d'éclairage

N. Boujemaa~ 25

5

N. Boujemaa~ 26N. Boujemaa~ 27

IKONA INRIA

N. Boujemaa~ 28

Reconnaissance de visages

N. Boujemaa~ 29

N. Boujemaa~ 30

DSW face signature

Entropy map

Dyn. Prog.

N. Boujemaa~ 31

Evaluation on ARF face data base

6

N. Boujemaa~ 32

Audiovisuel

N. Boujemaa~ 33

Détection de Visages

N. Boujemaa~ 34

Segmentation de visages

N. Boujemaa~ 35

Segmentation/description de visages

N. Boujemaa~ 36N. Boujemaa~ 37

7

N. Boujemaa~ 44

Bases génériques

Textures et scènes naturelles TableauxImages Télé

N. Boujemaa~ 45

Histogramme de couleur: échantillonner l'espace couleur

Invariant par translation, rotation et échelle

(avec normalisation)

Signature couleur de base

R G B C ccc,))j,i(f(MN1)(h M 1iN 1j 1)(h c

N. Boujemaa~ 47

Limitations de l'histogramme couleur

L'histogramme est une distribution du premier ordre =>ne peut pas distinguer des surfaces couleurs de tailleéquivalentes mais de répartitionsdifférentes.

N. Boujemaa~ 48

Insuffisance de l'histogramme

N. Boujemaa~ 50

Démarche générale

Large spectre de descripteurs génériques:

couleur, texture, forme, composition spatiale...

Combinaison d'un grand nombre de ces

descripteurs (+- efficaces) =>Pb de taille de l'espace de description

N. Boujemaa~ 51

Autre démarche

Combiner différents types d'informations

dans la même signature: exp: couleur et texture =>Permet de rendre compte de la répartition spatiale de la couleur 8

N. Boujemaa~ 52

Histogramme pondéré

w(i,j)est une mesure locale dans le voisinage de chaque pixel H' a la même dimension qu'un histogramme normal

Aussi performante et beaucoup plus compacte que

les signatures "concurrentes» C ccc,))j,i(f()j,i(wMN1)('h M 1iN 1j

N. Boujemaa~ 56

Bases d'images génériques / Signatures couleur compactes

Histogrammes

couleur basiques

Signatures

intégrant la répartition spatiale de la couleur

N. Boujemaa~ 57

Histogrammes

couleur basiques

Signatures

intégrant la répartition spatiale de la couleur Bases d'images génériques / Signatures couleur compactes

N. Boujemaa~ 58

Recherche visuelle dans une base généraliste

Signature

couleur classique

Signature

integrant la répartition spatiale de la couleur " Visage au premier plan »

N. Boujemaa~ 59

Query image

Relevant images (C=10)

Retrieved images (N=5)

Relevant images retrieved (k=3)

Precision = k / N = 0.6

Recall = k / C = 0.3

Precision/ Recall Measures

Precision-Recall curve: Count precision at recall 1/C, 2/C, ... 1.

N. Boujemaa~ 60

Generalist database: precision-recall, RGB

9

N. Boujemaa~ 61

Histogramme pondérés

Intègre couleur et texturedans la même signature, Décrit a répartition spatiale de la couleur: plus efficace que la combinaison de descripteurs couleur et texture indépendants

Plus compact que l'état de l'art

Permet une réduction très significative de la dimension de l'espace de représentation => optimisation de la recherche (non-exclusif avec des approches Bases de Données)

N. Boujemaa~ 62

N. Boujemaa~ 63N. Boujemaa~ 64

Tableaux

Demo web interactive:

http://www-rocq.inria.fr/imedia/ikona/

N. Boujemaa~ 65N. Boujemaa~ 66

Agence Photo (IDS)

10

N. Boujemaa~ 67

Biodiversité

N. Boujemaa~ 68

Héritage culturel

N. Boujemaa~ 69

Descripteurs visuels MPEG7

Couleur:

Color space, Dominant color(s), Color Histogram, Color-

Structure Histogram,

SHAPE:

• Object Bounding Box, Region-Based Shape Descriptor,

Contour-Based Shape Descriptor

MOTION

• Camera Motion , Motion Trajectory, Parametric Motion, Motion

Activity

TEXTURE

• Homogeneous Texture, Texture Browsing, Edge Histogram

N. Boujemaa~ 70

Descripteurs visuels MPEG7

Parties normatives et desParties non normatives

Exp: Color Histogram

Parties normatives

"Descriptor Syntax

Descriptor Syntax Semantics ...."

N. Boujemaa~ 71

Descripteurs visuels MPEG7

Parties non normatives

Extraction de descripteur

Critère de calcul de similarité

N. Boujemaa~ 72

Les approches CBIR les plus répandues

Description globale des

images (Couleur, structure)

Recherche

approximative d'une ambiancequotesdbs_dbs9.pdfusesText_15

[PDF] descripteurs d'images

[PDF] la bastille paris

[PDF] la bastille 1789

[PDF] qu'est ce que la bastille

[PDF] multiplication a trou cm2

[PDF] bastille place

[PDF] la bastille aujourd'hui

[PDF] soustraction a trou cm2

[PDF] bastille arrondissement

[PDF] multiplication a trou 6eme

[PDF] l'histoire de la bastille

[PDF] soustraction a trou 6eme

[PDF] operation a trou cm2

[PDF] multiplication posée a virgule

[PDF] multiplication posée ce1 leçon