[PDF] Indexation dimages par contenu (1) - Content Based Image

View - Download Indexation dimages par contenu (1) - Content Based Image

Previous PDF

Next PDF

Indexation d'images par contenu (1)

Content Based Image Retrieval (CBIR)

A. ELHASSOUNY

GL

ENSIAS

Master B2dS

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 1 / 52 PLAN

1Indexation d'image par contenu (CBIR)

Principe de CBIR

Qu'est-ce qu'une image ?

2Descripteurs d'image

Types de descripteurs

Descripteurs globaux

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 2 / 52 Indexation d'image par contenu (CBIR)Principe de CBIR CBIR

Descripteurs globaux

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 3 / 52 Indexation d'image par contenu (CBIR)Principe de CBIR

CBIR : Principe

Hors-ligne : IndexationCalcul des signatures (indices) de description pour toutes les images de la base A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 4 / 52 Indexation d'image par contenu (CBIR)Principe de CBIR

CBIR : Principe

En-ligne : Recherche1Calcul designaturepour l'image inconnue (image requ^ete)2Mesure desimilaritede la signature de l'image inconnue avec les

indices de la base3Resultat : adresse des meilleures images au sens de la mesure de similarite A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 5 / 52 Indexation d'image par contenu (CBIR)Principe de CBIR

CBIR : Principe

A denir ?SoientB=fXi=f(Ii);1<=i<=ngetX0=f(I0) les signatures

des imagesIiet de l'image requ^eteI0respectivementMesure de similarite (exp: distance euclidienne) entre descripteurs

d(Xi;X0)Resultat :R=fIi=d(Xi;X0)< g

ce qui necessiteChoix d'un espace de representation et d'undescripteur(fonction)Calcul designaturede l'imagedans cet espaceDenition d'unemesure de similarite (distance)dans cet espaceA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 6 / 52

Indexation d'image par contenu (CBIR)Qu'est-ce qu'une image ? Image Image numeriqueImage numerique: C'est une matrice deNMpixels (picture element) correspondant a l'echantillonnage et la quantication d'un signal acquis avec un capteur A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 7 / 52 Indexation d'image par contenu (CBIR)Qu'est-ce qu'une image ?

Image numerique

Format d'imageImage a niveaux de gris (intensite ou luminance) Chaque pixel est code surNbits, ce qui lui confere des valeurs entieres comprises entre 0 (noir) et 2

N1 (blanc).Image couleur

Une image couleur correspond a la synthese additive de 3 images,

rouge, vert et bleu. Chaque pixel est donc code sur 3Nbits.A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 8 / 52

Indexation d'image par contenu (CBIR)Qu'est-ce qu'une image ?

Image numerique

Image a niveaux de gris

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 9 / 52 Indexation d'image par contenu (CBIR)Qu'est-ce qu'une image ?

Image numerique

Image couleurImage couleur

3 grilles de valeurs, 1 grille par composante de couleur

RGB : 8 bits de quantication pour chaque couleur

)24 bits par pixels (pixel=element du support du signal)OpenCV : manipulation des images A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 10 / 52

Descripteurs d'imageTypes de descripteurs

Descripteurs d'image

TypesDescription globale de l'image : Description approximative de toute l'imageConsidere l'image dans son ensemble Caracterise l'image en utilisant des statistiques calculees sur l'image entiere.Une description moins ne de l'image notamment de recherche des objets.Description locale de l'image Considere l'image comme composee d'un ensemble d'objets. Detection de points d'inter^et et calculs eventuels d'invariants autour de ces points d'inter^etDescription specique (essentiellement biometrie)

Empreintes digitales : Minuties

Visages : EigenFaces

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 11 / 52

Descripteurs d'imageTypes de descripteurs

Descripteurs d'image

Types de caracteristiquesCaracteristiques globaux

Couleur

Forme

Texture

Caracteristiques locales

Points d'inter^ets

Regions d'inter^ets

Caracteristiques speciques

EigenFaces

Minuties

Extraction de caracteristiques (signatures) visuelles (visual features extraction) consiste en des transformations mathematiques calculees sur les pixels d'une image numerique. A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 12 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

Indice visuel couleurQuelle est la couleur de cette pomme?

Alors...Couleur est une propriete d'objet

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 13 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

Indice visuel couleurHypothese:si deux images partagent des couleurs similaires alors

egalement leur contenu peut ^etre similaireExemple:coucher de soleil (orange, jaune)a denir :Espaces de couleur(systemes de representation des couleurs)Descripteurs couleur : Moments de couleur, Histogramme

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 14 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

Les systemes de representation des couleursKunt et al. a demontre qu'en combinant trois longueurs d'ondes

particulieres, il est possible de synthetiser presque toutes les couleurs existantes.En traitement d'images, les systemes les plus couramment utilises sontSystemes de primaires le systeme (R,G,B) le systeme (C,M,Y) le systeme (X,Y,Z)

Systemes luminance-chrominance :

les systemes uniformes de la CIE (L*,a*,b*) et (L*,u*,v*) les systemes de television (Y,I,Q) et (Y,U,V) les systeme (HSV) et (HLS)

Systemes d'axes independants :

le systeme d'Ohta (I1,I2,I3) ou un systeme obtenu par ACP,

OpenCV : conversion entre espace de couleurs

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 15 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

Moments de couleurla moyenne, moment d'ordre un :,m1=E(I)la variance, moment centre d'ordre deux : V(I),2=E[(I)2], ainsi que sa racine carree l'ecart type :,pV(I) =p

2le coecient d'asymetrie, moment centre reduit d'ordre trois :

1,1=E"

I

3#le kurtosis non normalise, moment centre reduit d'ordre quatre :

2=E" I

4#A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 16 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

Moments de couleur : couleur moyenneLa valeur moyenne (dans l'espace RGB): somme des valeurs RGB de tous les pixels, normaliser par le nombre de pixels R avg=1NMN X i=0M X j=0R(i;j);Gavg=1NMN X i=0M X j=0G(i;j) B avg=1NMN X i=0M X j=0B(i;j)Comparaison de deux imagesxetypar la couleur moyenne en utilisant la distance euclidienne d

2avg(x;y) = (RavgxRavgy)2+ (GavgxGavgy)2+ (BavgxBavgy)2OpenCV : moments de couleur (couleur moyenne)

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 17 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : Moments de couleurQsignature (moment de couleur) d'une image requ^eteIQB=fXi(1

l'image requ^ete ?Quelles sont les images similaires aQ? sontXitels qued(Q;Xi)"": seuil determiner par l'utilisateurA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 18 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : Moments de couleurLimites :

Mesure de similarite non precise

Par exemple, l'image violette et l'image rouge-bleu sont les m^eme selon la moyenne de couleurMais

Rapide et facile a calculer et comparer

Meilleur pour l'utiliser comme un ltre: exclure images

Couleur dominante in

uence la moyenne de couleur A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 19 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : Moments de couleurExemple : rechercher des images surtout jaunes : exclure toutes les images avec des moyennes rouge, bleu ou verte A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 20 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

HistogrammeL'histogramme est une fonctionHist(i) permettant de donner la frequence d'apparition des dierents niveaux de gris(couleur)iqui composent l'imageEn abscisse on represente les niveaux de gris (couleur) et en ordonnee leurs frequences d'apparitionL'histogramme des niveaux de gris (couleur) nous informe sur la concentration de l'imagePour une image couleur, il y a un histogramme par composante A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 21 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

HistogrammeFonction discrete [0;L1]Hist(i) =ni= ton de grisn= nombre de pixel de toniA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 22 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : HistogrammeL'intersection d'histogrammes

OpenCV : histogramme

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 23 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : HistogrammeDistance du Minkowski

Soient h1 et h2 deux histogrammes

La distance de Minkowski avec le parametre r:

d r=X i2Cjh1(i)h2(i)jrLa distance entre une image rouge et une image rouge vif est la m^eme

que entre une image rouge et image bleuLimite dans le cas de changements de couleur parce que toutes les

colonnes sont comparees individuellement A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 24 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : HistogrammeDistance quadratique

Evaluer la relation entre les dierentes couleursSoit A une matrice qui exprime la similarite des paires entre la couleuri

et la couleurj(ai;i= 1 etai;j=aj;i): d

A(h1;h2) = (h1h2)TA(h1h2)

kX j2Ck X i2C(h1(i)h2(i))((h1(j)h2(j))Autres distances : la distance de Mahalanobis, Chi2 A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 25 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

CBIR : HistogrammeProblemes

choix de la representation de la couleur distance entre couleurs

Limites

Indice visuel insusant si utilise seul, car insusamment discriminant : pomme rouge vs FerrariAvantages des histogrammes Robuste a certaines transformations geometriques de l'image Remarque : une image en noir et blanc sut a un humain pour eectuer la t^ache demandee! A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 26 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Textures : Quelle denitionEn vision par ordinateur, il n y a pas de denition completement satisfaisante : Zone homogene en un certain sens, assemblage d'entites elementaires formant un tout. A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 27 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Comment analyser texture ?

Methodes de description de la textureMethodes statistiques

Matrice de coocurrence (Mesures de Haralick)

Histogramme

Methodes a base de modele

Decomposition de Wold

Modeles Fractals

Modeles AR (Autoregressive Models)

Methodes frequentielles (traitement du signal)

Fourier

Gabor

Ondelettes

Il existe plusieurs methodes pour analyser la texture, mais le plus dicile est de trouver une bonne representation(parametres) pour chaque texture A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 28 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Matrice de coocurrence (Mesures de Haralick)L'idee de cette methode est d'identier les repetitions de niveaux de

gris selon une distance (pas) et une directionMatrice de coocurrence : matrice de tailleNgNgNgetant le nombre de niveaux de gris de l'image (256x256)On reduit souvent a des tailles 8x8, 16x16 ou 32x32Pour un voisinage (dx;dy), la matrice de cooccurrenceM(dx;dy) est

donnee par :

M[dx;dy](u;v) =

1(Nxdx)(Nydy)P

i;j1[I(i;j) =u&I(i+dx;j+dy) =v](Nx;Ny) : taille de l'image(u;v) : niveaux de gris de l'image (valeur quantiee)A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 29 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Matrice de coocurrence (Mesures de Haralick)Plusieurs matrices, pour chaque distance (pas) et direction

Distance : 1;2;3(;4;;K)Direction : 0;45;90;135;()Temps de calcul de ces matrices est assez long

Soit l'imageIdenie par:A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 30 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Matrice de coocurrence (Mesures de Haralick)On parcours l'image et pour chaque couple de pixels forme avec la

distance et la direction donnees, on incremente la matrice des cooccurrences de 1... alors la matrice de cooccurrence (non normalisee) est: Le 2 de la matrice de cooccurrence (ligne 1 et colonne 4) signie que l'on trouve deux fois un pixel de valeur 1 de distance 1 et de direction

0 d'un pixel de valeur 4.

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 31 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Matrice de coocurrence (Mesures de Haralick)

A partir de cette matrice de cooccurrence, il est possible de denir plusieurs descripteurs (Mesures de Haralick), tels que ceux repertories dans cette table:OperateurFormulation

Maximummax

ij(Cij)Dierence d'ordrekP iP jcij(ij)kEntropieP iP jcijlog(cij)UniformiteP iP jc2ijOpenCV : matrice de coocurrence (Mesures de Haralick) A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 32 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

HistogrammeStatistiques du premier ordre (histogramme)

Distance du Chi2 entre histogrammes de textures

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 33 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de texture

Approche spectraleTransformee de Fourier discrete

En traitement d'images, on utilise la transformation de Fourier a deux dimensions, sa denition discrete est :

F(u;v) =M1X

m=0N1X n=0I(m;n)e2i(umM +vnN )OpenCV : Transformee de Fourier Discrete A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 34 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de forme

Caracterisation des objets contenus dans l'image : representation de composantesCaracteristiques internes : description de la region occupee par l'objet (surface, ...)Caracteristiques externes : description du contour de l'objet represente

par le perimetre, circularite, rectangularite, ...Cette description est invariante en rotation et translation.

elongationW H avecH: hauteur,W: largeurcirculariteT

24AavecT: perimetre,A: surfacerectangulariteA0Ar

avecA0 : surface de la region,Ar: surface de rectangleDecrire les formes necessite une identication prealable de regions

Segmentation de l'image

Detection de leurs contours

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 35 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesLa classeMATPour lire une image utiliser la fonctionimreadLes objets Mat A, B, C, qui possedent des ent^etes propres a chacun qui

pointent sur les m^emes donnees (sur la m^eme matrice) A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 36 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesLa classeMATSi l'on cherche a preserver les donnees de l'objet Mat original, il faut

manipuler les donnees d'une copie. Pour cela, il existe les methodes clone()etcopyTo()Acces aux pixels d'une image Pour acceder a la valeur d'un pixel(x, y), on utilisera la fonctionat() de la classe Mat ou la fonctioncvGet2D. La fonctionat()necessite que l'on lui indique le prototype des donnees a extraire A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 37 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesLa classeMATL'objetMatobtenu a partir d'une image couleur possede trois canaux,

le Bleu, le Vert et le Rouge. L'ordre a son importance. Par defaut dans OpenCV, le bleu est charge dans le premier canal, le vert dans le second et le rouge dans le troisiemeExemple: exemple qui inverse une image couleur, on traite donc

directement des triplets RGB representes sous forme deVec3bA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 38 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesLa classeMATMethode par decoupage en plan : cette approche consiste simplement

a decouper une image ancanaux ennimage a 1 canal, traiter chaque

canal, puis les reassemblerLa separation des canaux se fait gr^ace a fonctionsplitLa fonctionmergeassemble plusieurs images a 1 canal contenues dans

un vecteur deMaten une unique imageA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 39 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesLa classeMATLes images a niveau de gris ne possede qu'un canal ce qui facilite leur

manipulation. Le type de donnees stocke sera generalement desuchar (8 bit non signe) ou des oat(32 bit)Exemples: Pour creer un objetMat greyayant la m^eme taille quebgrMat, mais qui ne possede qu'un canal, on utilisera la methodecreate()de la classeMatPour obtenir une image en niveaux de gris donc sur un canal de 8 bits, ecrire :Mat img = imread(lename, 0);, ou utiliser la fonction cvtColor( src, srcgray,CVRGB2GRAY ); A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 40 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesAchage d'une image : l'achage d'une image se realise en deux

temps (+ un troisieme optionnel)Creation d'une fen^etre nommee avecnamedWindowAchage de l'image avecimshowEnregistrement d'une image

L'enregistrement se fait avecimwriteA. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 41 / 52

Descripteurs d'imageDescripteurs globaux

Image numerique

OpenCV : manipulation des imagesOn peut aussi lire l'image par la fonctionIplImage* cvLoadImage (const char* lename, int iscolor=CVLOADIMAGECOLOR)Retour A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 42 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

OpenCV : conversion entre espace de couleursConversion entre espace de couleurs

Fonction : cvtColor( imagesrc, imagedest, code)

Codes :CV2Exemples:CVBGR2HSV, CVBGR2LUV, CVBGR2GRAY, ...

Exemples:

Conversion de RGB en LUV

CvtColor(imgsrc;imgdest;CVRGB2LUV);Conversion de RGB en HSV A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 43 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

OpenCV : moments de couleur (couleur moyenne)Exemple :

Retour

A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 44 / 52

Descripteurs d'imageDescripteurs globaux

Descripteurs de couleur

OpenCV : histogrammeL'acces aux valeurs de pixels peuvent ^etre utilises pour calculer les valeurs de l'histogramme.Ou utiliser la fonction de la bibliotheques Opencv. On peut alors comparer les histogrammes couleurs avec la fonction double compareHist(const SparseMat H1, const SparseMat H2, int method) A. ELHASSOUNY (GL ENSIAS)Indexation d'images par contenu (1)Master B2dS 45 / 52

Descripteurs d'imageDescripteurs globaux

quotesdbs_dbs35.pdfusesText_40

[PDF] la bastille paris

[PDF] la bastille 1789

[PDF] qu'est ce que la bastille

[PDF] multiplication a trou cm2

[PDF] bastille place

[PDF] la bastille aujourd'hui

[PDF] soustraction a trou cm2

[PDF] bastille arrondissement

[PDF] multiplication a trou 6eme

[PDF] l'histoire de la bastille

[PDF] soustraction a trou 6eme

[PDF] operation a trou cm2

[PDF] multiplication posée a virgule

[PDF] multiplication posée ce1 leçon

[PDF] multiplication des nombres entiers cm2