Compression de données

Compression de donn´eesVincent VajnovszkiVincent VajnovszkiCompression de donn´eesls tdnts ntllgnts cmprnnnt fclmnt c txt sns vllsVincent VajnovszkiCompression de donn´eesSi, au lieu de d´epenser 150 euros pour acheter unnouveau disque dur vous pouviez garder cette sommepour vos vacances ?Le codage MP3 des donn´ees musicales a rendu possiblele stockage et l"´echange des fichier audio par Internet.La sondeClementinelanc´ee par la NASA vers la Lune il ya quelques ann´ees emportait un dispositif de compressiond"images (dˆu au CNES et`a Matra) qui lui a permis detransmettre un million de photos et non pas seulement 70000.Vincent VajnovszkiCompression de donn´eesLes techniques de compression semblent si prometteusesque certains se demandent si les r´eseaux t´el´ephoniquesactuels, associ´es`a quelques satellites de communication,ne pourraient pas suffire`a la grande majorit´e desapplications en´evitant les d´epenses d"infrastructure li´eesaux fameusesautoroutes de l"information.JPEG (Joint Photographic Expert Group), MPEG (MovingPicture Expert Group), MP3 : des fichiers audio exploitentles caract´eristiques de l"audition humaine et d´egrade leson d"une mani`ere quasiment inaudibleVincent VajnovszkiCompression de donn´eesLa compression de donn´ees date du 19e si`ecle avec l"inventiondu Braille en 1820du code Morse en 1838Elle a´et´e formalis´ee grˆace`a la th´eorie de l"information.

Lacompression fonctionne`al"inversedes codes correcteurs d"erreurs(chiffrement)Vincent VajnovszkiCompression de donn´eesSi les codes correcteurs d"erreurs ajoute de la redondancepour transmettre un signal en toute s´ecurit´e sur un canal bruit´e,la compression va, elle, tenter de retirer le plus de redondancepossible d"une donn´ee.Les principales applications de la compression concernentl"archivage des donn´eesles t´el´ecommunicationsles r´eseauxVincent VajnovszkiCompression de donn´eesL"archivage des donn´eessur un disque durCD-ROM, DVDCertains formats de fichiers int`egrent directement de lacompression.les fichiers d"images (gifoujpeg)certains fichiers texte : portable document format (pdf)d"AdobeLes t´el´ecommunicationsdans le fonctionnement des modems (protocoleV42)pour les transmissions par t´el´ecopie.Vincent VajnovszkiCompression de donn´eesL"archivage des donn´eessur un disque durCD-ROM, DVDCertains formats de fichiers int`egrent directement de lacompression.les fichiers d"images (gifoujpeg)certains fichiers texte : portable document format (pdf)d"AdobeLes t´el´ecommunicationsdans le fonctionnement des modems (protocoleV42)pour les transmissions par t´el´ecopie.Vincent VajnovszkiCompression de donn´eesLes r´eseaux :augmenter la bande passante en diminuant le nombre de bits´emisCompression de donn´ees = On cherche une repr´esentationalternative des donn´ees qui est plus efficace en espace,souvent au d´etriment du temps d"acc`es.Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesCompression de donn´ees =`a deux algorithmesl"algorithme de compressionqui prend en entr´ee une chaˆıne de caract`eresB(pourdonn´ee brute)qui calcule une repr´esentationC(pour donn´ee comprim´ee)plus courte queBl"algorithme de d´ecompressionqui prend en entr´ee une repr´esentation comprim´eeCqui calculeR, une donn´ee reconstruite`a partir deCCompression de donn´eescompression avec pertes (des signaux audio ou vid´eo )On tol`ere que l"image restitu´ee apr`es d´ecompression soitun peu diff´erente, si cela fait gagner de l"espace.compression sans perte (donn´ees textuelles ounum´eriques)Vincent VajnovszkiCompression de donn´eesG´en´eralement, l"utilisation d"un proc´ed´e avec pertes am´eliorela compression.Intuitivement, lacompression de donn´eesest r´ealis´ee endiminuant la redondance de l"entr´ee, ce qui a aussi pour effetde rendre la donn´ee moins fiable, plus sujette aux erreurs.Le but descodes correcteurs d"erreursest de rendre unedonn´ee plus fiable, au prix d"une redondance accrue.Vincent VajnovszkiCompression de donn´eesG´en´eralement, l"utilisation d"un proc´ed´e avec pertes am´eliorela compression.Intuitivement, lacompression de donn´eesest r´ealis´ee endiminuant la redondance de l"entr´ee, ce qui a aussi pour effetde rendre la donn´ee moins fiable, plus sujette aux erreurs.Le but descodes correcteurs d"erreursest de rendre unedonn´ee plus fiable, au prix d"une redondance accrue.Vincent VajnovszkiCompression de donn´eesG´en´eralement, l"utilisation d"un proc´ed´e avec pertes am´eliorela compression.Intuitivement, lacompression de donn´eesest r´ealis´ee endiminuant la redondance de l"entr´ee, ce qui a aussi pour effetde rendre la donn´ee moins fiable, plus sujette aux erreurs.Le but descodes correcteurs d"erreursest de rendre unedonn´ee plus fiable, au prix d"une redondance accrue.Vincent VajnovszkiCompression de donn´eesLes m´ethodes actuelles de compression permettent de gagner50 pour cent pour les fichiertexte80 pour cent pour les imagesfixes95 pour cent pour pour unfilmD´efinition-L "algorithmede compression est le prog rammequi comprime la donn´ee bruteBfournie en entr´ee et cr´ee ensortie une donn´ee comprim´eeC.-L "algorithmede d ´ecompression effectue l"op´erationinverse, souvent appel´ee reconstruction.La longueur deCest une mesure num´erique du contenuen information deB.Vincent VajnovszkiCompression de donn´eesalgorithme sym´etrique= l"algorithme de compression etcelui de d´ecompression utilisent le mˆeme programme quitravaille de mani`ere sym´etrique (et dans la mˆemecomplexit´e en temps).algorithme asym´etrique= les deux algorithmes n"utilisentpas le mˆeme programme l"un ou l"autre des deuxalgorithmes effectue un travail plus cons´equent.

C"est enparticulier le cas pour les algorithmes utilis´es pour lacompression des donn´ees sur un DVD o`u la compressionest faite une seule fois`a la cr´eation et la d´ecompressionest utilis´ee`a chaque utilisation.Vincent VajnovszkiCompression de donn´eesD´efinition-le r apportde compression, jCjjBj<1.

Une valeur de 0,6signifie quejBja´et´e r´eduit de 40%-le f acteurde compression, jBjjCj>1 (rapport inverse durapport de compression).

Plus la compression est grande,plus le facteur de compression croˆıt.H´elas, les m´ethodes parfaites de compression(mentionn´ees par la th´eorie) sont des m´ethodes id´ealesdont on d´emontre qu"elles ne sont pas programmables:aucun algorithme ne permettra jamais de calculer lescompressions optimales ! Le recours`a des m´ethodes decompression particuli`eres et imparfaites est doncin´evitable.Vincent VajnovszkiCompression de donn´eesD´efinition-le r apportde compression, jCjjBj<1.

Une valeur de 0,6signifie quejBja´et´e r´eduit de 40%-le f acteurde compression, jBjjCj>1 (rapport inverse durapport de compression).

Plus la compression est grande,plus le facteur de compression croˆıt.H´elas, les m´ethodes parfaites de compression(mentionn´ees par la th´eorie) sont des m´ethodes id´ealesdont on d´emontre qu"elles ne sont pas programmables:aucun algorithme ne permettra jamais de calculer lescompressions optimales ! Le recours`a des m´ethodes decompression particuli`eres et imparfaites est doncin´evitable.Vincent VajnovszkiCompression de donn´eesD´efinition-le r apportde compression, jCjjBj<1.

Une valeur de 0,6signifie quejBja´et´e r´eduit de 40%-le f acteurde compression, jBjjCj>1 (rapport inverse durapport de compression).

Plus la compression est grande,plus le facteur de compression croˆıt.H´elas, les m´ethodes parfaites de compression(mentionn´ees par la th´eorie) sont des m´ethodes id´ealesdont on d´emontre qu"elles ne sont pas programmables:aucun algorithme ne permettra jamais de calculer lescompressions optimales ! Le recours`a des m´ethodes decompression particuli`eres et imparfaites est doncin´evitable.Vincent VajnovszkiCompression de donn´eesD´efinition-le r apportde compression, jCjjBj<1.

Une valeur de 0,6signifie quejBja´et´e r´eduit de 40%-le f acteurde compression, jBjjCj>1 (rapport inverse durapport de compression).

Plus la compression est grande,plus le facteur de compression croˆıt.H´elas, les m´ethodes parfaites de compression(mentionn´ees par la th´eorie) sont des m´ethodes id´ealesdont on d´emontre qu"elles ne sont pas programmables:aucun algorithme ne permettra jamais de calculer lescompressions optimales ! Le recours`a des m´ethodes decompression particuli`eres et imparfaites est doncin´evitable.Vincent VajnovszkiCompression de donn´eesDistance de similarit´e = la mesure num´erique du contenucommun en informationApplications`a la classification des :languesmorceaux de musiquetextesimagesdonn´ees astronomiques´equence d"ADN Vincent VajnovszkiCompression de donn´eesSoientXetYles donn´ees`a classer etc(X) =la longueur de la versions comprim´ee deXc(Y) =la longueur de la versions comprim´ee deYc(XY) =la longueur de la versions comprim´ee deXY(Xsuivi deY)c(X) +c(Y)c(XY)est une mesure num´erique du contenucommun en information deXetY.Vincent VajnovszkiCompression de donn´eesSoientXetYles donn´ees`a classer etc(X) =la longueur de la versions comprim´ee deXc(Y) =la longueur de la versions comprim´ee deYc(XY) =la longueur de la versions comprim´ee deXY(Xsuivi deY)c(X) +c(Y)c(XY)est une mesure num´erique du contenucommun en information deXetY.Vincent VajnovszkiCompression de donn´eesSoientXetYles donn´ees`a classer etc(X) =la longueur de la versions comprim´ee deXc(Y) =la longueur de la versions comprim´ee deYc(XY) =la longueur de la versions comprim´ee deXY(Xsuivi deY)c(X) +c(Y)c(XY)est une mesure num´erique du contenucommun en information deXetY.Vincent VajnovszkiCompression de donn´eesLa distance de similarit´e entreXetYest d´efinie pard(X;Y) =(1c(X)+c(Y)c(XY)c(X)sic(X)c(Y)1c(X)+c(Y)c(XY)c(Y)sic(X)c(Y)plus le contenu commun en information deXetYestgrand, plus petite est la distanced(X;Y)plus les s´equencesXetYsont ind´ependantes (sanscorr´elation), plusd(X;Y)s"approche de 1Vincent VajnovszkiCompression de donn´eesLa distance de similarit´e entreXetYest d´efinie pard(X;Y) =(1c(X)+c(Y)c(XY)c(X)sic(X)c(Y)1c(X)+c(Y)c(XY)c(Y)sic(X)c(Y)plus le contenu commun en information deXetYestgrand, plus petite est la distanced(X;Y)plus les s´equencesXetYsont ind´ependantes (sanscorr´elation), plusd(X;Y)s"approche de 1Vincent VajnovszkiCompression de donn´eesLa distance de similarit´e entreXetYest d´efinie pard(X;Y) =(1c(X)+c(Y)c(XY)c(X)sic(X)c(Y)1c(X)+c(Y)c(XY)c(Y)sic(X)c(Y)plus le contenu commun en information deXetYestgrand, plus petite est la distanced(X;Y)plus les s´equencesXetYsont ind´ependantes (sanscorr´elation), plusd(X;Y)s"approche de 1Vincent VajnovszkiCompression de donn´eesM´ethodes na

ıvesLorsqu"un texte comporte un grand nombre d"espaces qui nesont pas adjacents il est possible de les retirer.Exemplele textePour r´eduire la longueurdevient le textecomprim´e:Pourr´eduirelalongueur et000010000000100100000000Vincent VajnovszkiCompression de donn´eesM´ethodes na

ıvesLorsqu"un texte comporte un grand nombre d"espaces qui nesont pas adjacents il est possible de les retirer.Exemplele textePour r´eduire la longueurdevient le textecomprim´e:Pourr´eduirelalongueur et000010000000100100000000Vincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de tˆeteSi on travaille sur une liste de mots tri´es dans l"ordrelexicographique.Principe: que deux mots successifs dans notre liste par tagentsouvent un mˆeme pr´efixepde longueur n.

On peut doncremplacer les lettres depdans le second mot parn, longueurdu pr´efixe commun.ExempleCodaCodaCod´e3´eCode-Barres3e- BarresCoder4rCodeur4urCodicille3icilleVincent VajnovszkiCompression de donn´eesCompression de