[PDF] Super-résolution: Création dune séquence dimages hautes

View - Download Super-résolution: Création dune séquence dimages hautes

Previous PDF

Next PDF

Master 2 Recherche

Automatique et traitement du signal et des images

Université Paris-Sud 11 (UPS)

Super-résolution: Création d"une séquence d"images hautes résolutions à partir d"une séquence d"images basses résolution.

Ning CHU

Maîtres de stage:

Ali Mohammad-Djafari (Directeur de recherche CNRS) Nicolas Gac (Maître de conferences a l"université Paris Sud11) Groupe Problèmes Inverses (GPI) Laboratoire des signaux etsystèmes (L2S), Supélec, France

25 juin 2010

Résumé

La restauration de l"image Super Résolue (SR) comporte essentiellement trois étapes : l"estimation

de recalage globale (translation, rotation et le facteur dezoom), l"estimation des fonction de trans-

fert optique (FTO) et la reconstruction de l"image de Haute Résolution (HR). Dans ce rapport, nous améliorons d"abord la fonction de phase de corrélation(PC) pour estimer la translation sous-pixellique, la rotation arbitraire et le facteur de zoom arbitraire. A l"aide des paramètres

estimés, on peut avoir une bonne initialisation pour la restauration de l"image de haute résolution

(HR). Cette méthode est plus rapide et plus précise que les méthodes standard. Nous proposons

4 modèles d"a priori basés sur l"approche bayésienne pour l"etape de la déconvolution. De plus,

nous améliorons le modèle d"a priori de Gauss-Markov-Pottspour estimer à la fois le recalage,

restaurer l"image de haute resolution (HR). Notre méthode,modèle et algorithmes sont testées

et comparées avec d"autres méthodes par simulations et expériences pratiques.

Mots clés

Super Résolution,approche bayésienne,Gauss-Markov-Potts modèle à priori

Abstract

The reconstruction of Super Resolution (SR) image can be considered in three processes: motion estimation, Point Spread Function (PSF) estimation and high resolution (HR) image restauration.

In this report, we first improve the phase correlation fuction (PC) in order to estimate the sub-pixel

displacement and the arbitrary rotation, as well as the arbitrary zoom factor. These parametres estimated can better initialize the restauration of HR image. This method is much faster and more precise than the standard methods. And then we propose 4a priori modeles based on the bayesienne approche for deconvolution. And we improve the modele of Gauss-Markov-Potts in order to estimate simultaniously the global mouvement, as well as reconstruct the HR images. Our method is tested and compared to other approaches in both simulations and practical expriments. keywords Super Resolution,Bayesian estimation,a prior modeling i

GLOSSAIRE

•SR : Super Resolution

•image BR : image de Basse Résolution

•image HR : image de Haute Résolution

•image SR : image de Super Résolution

•FTO : Fonction de Transfert Optique

•PSF : Point Spread Function

•TF : Transformation de Fourier

•CP : Corrélation de Phase

•GMP : Gauss-Markov-Potts

•MISO : Multi-Input Single-Output

•MIMO : Multi-Input Multi-Output

•TRF : Transformation Rapide de Fourier

•TIF : Transformation Inverse de Fourier

•TDF : Transformation Discrète de Fourier

•I.I.D : Indépendant et Identiquement Distribué

•MAP : Maximum a Posteriori

•CM : Champs de Markov

•MIGM : Mélange Indépendant de Gauss-Markov

•MGP : Modèle de Gauss-Potts

•MGI : Modèle Guassien et Indépendant

•IRP : Itérative Rétro-Projection

•RSR : Robuste Super-Résolution

•TFM : Transformation de Fourier Mellin

ii

Contents

1 Introduction générale2

2 La Super-Résolution : un probème inverse4

2.1 Principe de la Super-Resolution . . . . . . . . . . . . . . . . . . . .. . . . . . 4

2.2 Modèle direct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.3 Problème inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6

3 Recalage par la méthode Corrélation de Phase 8

3.1 Etat de l"art de l"estimation de mouvement . . . . . . . . . . . .. . . . . . . . 8

3.2 Estimation du mouvement par la fonction CP . . . . . . . . . . . .. . . . . . . 9

3.2.1 Estimation de la rotation . . . . . . . . . . . . . . . . . . . . . . . .. 9

3.2.2 Estimation de la translation sous-pixellique . . . . . .. . . . . . . . . . 10

3.3 Extention de la méthode CP . . . . . . . . . . . . . . . . . . . . . . . . . .. . 11

3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4 Restauration d"images HR par modèle du Gauss-Markov-Potts 15

4.1 Approche d"estimation bayesienne . . . . . . . . . . . . . . . . . .. . . . . . . 15

4.2 Optimisation avec regularisation . . . . . . . . . . . . . . . . . .. . . . . . . . 16

4.3 Modèles a priori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

4.3.1 Modèle de mélange de gaussienne indépendantes(MGI): . . . . . . . . 20

4.3.2 Modèle de mélange indépendant de Gauss-Markov(MIGM): . . . . . . 21

4.3.3 Modèle de Gauss-Potts(MGP): . . . . . . . . . . . . . . . . . . . . . 22

4.3.4 Modèle de Gauss-Markov-Potts(MGMP): . . . . . . . . . . . . . . . 22

4.4 Modèle de Gauss-Markov-Potts . . . . . . . . . . . . . . . . . . . . . .. . . . 24

5 Résultats de simulations26

5.1 Estimation du mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 26

iii

5.1.1 Rotation et translation . . . . . . . . . . . . . . . . . . . . . . . . .. . 26

5.1.2 Zoom et rotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

5.2 Evaluation des performances des restaurations . . . . . . .. . . . . . . . . . . 30

6 Conclusions et perspectives33

6.1 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

6.2 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

Bibliography39

iv

List of Figures

1.1 Super résolution dans traitement de l"image . . . . . . . . . .. . . . . . . . . . 2

2.1 Approche MIMO : Génération d"une séquence d"images HR à partir d"une séquence

BR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 Schéma direct du Problème Inverse du SR . . . . . . . . . . . . . . .. . . . . 7

2.3 Schéma itérative du Problème Inverse du SR . . . . . . . . . . . .. . . . . . . 7

3.1 Lien des TF entre l"image originale et l"image avec rotation et zoom . . . . . . . 10

3.2Bmnles sous-supports rectangulaires disjoints . . . . . . . . . . . .. . . . . . . 12

3.3 Processus de recalage . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 14

4.1 Schéma général d"une approche bayésienne simple . . . . . .. . . . . . . . . . 16

4.2 Schéma général d"une approche bayésienne avec l"estimation des hyperparamètres

et restauration de l"image HR. . . . . . . . . . . . . . . . . . . . . . . . . .. . 18

4.3 Un exemple d"image avec étiquettesz(r). . . . . . . . . . . . . . . . . . . . . . 19

4.4 Schèma général d"une approche bayésienne avec un modèlea priori de Gauss-

Markov-Potts(GMP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4.5 Modèle de mélange de gaussienne indépendantes(MGI). . . . . . . . . . . . 20

4.6 Modèle de mélange indépendant de Gauss-Markov(MIGM). . . . . . . . . . 21

4.7 Modèle de Gauss-Potts(MGP). . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.8 Modèle de Gauss-Markov-Potts(MGMP). . . . . . . . . . . . . . . . . . . . 23

4.9 Les contoursc(r)de l"image. . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.1 Image HR de taille1280×1024. . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.2 Quatre images BR de taille320×256. . . . . . . . . . . . . . . . . . . . . . . 27

5.3 Image originale et ses recalages et interpolations simples . . . . . . . . . . . . . 28

5.4 Estimation du zoom et rotation . . . . . . . . . . . . . . . . . . . . . .. . . . 31

5.5 Comparation entre 3 methodes pour restauration . . . . . . .. . . . . . . . . . 32

v

List of Tables

5.1 Estimation du mouvement avec la méthode de Vandewalle etal . . . . . . . . . 28

5.2 Estimation du mouvement avec la méthode de Keren et al . . .. . . . . . . . . 29

5.3 Estimation du mouvement avec notre méthode basée sur CP et sa extension . . 29

5.4 Estimation du zoom et rotation avec notre méthode basée sur CP et sa extension 29

5.5 Estimation du zoom et rotation avec la Transformation deFourrier Meillin (TFM) 30

5.6 Evaluation des performances en fonction du distance L1 et L2 . . . . . . . . . . 30

vi

Notations

Fonctions Expression

image de haute resolusion (HR)f image de super resolusion (SR) ˆf k ièmeimage de basse resolusion (BR)gk ensemble des images BRg bruit additif correspondant à lakimeimage BRεk ensemble des bruits additifsε transpose de matricet déconvolution sur image BRBt interpolation sur image HRDt recalage sur image BRgkMtk

Opérateur Expression

convolution de la réponse impulsionnelleB sous-échantillonnageD transformation géométriqueMk opérateur global qui relie l"image HR f aux images BRHk ensemble des opérateurs globauxH

Paramètres Expression

translationΔr rotationΔθ zooma 1 1

Introduction générale

Le travail dans ce rapport s"intéresse à la reconstruction d"une image de Haute-Résolution (HR) à

partir d"une séquence d"images de basse résolution (BR). Ils"agit donc d"augmenter la résolution

spatiale (nombre de pixels de l"image) et d"améliorer le niveau de detail de l"image. Il y a beaucoup

d"applications civiles ou militaires telles que la détection, la reconnaissance et l"identification de

cibles. Dans le cas des vidéos infrarouges, par exemple, la resolution est souvent limitée par le

coût et la taille du capteur de haute définition. Les techniques de super-resolution (SR) sont

aussi appelées restauration multi-images, puisque la restauration est un traitement s"appliquant à

une seule image, alors que les techniques de SR, utilisent une séquence d"images en même temps

pour produire une ou plusieurs images super-résolues. Ces dernières années, plusieurs travaux

ont été consacrés à la SR par exemple [Nguyen 01][Borman 04][Humblot 05] [Gillette ]. On peut

citer quelques domaines d"applications:

•l"imagerie infra-rouge [Farsiu 04a][Huang 84]

•l"imagerie satellitaire [Omrane 04][Sheppard 98]

•l"imagerie astronomique [Corral 02]

•l"imagerie SAR [Xu 05][Schultz 96]

•l"amélioration de la vidéo et restauration [Alvarez 04][Shechtman 05][Patti 97] •la conversion des standards vidéo [Chen 98] •la restauration des flux vidéo compressés [Patti 01][Gunturk 04][Lin 08][Foroosh 02] Figure 1.1: Super résolution dans traitement de l"image 2

Page 3

Ces images BR peuvent être extraites d"une séquence vidéo obtenue soit à partir d"une camera

fixée montrant une scène en mouvement [Omrane 04][Keren 88][Capel 03][Schultz 98], soit d"une caméra en mouvement observant une scène fixée [Omrane 04][Keren 88] [Capel 03][Zomet 01]

[Farsiu 04b][Elad 97][Vandewalle 05], soit de plusieurs caméras fixées observant une même scène

[Chen 98][Vandewalle 05][Humblot 05][Argyriou 03]. Le mouvement et l"information non redon-

dante rendent possible la SR. Chaque image BR doit fournir une vue différente de la même scène.

Ainsi, l"image HR obtenue contient plus d"informations utiles que les images BR initiales. Dans

un processus de traitement des images en super résolution (SR); il y a trois étapes importantes :

•le recalage des images BR. Le recalage est une technique qui consiste en la mise en cor- respondance d"images, ceci afin de pouvoir comparer ou combiner leurs informations re- spectives. Cette mise en correspondance se fait par la recherche d"une transformation géométrique permettant de passer d"une image à une autre, par exemple, l"estimations de displacement, rotation et zoom; •l"estimation de Fonction de Transfert Optique (FTO) et déconvolution des images BR. La FTO est la Transformation de Fourrier (TF) de la réponse impulsionnelle du systeme optique (Point Spread Function, PSF). Elle nous donne l"effet d"un filtre fréquentiel passe- bas. L"image observé donc obetnue par de convolution entre image HR et la PSF est l"image BR. La déconvolution est l"opération inverse de la convolution et elle permet de retrouver des fréquences hautes dans l"image HR qui ont été coupées par la FTO;

•la fusion d"une séquence d"images HR. Après la déconvolution, on peut obtenir une séquence

d"images HR a partir une séquence d"image BR. La fusion des images HR est utiliser l"information nonrencondante dans images HR respectives.L"interpolation est une des methodes le plus simple .

Pour créer une image HR à partir des images BR, plusieurs algorithmes ont été proposés dans les

littératures : •les algorithmes d"estimation des paramètres de translation sous-pixellique et la rotation basées sur les méthodes dans le domaine fréquentiel [Omrane04][Keren 88] [Capel 03] [Zomet 01][Vandewalle 05][Dekeyser 00];quotesdbs_dbs25.pdfusesText_31

[PDF] Basse saison - Camping de la Cascade - Anciens Et Réunions

[PDF] basse saison - Hotel Annecy – La Villa Du Lac - Garderie Et Préscolaire

[PDF] Basse saison 2016 - Manoir de Lan Kerellec

[PDF] basse saison moyenne saison haute saison - Hôtel Saint-Paul

[PDF] Basse tension

[PDF] Basse tension, CEM, RTTE : Savoir répondre aux exigences du

[PDF] basse vallee de l`arnon

[PDF] basse warlock - Anciens Et Réunions

[PDF] BASSE-COUR

[PDF] Basse-Indre Appartement 2 chambres 87,15 m² 169900 € HAI

[PDF] Basse-Normandie - Anciens Et Réunions

[PDF] Basse-Normandie - Données Publiques de Météo - Anciens Et Réunions

[PDF] Basse-Normandie - Fondation Médéric Alzheimer - France

[PDF] Basse-Normandie - Hôpital Saint-Lo - France

[PDF] Basse-Normandie - Professions Bois