[PDF] Problèmes inverses Partie 2 — Chapitre 3 Estimation par maximum

View - Download Problèmes inverses Partie 2 — Chapitre 3 Estimation par maximum

Previous PDF

Next PDF

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Problèmes inverses

Partie 2 - Chapitre 3

Estimation par maximum de vraisemblance

Nicolas Champagnat

Ecole des Mines de Nancy, 05/05/2020

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

1Introduction

2Vraisemblance

3Estimation par maximum de vraisemblance : définition

4Information de Kullback-Leibler

5EMV : consistance

6Information de Fisher

7EMV : normalité asymptotique

8EMV : efficacité asymptotique

9Intervalles de confiance et test de Wald

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Modèle discret, modèle continu

On considère le modèle statistique paramétrique

Hn;fPg2:

On suppose que le paramètre d"intérêt est(cf.-méthode du chapitre précédent pour en déduire le cas général)

On se restreindra à deux cas :

Le cas discret , oùHest un ensemble fini ou dénombrable :Pest caractérisée par les probabilités des événements élémentaires P f(X1;:::;Xn) = (x1;:::;xn)g;8(x1;:::;xn)2 Hn: Le cas continu , oùH Rket on suppose quePestabsolument continue par rapport à la mesure de Lebesgue : Pest caractérisée par sa densité f (x1;:::;xn);8(x1;:::;xn)2 Hn:

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

1Introduction

2Vraisemblance

3Estimation par maximum de vraisemblance : définition

4Information de Kullback-Leibler

5EMV : consistance

6Information de Fisher

7EMV : normalité asymptotique

8EMV : efficacité asymptotique

9Intervalles de confiance et test de Wald

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Un exemple discret

Au jeu de pile-ou-face, supposons qu"on observe les trois lancers PPF, c-à-d(x1;x2;x3) = (0;0;1)

Pour la valeur1=1=2 du paramètre,

P

1((X1;X2;X3) = (0;0;1)) =12

3 =18

Pour la valeur2=1=4, cette probabilité est

P

2((X1;X2;X3) = (0;0;1)) =14

14 34
=364 Puisque 3=64<1=8, la valeur1du paramètre estplus vraisemblable que la valeur2. Ceci revient à étudier la fonction7!P((X1;X2;X3) = (0;0;1)), et comparer ses valeurs en1et2.

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Un exemple continu

Considérons le modèle statistique gaussien d"échantillon de taille 1 (R;fN(;1)g2R):

Supposons que l"observationxest 0.

On a P (X2[0;dx]) =f(0)dx=1p2e22 dx; oùdxpeut-être interprété comme une incertitude sur l"observation. La valeur1=0 du paramètre donne une probabilité 1=p2dxaux observations.

La valeur2=1 donne une probabilitée1=2=p2dx.

Ainsi, la valeur1du paramètre estplus vraisemblable que la v aleur2.

Ceci revient à

comparer les densités des lois du modèle statistique, évaluées sur les observations (icix=0), c-à-d étudier la fonction

7!f(0).

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Vraisemblance

Définition

On considère le modèle statistique(Hn;fPg2)et une observation (x1;:::;xn)2 Hn.

Dans le

cas discr et , la vr aisemblance de l"observation (x1;:::;xn)est l"application dedans[0;1]définie par

7!P((X1;:::;Xn) = (x1;:::;xn)):

Dans le

cas continu , la vr aisemblance de l"observation (x1;:::;xn)est l"application dedans[0;1]définie par

7!f(x1;:::;xn);

où f est la densité de la loiP. Dans tous les cas, on note7!Ln(x1;:::;xn;)lafonction de vraisemblance définie ci-dessus.

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Notations

On définit également

7!`n(x1;:::;xn;) =logLn(x1;:::;xn;)

la fonction de log-vraisemblance Pour alléger les écritures, on noteraX= (X1;:::;Xn)etx= (x1;:::;xn). Ainsi, la fonction de vraisemblance s"écriraLn(x;).

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Exemples

Dans le jeu de pile-ou-face

L n(x;) =nombre de pile(1)nombre de face=nxn(1)n(1xn);(1) où xn=1n P n i=1xiest la moyenne empirique des observations.

Dans le modèle statistique

Rn;N(m;2)

n m2R; >0 la vraisemblance dex1;:::;xns"écrit L n(x;) =nY i=11p2 e(xim)222=1(22)n=2exp P n i=1(xim)222

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Positivité de la vraisemblance

Proposition

Pour tout2,

L n(X;) =Ln(X1;:::;Xn;)>0;P-p.s.Démonstration : Dans le cas discret, le résultat est évident. En effet, pour tout(x1;:::;xn)2 Hn,Ln(x;)>0 ssiP(X=x)>0, puisque les deux quantités sont égales.

Dans le cas continu,

P (Ln(X;) =0) =Z fLn(;)=0gf (x)dx=Z fLn(;)=0gL n(x;)dx=0:

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Vraisemblance

Cas i.i.d. : une propriété évidente mais utile

Proposition

Si pour tout2,P=Q

n , alors L n(x1;:::;xn;) =nY i=1L(xi;)et`n(x1;:::;xn;) =nX i=1`(xi;); où L(x;) =L1(x;)et`(x;) =`1(x;).

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Estimation par maximum de vraisemblance : définition

1Introduction

2Vraisemblance

3Estimation par maximum de vraisemblance : définition

4Information de Kullback-Leibler

5EMV : consistance

6Information de Fisher

7EMV : normalité asymptotique

8EMV : efficacité asymptotique

9Intervalles de confiance et test de Wald

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Estimation par maximum de vraisemblance : définition

Estimateur du maximum de vraisemblance (EMV)

Abréviation EMV :

pour " estimationpar maximum de vraisemblance »ou "estimateur du maximum de vraisemblance» (en anglais, MLE=maximum likelihood estimator).

Intuition :

la probabilité sous Pdes observations(x1;:::;xn)doit être élevée pourproche de0, la valeur réelle du paramètre.Définition Un estimateur du maximum de vr aisemblance (EMV) de est un estimateur^=^(X1;:::;Xn)tel que L n(X1;:::;Xn;^) =sup 2L n(X1;:::;Xn;):Attention!pas nécessairement unicité d"un EMV .

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Estimation par maximum de vraisemblance : définition

Considérations pratiques

La construction d"un EMV nécessite de trouver un argmax de la vraisemblance, c"est-à-dire la solution d"un problème d"optimisation. Cette solution n"est généralement pas explicite, et nécessite dans les cas pratiques de réaliser une optimisation numérique , par ex. à l"aide des algorithmes de Newton-Raphson ou de Gauss-Newton. La vraisemblance n"est pas toujours explicite dans les modèles compliqués, où la denstié des observations est difficile à évaluer utiliser des méthodes d"approximation de densité , comme par exemple l"algorithme de

Metropolis-Hastings

ou les méthodes MCMC (Mark ov

Chain Monte Carlo).

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Estimation par maximum de vraisemblance : définition

Cas i.i.d.

Dans le cas d"échantillons i.i.d. (P=Q

n pour tout2), on préfère généralement chercher un EMV ^en maximisant la log-vraisemblance : n(X1;:::;Xn;^) =sup 2` n(X1;:::;Xn;) =sup 2n X i=1`(Xi;): En effet, les techniques de calcul différentiel sont souvent plus simples à mettre en oeuvre pour des sommes de fonctions que pour des produits.

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Estimation par maximum de vraisemblance : définition

Exemple du jeu de pile-ou-face

D"après (1), la log-vraisemblance est donnée par n(x1;:::;xn;) =nxnlog+n(1xn)log(1):

Ainsi,@@

`n(x1;:::;xn;) =nxn n(1xn)1 s"annule ssi=xn, est positive avant et négative après. La log-vraisemblance est donc maximale enxn, et il existe ununique

EMV^n=Xn:

Remarque :

c"est le même estimateur que par la méthode des moments (cf. chapitre précédent).

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Information de Kullback-Leibler

1Introduction

2Vraisemblance

3Estimation par maximum de vraisemblance : définition

4Information de Kullback-Leibler

5EMV : consistance

6Information de Fisher

7EMV : normalité asymptotique

8EMV : efficacité asymptotique

9Intervalles de confiance et test de Wald

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Information de Kullback-Leibler

Information de Kullback-Leibler

Objectif :

étudier la consistance de l"EMV .Définition

Pour tout;2, l"information de Kullback-Leibler(ou diver gencede

Kullback-Leibler

, ou entr opier elative ) entrePetPest K n(;) =ElogLn(X;)L n(X;)=E[`n(X;)`n(X;)] si`n(X;)et`n(X;)appartiennent àL1(P)etPest absolument continue par rapport àP et K n(;) = +1sinon.Remarque :lorsque Pest absolument continue par rapport àP, la densité dePpar rapport àPest donnée par L n(x;)L n(x;);8x2 Hn:

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Information de Kullback-Leibler

Exemple

Dans le jeu de pile-ou-face, d"après la formule (1), K n(;) =E n Xnlog +n(1Xn)log11 =nlog +n(1)log11:

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Information de Kullback-Leibler

Propriété fondamentale

L"information de Kullback-Leibler est une mesure de dissimilarité entre les loisPetP:Proposition

Pour tout;2,K n(;)0.

Si de plus le modèle statistique est identifiable, alors K n(;) =0si et seulement si=.

Intro.VraisemblanceDéfinitionInfo. de K.-L.EMV : consistanceInfo. de Fishernorm. asympt.Effic. asympt.Int. conf. et test de Wald

Information de Kullback-Leibler

Démonstration (1)

Supposons quePest absolument continue par rapport àP(sinon K n(;) = +1et il n"y a rien à démontrer). La fonctionlog est convexe, donc d"après l"inégalité de Jensen K n(;) logELn(X;)L n(X;):(2)

Dans le cas discret,

E

Ln(X;)L

n(X;)=X x2HnLquotesdbs_dbs1.pdfusesText_1

[PDF] information de fisher loi normale

[PDF] information et création numérique

[PDF] information génétique cours

[PDF] information génétique définition

[PDF] information genetique et division cellulaire

[PDF] information génétique wikipedia

[PDF] informatique 2eme année college

[PDF] informatique 3eme college

[PDF] informatique appliquée cours

[PDF] informatique de gestion pdf s4

[PDF] informatique fondamentale pdf

[PDF] informatique generale et internet

[PDF] informatique s1 smia pdf

[PDF] informe de auditoria de gestion ejemplo

[PDF] informe de auditoria de gestion ejemplos