[PDF] Mise `a niveau Comparaison destimateurs

View - Download Mise `a niveau Comparaison destimateurs

Previous PDF

Next PDF

Mise `a niveau

Comparaison d"estimateurs

A. Godichon-Baggioni

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueOBJECTIFS

On s"int

´eresse`a l"estimation d"un param`etre2d"une

variable al

´eatoireX, avecun intervalle ouvert deR. Les

objectifs sont donc : I

Comparer diff´erents estimateurs de.

I

Savoir si on peut parler d"estimateur optimal.

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueI. G´en´eralit´es

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueCOMPARAISON DES ERREURS QUADRATIQUES

MOYENNES

On rappelle qu"une fac¸on de quantifier la qualit

´e d"un

estimateur ^ndeest de consid´erer son risque quadratique EQM ^n; =E ^n 2

On consid

`ere que^nest un meilleur estimateur que~nsi

82;EQM^n;

EQM~n;

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueBIAIS D"UN ESTIMATEUR

On donne trop souvent trop d"importance au biais d"un estimateur! D ´ebiaiser un estimateur ne donne pas forc´ement de meilleurs r

´esultats!

Exemple :Soit >0 etX U([0;]). Comparer les erreurs quadratiques moyennes des estimateurs suivants : n=X(n) n=n+1n X(n) ;n=X(n) avec >0 choisi judicieusement. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueAPPROCHE ASYMPTOTIQUE

Le plus souvent, on dispose d"estimateurs

^n;~n asymptotiquement normaux, i.e il existe21et22telles que pn ^nL!n!+1N0;21; pn ~nL!n!+1N0;22:

Si2122, on choisira alors l"estimateur^n.

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueII. Information de Fisher

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueABSOLUE CONTINUIT´ED

´efinition

On dit qu"un fonction f d´efinie sur un intervalle ouvert I deRest absolument continue sur I si il existe une fonction int´egrable f 0 (appel´ee d´eriv´ee de f) telle que pour tout[a;b]I, on ait f(b)f(a) =Z b a f0(x)dx:Attention!La fonctionf0n"est d´efinie que presque partout (cf Th

´eor`eme de Lebesgue).

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueEXP´ERIENCE ET MOD`ELE STATISTIQUED

´efinition

Une exp´erience statistique est la donn´ee d"un objet al´eatoireXdans un espace mesurable(E;E), et d"une famille de lois(P)2sur cet espace, suppos´e contenir la loi P

X, et appel´e mod`ele statistique pour la

loi deX.Dans ce qui suit,est un intervalle ouvert deR, et on consid `ere un mod`ele statistique de la forme (P)2= (g;)2o`uest une mesure surE. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueMOD`ELE R´EGULIERD

´efinition

Le mod`ele(P)2est dit r´egulier si

I pourpresque tout x2E, l"application7!g(x)est absolument continue sur. I pour tout02, pourpresque tout x2E, l"application

7!g0(x)est continue en0.

I pour tout2, l"application x7!(g0(x))2g (x)1g(x)>0 est int´egrable sur E par rapport `a la mesureet d"int´egrale

I() =Z

E(g0(x))2g

(x)1g(x)>0(dx) continue sur. I()est alors appel´ee Information de Fisher du mod`ele. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueREMARQUE

Remarque :Si pour toutx2Ela fonction7!g(x)est de

classeC1, alors les deux premiers points de la d´efinition pr

´ec´edente sont v´erifi´es.

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemple 1 : la loi exponentielleSoitX E()avec

2 =R+, alors

g (x) =exet(dx) =1x0dx:

Le mod

`ele est r´egulier et

I() =1

2 G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemples 2 : la loi de BernoulliSoitX B()avec

2 = (0;1). Alors(dx) =0+1et

g (0) =1etg(1) =:

Le mod

`ele est r´egulier et on a

I() =1(1):

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemple 3 : la loi uniformeSoitX U([0;])avec

2 =R+, on a alors

g (x) =1

1[0;](x)et(dx) =1x0dx:

Le mod

`ele n"est pas r´egulier. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueSCORE ETINFORMATION DEFISHERD

´efinition

Notons l

(X) = log(g(X))la log-vraisemblance deX. Si les deux premiers points de la d´efinition pr´ec´edente sont satisfaits et si l"application 7!Eh (l0(X))2i est continue sur, alors le mod`ele est r´egulier et d"information de

Fisher

I() =Eh

(l0(X))2i =E" log(g(X)) 2#

La variable al´eatoire

l

0X() =@@

log(g(X)) =g0(X)g (X) est appel´ee le score. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueSCORE ETINFORMATION DEFISHERProposition

Si le mod`ele(g)2est r´egulier, alors

I() =V[l0X()]:

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemple 1 : la loi exponentielleSoit >0 etX E(). On retrouve bien

V[l0X()] =1

2=I() Exemple 2 : la loi de BernoulliSoit2(0;1)etX B(). On retrouve bien

V[l0(X)] =1(1)=I()

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueINFORMATION DEFISHER D"UN´ECHANTILLONProposition SoitX= (X1;:::;Xn)o`u les Xivariables al´eatoires i.i.d et X1admet f

comme densit´e par rapport `a une mesure. Si le mod`ele(f)2est r´egulier et d"information de Fisher I(), alors le mod`ele produit de

densit´e g (x1;:::;xn) =nY i=1f (xi) par rapport `a la mesure produit nest encore r´egulier et d"information de Fisher I n() =V[l0(X1;:::;Xn)] =nI(): G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemple 1 : la loi exponentielleSoit >0 etX= (X1;:::;Xn) o `u lesXisont i.i.d avecX1 E(). On retrouve bien I n() =V[l0(X1;:::;Xn)] =n

2=nI()

Exemple 2 : la loi de BernoulliSoit2(0;1)et

X= (X1;:::;Xn)o`u lesXisont i.i.d avecX1 B(). On

retrouve bien I n() =V[l0X()] =n(1)=nI(): G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueIII. In´egalit´e de l"Information et borne de

Cramer-Rao

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueOBJECTIF

L"objectif est de chercher

`a minorer l"erreur quadratique moyenne des estimateurs de. Dans ce qui suit on consid`ere X= (X1;:::;Xn)o`u lesXisont i.i.d et un estimateur^n=(X) de. On notera(f;)le mod`ele associ´e`aX1. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueIN´EGALIT´E DE L"INFORMATIONProposition Soit(f;)2un mod`ele r´egulier et^nun estimateur dedont l"erreur quadratique moyenne est localement born´ee, et de biais b() =Eh^ni . Alors, si I()>0, EQM ^n; =E ^n 2 b()2+(1+b0())2I n(): G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueREMARQUE

Remarque :L"in´egalit´e de l"Information de nous aide en aucun cas pour comparer des estimateurs. La borne est propre `a chaque estimateur et l"atteindre ne signifie aucunement que l"on a un bon estimateur.

Exemple :On prend2Ret^n=0. On a bien

EQM ^n; =b()2+(1+b0())2I n() mais l"estimateur "n"est pas bon". G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueBORNE DECRAMER-RAOCorollaire

Soit(f;)2un mod`ele r´egulier et^nun estimateur sans biais de de variance locallement born´ee, alors EQM ^n; =Vh^ni 1I n() Un estimateur atteignant cette borne est dit efficace. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLE

Exemple : la loi de BernoulliSoientX1;:::;Xndes variables al ´eatoires ind´ependantes suivant une loi de Bernoulli de param `etre2(0;1). L"estimateur^n=X nest efficace. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueIV. Efficacit´e asymptotique

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEFFICACIT´E ASYMPTOTIQUED

´efinition

Soit(f)2un mod`ele r´egulier d"information I()ne s"annulant pas sur. Soit^nun estimateur de. On dit que^nest asymptotiquement efficace si il existe2I()1tel que pn ^nL!n!1N0;2: G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueEXEMPLES

Exemple 1 : la loi de BernoulliSoientX1;:::;Xndes variables al ´eatoires ind´ependantes suivant une loi de Bernoulli de param `etre2(0;1). L"estimateur^nest asymptotiquement efficace. Exemple 2 : la loi exponentielleSoientX1;:::;Xndes variables al

´eatoires ind´ependantes suivant une loi

exponentielle de param `etre >0. L"estimateur^n=X 1 nest asymptotiquement efficace. G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit ´e asymptotiqueEMVET EFFICACIT´E ASYMPTOTIQUETh

´eor`eme

Soit(f)2un mod`ele r´egulier d"information de Fisher I(). Soit

02v´erifiant I(0)>0et X1;:::;Xndes variables al´eatoires i.i.d

de densit´e f

0. Si il existe un estimateur du maximum de

vraisemblance ^nqui converge vers0, et si il existe h>0tel que E 0" sup

0h0+hl0X()2#

<+1; alors pn ^n0

L!n!+1N

0;1I(0)

G

´en´eralit´esInformation de FisherIn

´egalit´e de l"Information et borne de Cramer-RaoEfficacit

´e asymptotiqueREMARQUE

Remarque :Si le mod`ele est r´egulier, il n"est pas possible de trouver un estimateur qui soit meilleur qu"un estimateur asymptotiquement efficace pour tout2. Cependant, il est possible d"en trouver qui soient meilleur pour tout20o`u

0est de mesure de Lebesgue nulle.

Exemple : estimateur de Hodge :SoitX N(;1)et on

consid `ere l"estimateur n=X n1jX nj>n1=4:

Que se passe-t-il si=0?

quotesdbs_dbs1.pdfusesText_1

[PDF] information de fisher loi normale

[PDF] information et création numérique

[PDF] information génétique cours

[PDF] information génétique définition

[PDF] information genetique et division cellulaire

[PDF] information génétique wikipedia

[PDF] informatique 2eme année college

[PDF] informatique 3eme college

[PDF] informatique appliquée cours

[PDF] informatique de gestion pdf s4

[PDF] informatique fondamentale pdf

[PDF] informatique generale et internet

[PDF] informatique s1 smia pdf

[PDF] informe de auditoria de gestion ejemplo

[PDF] informe de auditoria de gestion ejemplos