[PDF] Estimation paramétrique que la loi de X

View - Download Estimation paramétrique

Previous PDF

Next PDF

Estimation paramétrique

Estimation paramétrique

Retour au

plan du cours Soit( ;A;P)un espace probabilisé etXune v.a. de( ;A)dans(E;E). La donnée d"un modèle statistique c"est la donnée d"une famille de proba- bilités sur(E;E),fP; 2g. Le modèle étant donné, on suppose alors que la loi deXappartient au modèlefP; 2g. Par exemple dans le modèle de Bernoulli,X= (X1;:::;Xn)où lesXisont i.i.d. de loi de Bernoulli de paramètre2]0;1[.E=f0;1gn,E=P(E), =]0;1[et P = ((1)0+1) n.

1 Premières définitions

DÉFINITION1. - On dit que le modèlefP; 2gest identifiable si l"ap- plication ! fP; 2g 7!P est injective. DÉFINITION2. - Soitg: 7!Rk. On appelle estimateur deg()au vu de l"observationX, toute applicationT:

7!Rkde la formeT=h(X)où

h:E7!Rkmesurable. Un estimateur ne doit pas dépendre de la quantitég()que l"on cherche à estimer. On introduit les propriètes suivantes d"un estimateur : DÉFINITION3. -Test un estimateur sans biais deg()si pour tout2, E [T] =g(). Dans le cas contraire, on dit que l"estimateurTest biaisé et on appelle biais la quantitéE(T)g(). GénéralementXest un vecteur(X1;:::;Xn)d"observations (nétant le nombre d"entre elles). Un exemple important est le cas oùX1;:::;Xnforme unn-échantillonc"est à dire lorsque queX1;:::;Xnsont i.i.d. On peut alors

regarder des propriétés asymptotiques de l"estimateur, c"est à dire en faisanttendre le nombre d"observationsnvers+1. Dans ce cas, il est naturel de

noterT=Tncomme dépendant den. On a alors la définition suivante : DÉFINITION4. -Tnest un estimateur consistant deg()si pour tout2, T nconverge en probabilité versg()sousPlorsquen! 1. On définit le risque quadratique de l"estimateur dans le cas oùg()2R. DÉFINITION5. - SoitTnest un estimateur deg(). Le risque quadratique de T nest défini par

R(Tn;g()) =E[(Tng())2]:

Remarque. -Le risque quadratique est la somme de la variance et du carré du biais de l"estimateur. L"inégalité de Cramer-Rao et la définition de l"information de Fisher ont été vues en année 3 et ne sont pas rappelées ici.

2 Estimation par la méthode des moments

Dans cette section,Xest le vecteur formé par unn-échantillonX1;:::;Xn.

LesXisont à valeurs dans un ensembleX.

Soitf= (f1;:::;fk)une application deXdansRktelle que l"application !Rk :7!E[f(X1)] soitinjective. On définit l"estimateur^ncomme la solution dans(quand elle existe) de l"équation () =1n n X i=1f(Xi):(1) Souvent, lorsqueX R, la fonction on prendfi(x) =xietcorrespond donc auième moment de la variablesX1sousP. Ce choix justifie le nom donné à la méthode. Voici quelques exemples d"estimateurs bâtis sur par cette méthode.1

Estimation paramétrique

2.1 Loi exponentielle

Icik= 1,Q=E()pour2R+. Comme pour tout,E[X1] = 1=

on prend() = 1=etf=Id:R+!R+. L"estimateur obtenu par la méthode des moments est n=1X noùX n=1n n X i=1X i: Par continuité de l"applicationx!1=x,^nest un estimateur consistant de.

Remarquons queX

n>0p.s. ce qui justifie l"égalité ci-dessus.

2.2 Loi uniforme

Icik= 1,Qest la loi uniforme sur[0;]avec >0. On a que pour tout,E[X1] ==2, on peut donc prendre par exemple() ==2et f=Id:R!R. L"estimateur obtenu par la méthode des moments est alors^n= 2X n. Cet estimateur est sans bias et consistant.

2.3 Loi gaussienne

Icik= 2, on prend= (m;)2RR+,Q=N(m;). Pour tout

= (m;),E[X1] =metE[X21] =m2+. On peut donc prendre, par exemple,f1(x) =xetf2(x) =x2ce qui donne(m;) = (m;m2+). L"estimateur obtenus par la méthode des moments vérifie ^mn=X net ^m2n+ ^n=1n n X i=1X 2i: c"est a dire n= X n;1n n X i=1 XiX n 2! L"estimateur est consistant mais l"estimateur de la variance est biaisé.

2.4 Propriétés asymptotiques

Notons() =E(1n

P n i=1f(Xi)). Supposons queX1;:::;Xnsont i.i.d.

de loiP0. Les résultats de consistance précédents étaient obtenus grâce au faitque d"une part,

1n n X i=1f(Xi)p:s:!(0); et donc, comme1existe et est continue au voisinage de(0), on en déduit que ^nexiste et vérifie np:s:!1(0) =0:

Mais que peut-on dire de la distance de

^nà0? Sous l"hypothèse que E

0[kfk2]<+1on a grâce au théorème central limite que

pn 1n n X i=1f(Xi)(0)!

Loi! Nk(0;(0));

où(0)la matrice covariance def(X1)sousP0. Elle est définie pouri;j2 f1;:::;kg i;j(0) =Cov0[fi(X1)fj(X1)]:

La Delta méthode (cf Proposition

16 ) va nous permettre de déduire un résultat similaire pour^n: THÉORÈME6. - Supposons quesoit de classeC1dedansRket que

02, et queD0 :Rk!Rksoit inversible. Supposons de plus que

E

0[kf(X1)k2]<+1et notons(0)la matrice covariance def(X1)sous

P

0. Alors sousP0:

^nexiste avec une probabilité tendant vers 1 on a la con vergenceen loi pn ^n0

Loi! N

0;(D0)1(0)

(D0)10 Démonstration. -CommeD0est inversible,Dreste inversible dans un voisinage de0et donc, d"après le théorème de l"inversion locale,réalise un difféomorphisme d"un voisinageUde0dansVun voisinage de(0). Par la2

Estimation paramétrique

loi des grands nombres, ^Yn=n1Pn i=1f(Xi)converge en probabilité (car p.s.) vers(0)et donc^Ynappartient àVavec une probabilité tendant vers 1 quandntend vers+1. Sur cet événement, l"équation (1) admet une unique

solution^ndans(par injectivité de) et cette solution vérifie^n2Uet^n= 1(^Yn)où1est définie deVdansU. On a par ailleurs,

pn ^n0 =pn ^n1^Yn=2V+pn ^n1^Yn2V0 pn ^n1^Yn=2V+pn[~1^Yn ~1((0))](2) où ~1(y) = 1(y)1y2V. Orpn ^n1^Yn=2Vconverge vers 0 en probabilité car pour tout" >0, P 0[apn ^n1^Yn=2V> "]P0[^Yn62V]!n!+10: D"après le lemme de Slutsky, il suffit donc de montrer que le second terme du membre de droite de ( 2 ) converge en loi vers la limite annoncée. Or par théoreme centrale limite vectoriel pn ^Yn(0)

Loi! N(0;(0));

et on conclut en utilisant la Proposition 16 .3 Estimation par maximum de vraisem- blance SoitfE;E;fP; 2ggun modèle statistique, oùRk(nous sommes dans un cadre paramétrique). On suppose qu"il existe une mesure-finiequi domine le modèle, c"est à dire que82,Padmet une densitép(;:)par rapport à. DÉFINITION7. - SoitXune observation. On appelle vraisemblance deX l"application !R+

7!p(;X):On appelle estimateur du maximum de vraisemblance de, tout élément^

demaximisant la vraisemblance , c"est à dire vérifiant = argmax2p(;X): Remarque. -L"estimateur de maximum de vraisemblance n"existe pas tou- jours et n"est pas toujours unique. Considérons le cas typique oùX= (X1;:::;Xn)0, lesXiformant unn- R k. On suppose en outre que pour tout2,Qest absolument continue par rapport à une mesuresurX. Dans ce cas, en notant q(;x) =dQd (x); et en prenant= non a que la vraisemblance s"écrit p(;X) =nY i=1q(;Xi) et donc n= argmax21n n X i=1log[q(;Xi)]; avec la conventionlog(0) =1. Voyons quelques exemples.

3.1 Modèle de Bernoulli

SoitQ0=B()avec2[0;1] = , etla mesure de comptage surN.

Pour tout2]0;1[etx2 f0;1g

q(;x) =x(1)1x= (1)exp[xlog1 et donc l"estimateur du maximum de vraisemblance doit maximiser dans[0;1] log

Sn(1)nSn=Snlog1

+nlog(1); ce qui conduit à ^n=X.3

Estimation paramétrique

3.2 Lois exponentielles

SoitQ=E()avec2=]0;+1[,=1R+dx. On a pour toutx >0,

q(;x) =expx; et le maximum de vraisemblance ^nmaximisant nlog()Sn; est donné par ^=X1.

3.3 Lois de Poisson

SoitQ=P()avec2 =]0;+1[etla mesure de comptage surN.

On a pour toutx2N,

q(;x) =xx!e=eexp[xlog()ln(x!)]: L"estimateur du maximum de vraisemblance maximisant S nlog()n; est donné par ^n=X.

4 Estimateurs exhaustifs complets

DÉFINITION8. - On dit qu"un estimateurTest exhaustif (ou suffisant) si pour tout ensembleB2 E, il existe une version de l"espérance conditionnelle E [1X2BjT]qui ne dépend pas de. Exemple. -SoitX1;:::;Xni.i.d. de loi de Bernoulli de paramètre.S= X

1+:::+Xnest une statistique exhaustive. La loi de(X1;:::;Xn)=S=s

ne dépend pas de.

THÉORÈME9. -Théorème de factorisation

Si la vraisemblance de l"observationXs"écrit sous la forme f(X;) =h(X)g(T(X)); alorsT(X)est une statistique exhaustive.Exemples X

1;:::;Xni.i.d. de loi de Bernoulli de paramètre,

X

1;:::;Xni.i.d. de loi de normaleN(;1).

PROPOSITION10. - SoitTune statistique exhaustif etVun estimateur de g()tel queE(V2)<+1 82. SoitT=E(V=T).Test indépendant deet pour tout2, E ((Tg())2)E((Vg())2); ce qui signifie que le risque quadratique deTpour estimerg()est inférieur ou égal à celui deV. DÉFINITION11. - SoitTest un estimateur sans biais deg(). On dit que Test uniformément de variance minimale parmi les estimateurs sans biais (UMVB) si, pour tout estimateur sans biaisUdeg(), on a

82;R(T;g())R(U;g());

oùRdésigne le risque quadratique. SoitTun estimateur exhaustif deg(). On désire introduire une notion qui garantisse l"unicité d"un estimateur (T)qui a les deux propriétés suivantes :

1) (T)est sans biais.

2) Parmi les les estimateurs sans biais, il est de variance minimale.

S"il existe un unique estimateur sans biais deg()fonction deTalors E ( 1(T)) =E( 2(T)) =g()82 =) 1(T) = 2(T)Pp:s:8: DÉFINITION12. - Une statistiqueTest complète si pour toute fonction telle que E (j (T)j)<+1 82; on a E ( (T)) = 082 =) (T) = 0Pp:s:8:4

Estimation paramétrique

SiTest une statistique complète et si 1(T)et 2(T)sont deux estimateurs sans biais deg(), alors 1(T) = 2(T)p.s.

Exemple des modèles exponentiels:

DÉFINITION13. - S"il existe une mesure de référencetelle que la loiP admette une densité par rapport àde la forme f(;x) =C()exp(hT(x);Q()i; le modèle est dit exponentiel. PROPOSITION14. - Dans un modèle exponentiel,T(X)est une statistique exhaustive. De plus, siQ()contient un ouvert non vide deRk, alorsT(X) est complète. PROPOSITION15.- Supposonsqu"ilexisteaumoinsunestimateursansbiais deg()et queTsoit exhaustive complète. Alors il existe un unique estimateur sans biais deg()fonction deT, et cet estimateur est UMVB. Remarque. -Si l"objectif est de minimiser le risque quadratique, on a parfois intérêt à considérer des estimateurs qui sont biaisés.

5 Annexe : rappels sur les convergences

PROPOSITION16. - (Delta-Méthode) SoitXnune suite de v.a. à valeurs dans R ket2Rktels que r n(Xn)Loi!Y; oùrnest une suite de réels positifs tendant vers+1. Soitfune application deRkdansRmdifferentiable en. On a alors que f(Xn)Prob!f() etrn(f(Xn)f())Loi!Df[Y]: Remarque. -Ce résultat permet d"étendre à d"autres v.a. le théorème central limite. Classiquement,Ysuit une loi gaussienneN(0;)et dans ce cas D f[Y] N0;(Df)(Df)0:Remarquons que l"on ne suppose rien sur la régularité defailleurs qu"en. Notons aussi que l"on ne suppose pasDf6= 0et donc la limite peut-etre nulle

éventuellement.

5quotesdbs_dbs35.pdfusesText_40

[PDF] nom resultat addition

[PDF] loi uniforme exemple

[PDF] variance loi uniforme démonstration

[PDF] fonction de répartition loi uniforme discrète

[PDF] variable statistique discrète

[PDF] la leçon (pièce de théâtre)

[PDF] ionesco la cantatrice chauve

[PDF] ionesco mouvement littéraire

[PDF] ionesco rhinocéros résumé

[PDF] fonction de service technologie 5ème

[PDF] fonction de service d'une maison

[PDF] fonction de contrainte

[PDF] différence entre fonction de service et fonction technique

[PDF] difference entre fonction de service et fonction d'usage

[PDF] fonction de service exemple