[PDF] STATISTIQUE : ESTIMATION Table des Matières. Chapitre

View - Download STATISTIQUE : ESTIMATION

Previous PDF

Next PDF

STATISTIQUE : ESTIMATION

Préparation à l"Agrégation Bordeaux 1

Année 2012 - 2013

Jean-Jacques Ruch

Table des Matières

Chapitre I. Estimation ponctuelle5

1. Définitions5

2. Critères de comparaison d"estimateurs 6

3. Exemples fondamentaux 6

3.a. Estimation dem6

3.b. Estimation de2en supposantmconnu 7

3.c. Estimation de2lorsquemest inconnu 7

4. Cas particulier de la loi normale 8

5. Construction d"estimateur par la méthode du maximum de vraisemblance 11

5.a. Cas discret11

5.b. Cas à densité12

Chapitre II. Estimation par intervalle13

1. Définition d"une région de confiance 13

2. Construction de régions de confiance 13

3. Exemples classiques d"estimation par intervalle 15

3.a. Estimation de la moyenne quand la variance est connue 15

3.b. Estimation de la moyenne quand la variance est inconnue 15

3.c. Estimation de la variance quand la moyenne est connue 16

3.d. Estimation de la variance quand la moyenne est inconnue 18

4. Comparaison de moyennes et de variances 18

4.a. Intervalle de confiance de la différence de deux moyenne 18

4.b. Intervalle de confiance du rapport de deux variances 20

5. Estimation d"une proportion 20

5.a. Estimation ponctuelle 21

5.b. Estimation par intervalle 21

5.c. Méthode du Bootstrap 22

3

CHAPITRE I

Estimation ponctuelle

En statistique, comme dans la théorie des probabilités le hasard intervient fortement. Mais dans la théorie

des probabilités, on suppose la loi connue précisément et on cherche à donner les caractéristiques de la

variable qui suit cette loi. L"objectif de la statistique est le contraire : à partir de la connaissance de la

variable, que peut-on dire de la loi de cette variable?

1. Définitions

SoitXune variable aléatoire dont la densité de probabilitéf(x;)dépend d"un paramètreappartenant

àIR. A l"aide d"un échantillon issu deX, il s"agit de déterminer au mieux la vraie valeur0de. On

pourra utiliser deux méthodes : -estimation ponctuelle: on calcule une valeur vraisemblable^de0

-estimation par intervalle: on cherche un intervalle dans lequel0se trouve avec une probabilité élevée.

Définition 1.Unn-échantillondeXest unn-uplet(X1;X2;:::;Xn)tel que lesXkont la même loi queXet sont indépendantes.

Uneréalisation de l"échantillonest alors unn-uplet(x1;x2;:::;xn)de valeurs prises par l"échantillon.Définition 2.Unestatistiquede l"échantillon est une variable aléatoire'(X1;X2;:::;Xn)où'est

une application deRndansR. UnestimateurTdeest une statistique à valeurs dansI. Uneestimationest la valeur de l"estimateur correspondant à une réalisation de l"échantillon.Exemple:X n=1n n X k=1X kest un estimateur de l"espérance mathématique. Définition 3.Lebiaisde l"estimateurTdeestE[T]0. S"il est nul, on dit queTest un estimateur sans biais. L"estimateurTnestasymptotiquement sans biaissilimE[Tn] =0.On note souvent le biaisb(T). Définition 4.L"estimateur est ditconvergentsi la suite(Tn)converge en probabilité vers0:

8" >0;P(jTn0j> ")!n!+10:

On parle d"estimateurfortement convergentlorsqu"on a convergence presque sûre.D"après Bienaymé-Tchebychev pour qu"un estimateur asymptotiquement sans biais soit convergent il

suffit que

Var(Tn)!n!+10:

5

6Chapitre I. Estimation ponctuelle

2. Critères de comparaison d"estimateurs

Un bon critère de comparaison est lerisque quadratique. Définition 5.SoientTun estimateur de. Le risque quadratique est défini par R(T;) =E[(T)2]On peut alors comparer deux estimateurs. Définition 6.On dit queT1est unmeilleur estimateurqueT2si

82I; R(T1;)R(T2;)

et

92I; R(T1;)< R(T2;):Un estimateur est ditadmissibles"il n"existe pas d"estimateur meilleur.

L"erreur quadratique moyenne deTse décompose en deux termes, le carré du biais et la variance deT:

E[(T)2] =b2(T) +Var(T):

Cette décomposition permet de se ramener à une discussion sur la variance pour les estimateurs sans

biais de. Définition 7.SoientT1etT2deux estimateurs sans biais de. On dit queT1est unplus efficace queT2si

82I;Var(T1)Var(T2)

et

92I;Var(T1)

Var(T1)Var(T2):

3. Exemples fondamentaux

SoitXune variable aléatoire telle queE[X] =met Var(X) =2.

3.a. Estimation dem.

Théorème 8.La moyenne empiriqueX

n=1n n X k=1X kest un estimateur sans biais et convergent dem.On a E[X n] =1n n X k=1E[Xk] =met Var(X n) =1n 2n X k=1Var[Xk] =2n !n!+10:

D"après la loi forte des grands nombresX

nest même fortemement convergent. Il est possible de déterminer la loi asymptotique de la moyenne empirique.

Jean-Jacques Ruch

3.Exemples fondamentaux7

Proposition 9.Sinest assez grand on peut utiliser l"approximation normale (lorsqueXadmet un moment d"ordre2)X nL N(m;2=n):C"est une conséquence du TCL qui nous assure que pn(X nm)L!n!+1N(0;2):

3.b. Estimation de2en supposantmconnu.

Théorème 10.Lorsquemest connu

S 2n=1n n X k=1(Xkm)2 est un estimateur sans biais et convergent de2.On a

E[S2n] =E"

1n n X k=1(Xkm)2# 1n n X k=1Var(Xk) =2 Par ailleurs, les variables(Xkm)2étant indépendantes :

Var(S2n) =1n

2n X k=1Var((Xkm)2) =1n

E[(Xm)4]E[(Xm)2]2=1n

44
aveck=E((Xm)k).

DoncS2nest un estimateur convergent. La loi forte des grands nombres appliquée aux variables(Xkm)2

entraîne même la convergence presque sûre vers2. Comme dans le cas de la moyenne empirique le TCL nous permet de déterminer la loi asymptotique de S

2n; on a lorsquenest assez grand :

S

2nL N(2;(44)=n):

3.c. Estimation de2lorsquemest inconnu.

En général on ne connaît pasm; on le remplace par un estimateur et on introduit la variance empirique

associée :S 2n=1n n X k=1(XkX n)2:

Théorème 11.La variance empiriqueS

2nest un estimateur biaisé et convergent de2. Il est asymptotique-

ment sans biais.On a E[S

2n] =1n

n X k=1E(X2k)E[X n2] =1n (n(m2+2))(m2+2n ) =n1n 2:

Jean-Jacques Ruch

8Chapitre I. Estimation ponctuelle

D"autre part, on peut montrer que :

Var(S

2n) =1n

442n

2424+1n

3434!0

aveck=E((Xm)k). L"estimateur est donc convergent.

Le résultat précédent et le lemme de Slutsky (Probabilité 2, Jean-Yves Ouvrard, p. 347) permet de

déterminer la loi asymptotique deS 2n:S

2nL N(2;(44)=n):

Théorème 12.La variance empirique corrigée c

S2n=1n1n

X k=1(XkX n)2: est un estimateur sans biais et convergent de2.Cela se montre facilement en remarquant que c

S2n=nn1S

2n:

4. Cas particulier de la loi normale

On suppose dans ce paragraphe queXsuit la loi normaleN(m;2). On sait queX n=1n n X k=1X ksuit alors la loi normaleN(m;2=n), ce qui confime que c"est un estimateur sans biais, convergent dem.

Les résultats obtenus au paragraphe précédent pour l"estimation de2sont encore valables; en particulier

on a :

E(S2n) =2et Var(S2n) =2(n1)n

24

En effet, calculonsk

k=E((Xm)k) =1p2Z +1 1 (xm)kexp (xm)22 dx 1p2Z +1 1 (p2u)kexp(u2)p2duen posantx=mp2u = 0sikest impair.

Lorsquek= 2pest pair on obtient

2p=2p2pp

Z +1 1 u2pexp(u2)du=2p+12pp Z +1 0 u2pexp(u2)du 2p2pp Z +1 0 vp1=2exp(v)dven posantu=pv 2p2pp (p+ 1=2) =(2p)!2 p(p!)2p et donc

Var(S2n) =1n

442n

2424+1n

3434=2(n1)n

24

Jean-Jacques Ruch

4.Cas particulier de la loi normale9

Définition 13.SoientX1;:::;Xn,nvariables aléatoires indépendantes identiquement distribuées de

loiN(0;1). La loi du2àndegrés de liberté est la loi de la variable aléatoire 2n=nX k=1X 2k:

La densité de cette loi est donnée par :

f

2n(u) =12(n=2)

u2 n=21exp u2 1 u>0 et sa fonction caractéristique par

2n(t) =1(12it)n=2f

2k Pour déterminer la densité on peut remarquer que : siUsuit une loiN(0;1)alors on a pourt >0

P(U2t) =P(tUt) =FU(pt)FU(pt)

et par conséquent f

U2(t) =12

pt fU(pt) +12 pt fU(pt) =1pt fU(pt) =1p2texp t2 Ensuite on obtient le résultat général par récurence. Théorème 14.Soit(X1;:::;Xn)unnéchantillon de le loiN(0;1). Les variables aléatoires pnX netnX k=1(XkX n)2=nS

2n= (n1)cS2n

sont indépendantes et suivent respectivement la loi normale réduite et la loi du2à(n1) degrés de liberté.

Jean-Jacques Ruch

10Chapitre I. Estimation ponctuelle

Démonstration.Montrons queX

netnX k=1(XkX n)2sont indépendantes. On a 0 B BB@X n X 1X n... X nX n1 C

CCA=A0

B @X 1... X n1 C

AoùA=0

B

BBBBB@1n

1n 1n n1n 1n 1n 1n n1n .........1n 1n 1n n1n 1 C

CCCCCA

Le vecteur aléatoire

0 B @X 1... X n1 C Aest gaussien de loiN(0;In)oùInest la matrice identité d"ordren.

Par conséquent, le vecteur

0 B BB@X n X 1X n... X nX n1 C

CCA=A0

B @X 1... X n1 C

Aest également gaussien de loiN(0;AInAt) =

N(0;AAt). Or

AA t=0 B

BBBBB@1n

0 00 0 n1n 1n 1n 01n n1n ............1n 01n 1n n1n 1 C

CCCCCA

donc la variableX nest indépendante du vecteur0 B @X 1X n... X nX n1 C

Aet donc denX

k=1(XkX n)2.

CommeX

nsuit la loiN(0;1=n)on en déduit quepnX nsuit la loiN(0;1).

MontronsnS

2n=nX k=1(XkX n)2suit la loi du2à(n1)degrés de liberté. On a 0 B @X 1X n... X nX n1 C A=B0 B @X 1... X n1 C

AoùB=0

B

BBB@n1n

1n 1n 1n n1n .........1n 1n 1n n1n 1 C CCCA CommeBest une matrice symétrique, il existe une matrice orthogonaleUet une matrice diagonaleD telle que

B=UDUt

Or les valeurs propres deBsont :

la v aleurpropre simple 0dont le sous-espace propre associé a pour équationx1==xn; la v aleurpropre d"ordre (n1)égale à1dont le sous-espace propre associé a pour équation x

1+x2++xn= 0

En ordonnant convenablement la base de vecteurs propres on peut choisir D=0 B

BBB@1 00

0 ......1 0 00 01 C CCCA

Jean-Jacques Ruch

5.Construction d"estimateur par la méthode du maximum de vraisemblance11

On aY=BX=UDUtXet

nX k=1(XkX n)2=YtY=XtUDUtUDUtX= (UtX)tD(UtX) Or le vecteur aléatoireZ=UtXest gaussien de loiN(0;UtInU) =N(0;UtU) =N(0;In). D"où n X k=1(XkX n)2=ZtDZ=n1X k=1Z 2i qui suit la loi du2à(n1)degrés de liberté.

On en déduit immédiatement que si(X1;:::;Xn)est un échantillon d"une variable aléatoireN(m;2)la

variable aléatoire 1 2n X k=1(XkX n)2 suit la loi du2à(n1)degrés de liberté.

Il suffit de poserYk=Xkm=. Alors, comme on aY

n=X nm et1 2n X k=1(XkX n)2=nX k=1(YkY n)2 le résultat découle de ce qui précède.

5. Construction d"estimateur par la méthode du maximum de vraisemblance

5.a. Cas discret.On suppose donnée une observationXtirée selon une loiP,2. On supposera

ici quePest discrète et on pose : f (x) =P(X=x): On appelle alorsfonction de vraisemblancela fonctionLX() =f(X). Quand on dispose d"un néchantillon(X1;:::;Xn)de loiP, la vraisemblance s"écrit alors L

X1;:::;Xn() =nY

i=1f (Xi): Lorsque la fonction de vraisemblance admet un unique maximum atteint en ^=gn(X1;:::;Xn), on peut utiliser cette valeur pour estimer. On dit alors que

T=gn(X1;:::;Xn)

est l"estimateur par maximum de vraisemblancede.

Cet estimateur est naturel puisqu"il conduit à privilégier la valeur dela "plus probable" au vu de

l"observation. Il possède en général de bonnes propriétés. L"inconvénient est que ce maximum peut ne pas

exister ou ne pas être unique et il peut être difficile à exhiber.

En pratique, la recherche de ce maximum se fait par dérivation deLrelativement à. On peut de ma-

nière équivalente maximiser le logarithme de la vraisemblance (la fonction logarithme étant croissante,

maximiser la vraisemblance et la log-vraisemblance revient au même, mais souvent les calculs sont plus

simples). Exemple : Estimation du paramètre d"une loi de Bernoulli. Ici on suppose =]0;1[et lesXisuivent une loi de Bernoulli de paramètre2. On a f (x) =P(X=x) =8 :six= 1

1six= 0

0 sinon

Jean-Jacques Ruch

12Chapitre I. Estimation ponctuelle

PosonsSn=X1++Xn. AinsiSnest le nombre de1dans l"échantillon etnSnle nombre de0. Laquotesdbs_dbs29.pdfusesText_35

[PDF] Séance 2 : Estimateurs convergents, non biaisés et exhaustifs

[PDF] statistique : estimation - Institut de Mathématiques de Bordeaux

[PDF] Estimation et intervalle de confiance - AgroParisTech

[PDF] Estimation paramétrique

[PDF] QUEL SERA LE MONTANT DE VOTRE PENSION EN 2008, 2012

[PDF] Estimations et intervalles de confiance - Institut de Mathématiques

[PDF] Séance 5 : Exercices récapitulatifs sur l 'estimation ponctuelle

[PDF] Intentions de vote - Harris Interactive

[PDF] Cours 5: Inférences: Estimation, Echantillonnage et Tests

[PDF] Estimer ou mesurer une longueur Connaître les différentes unités et

[PDF] LA ESTIMULACION TEMPRANA - OEI

[PDF] Avis aux Candidats ? l accès ? l ESTM admis sur les listes d attentes

[PDF] Résultats de la sélection pour l 'accès au Bachelor of Electrical

[PDF] La lettre de l - ESTP Paris

[PDF] Nouveauté Filière Apprentissage Européen - EDHEC Business School