Exercices de statistiques mathématiques

Guillaume Lecué

31 août 2020

Table des matières

1 Rappels de probabilités 1

2 Vraisemblance, EMV, IC, Information de Fisher 13

3 Tests28

4 Modèle de régression 32

5 Examen du lundi 26 octobre 2015 40

6 Rattrapage 2015-2016 44

7 Examen du lundi 14 novembre 2016 49

8 Rattrapage 2016-2017 55

9 Examen de novembre 2017 60

10 Examen d"octobre 2018 67

11 Examen d"octobre 2019 73

1 Rappels de probabilités

Exercice 1.1(Théorème de la limite centrale) Soit(Xn)nune suite de variables aléatoires i.i.d. centrées de variance2>1. Soit Z n=1 pn n X j=1X j: Par le théorème de la limite centrale, cette variable converge en loi vers la loi normale centrée réduite, c"est-à-dire, pour toutt2R, on alimn!+1E[eitZn] =et22 . L"objet de cet exercice est de montrer que la suiteZnne peut pas converger en probabilité. 1

ENSAE Statistiques mathématiques

1. Calculer la fonction caractéristique de Z2nZnet montrer que cette différence converge en loi. 2. En étudian tP(jZ2nZnj ), montrer queZnne converge pas en probabilité. Correction de l"exercice 1.1L"objectif de cet exercice est de manipuler les différents types de

convergence. On commence donc par rappeler les différentes convergences en probabilités. Soit(Xn)

une suite de variables aléatoires etXune autre variable aléatoire. On dit que : -(Xn)converge presque surementversXquandf!2 : limXn(!) =X(!)gest de mesure1(on vérifiera que cet ensemble est bien mesurable). -(Xn)converge en probabilitéversXquand pour tout >0,PjXnXj !0quandntend vers+1. -(Xn)converge en loiversXquand pour toute fonction continue bornéefon aEf(Xn)!Ef(X). si p1, on dit que(Xn)converge dansLpversXquandEjXnXjp!0quandntend vers +1.

On a les implications suivantes :

[cv presque sure](1) =)[cv en proba](2) =)[cv en loi] (3)* [cv dansLp]

Démo et contre-exemple de "(1)

=)" :Soit >0. On afXn!Xg liminfnfjXnXj g. En passant, au complémentaire, on a :

0limsupnPjXnXj> P[limsupnfjXnXj> g]

=PliminfnfjXnXj gc0:

Il n"y a pas équivalence dans "(1))". Voici une exemple d"une suite qui converge en probabilité

mais pas presque surement :(Xn)des v.a. indépendantes telles que

P[Xn= 1] =1n

etP[Xn= 0] = 11n La suite(Xn)converge en probabilité vers0car pour toutn, onP[jXnj> ] =P[Xn= 1] = 1=n. Mais elle ne converge pas presque surement vers car on aP nP(fXn= 1g) =1donc d"après le "second

lemme de Borel-Cantelli" (les événements(fXn= 1g)sont indépendants), on aP[limsupnfXn= 1g] =

1. Notamment,(Xn)ne converge pas presque surement vers0.

Démo et contre-exemple de "(2)

=)" :Soitfune fonction continue bornée. Soit >0etN2N tel quePjf(Xn)f(X)j (on rappel que sifest continue et(Xn)converge en probabilité versXalors(f(Xn))converge en probabilité versf(X)). On a donc

Ef(Xn)Ef(X)E(f(Xn)f(X))I(jf(Xn)f(X)j )

E(f(Xn)f(X))I(jf(Xn)f(X)j< )

2kfk1Pjf(Xn)f(X)j +2kfk1+ 1:1 RAPPELS DE PROBABILITÉS 2

ENSAE Statistiques mathématiques

La réciproque est trivialement fausse. Il suffit de prendre la suite stationnaire(Xn)où pour toutn,

X n=goùgest une gaussienne. Commegest symmétrique,gest aussi distribuée commeg. Donc (Xn)converge en loi versget donc aussi versg. Par contrejXn(g)j= 2jgjne converge pas en probabilité vers0. Donc(Xn)ne converge par versgen probabilité. Démo et contre-exemple de "(3)*" :D"après l"inégalité de Markov,PjXnXj pEjXnXjp. Pour le contre-exemple, on prendXnde loi(n1n2+ (1n1)0). On aP[jXnj ]n1donc(Xn)converge en probabilité maisEjXnj=ndonc(Xn)ne converge pas dansL1vers 0.

Correction de l"exercice

P ourtout t2R, on a par indépendance

Eexp(it(Z2nZn)) =Eexpit

pn 1p2 1nX j=1Z j

Eexpit

p2n2nX j=n+1Z j En appliquant le TCL sur chacun des membres du produit, quandntend vers l"infini, on obtient que(Z2nZn)ntend vers une loi dont la fonction caractéristique estt7!expt2(2p2)=2, c"est donc une Gaussienne centrée de variancep2p2. 2. Supp osonsque (Zn)converge en probabilité. Alors il existe une variable aléatoireZtelle que pour tout >0, on aP[jZnZj> ]!0. Soit >0, on a fjZ2nZnj 2g fjZnZj g [ fjZ2nZj g:

Alors, par une borne de l"union :

P jZ2nZnj 2PjZnZj +PjZ2nZj et donc en passant à la limite, on obtientPjZ2nZnj 2!0. Donc(Z2nZn)nconverge en probabilité vers0. En particulier, cette suite converge en loi vers0. Ce qui est en contradiction avec1:.

Exercice 1.2(Théorème de Poisson)

Pour tout entier non nuln, on noteXnune variable aléatoire de loi binomiale de paramètrepn2(0;1). On suppose que quandntend vers l"infininpn!pour un certain >0. En étudiant la convergence de la suite des fonctions caractéristiques desXnmontrer que(Xn)nconverge en loi vers une loi de Poisson de paramètre. Correction de l"exercice 1.2Pour tout entier non nuln, la fonction caractéristique deXnvérifie pour toutt2R,

Xn(t) =EeitXn=pneit+ (1pn)n= (1 +pn(eit1))n:

Par ailleurs, on sait que pour tout nombre complexez, la suite(1 +pnz)n nconverge versez. On

a doit('Xn)converge ponctuellement vers':t!exp((eit1))qui est la fonction caractéristique1 RAPPELS DE PROBABILITÉS 3

ENSAE Statistiques mathématiques

d"une loi de Poisson de paramètre. En effet, siXsuit une loi de Poisson de paramètrealors pour toutt2R, on a

EeitX=1X

k=0e itkekk!=eexp(eit) = exp((eit1)):

Remarque :Le théorème de Poisson se généralise au théorème des événements raresqui s"énonce

de la manière suivante. Soit(Mn)nune suite croissante d"entier tendant vers+1. Pour tout entiern, soit(An;j: 1jMn)une famille d"événements telle que pourpn;j=P[An;j], on a, quandntends vers+1, max

1jMnpn;j!0et queM

nX j=1p n;j!: On poseSn=PMnj=1?An;j. Alors la suite(Sn)nconverge en loi vers une Poisson de paramètre.

Exercice 1.3(Lemme de Slutsky)

1. Donner un exemple de suites (Xn)et(Yn)telles queXnloi!XetYnloi!Y, maisXn+Yn ne converge pas en loi versX+Y. 2. Soien t(Xn),(Yn)deux suites de variables aléatoires réelles,XetYdes variables aléatoires réelles, telles que (i)Xnloi!XetYnP!Y, (ii)Yest indépendante de(Xn)etX. Montrer que le couple(Xn;Yn)converge en loi vers(X;Y). 3. En déduire que si (Xn)et(Yn)sont deux suites de variables aléatoires réelles telles que(Xn)converge en loi vers une limiteXet(Yn)converge en probabilité vers une constantec, alors(Xn+Yn)converge en loi versX+cet(XnYn)converge en loi vers cX.

Correction de l"exercice 1.3

1. Soit (n)une suite de v.a. i.i.d. de Bernoulli de moyenne1=2(càdP[n= 0] =P[n= 1] =

1=2;8n). D"après le TCL, on sait que

X n:=2pn n X i=1 i1=2 N(0;1):

On le démontre facilement, en utilisant le Théorème de Levy et en voyant que quandntend vers

l"infini, pour toutt2R,

Eexp2itpn

nX i=1 i1=2 =12 expitpn + expitpn n

1t22n+Ot3n

3=2 n!expt22 :1 RAPPELS DE PROBABILITÉS 4

ENSAE Statistiques mathématiques

Soitgune variable Gaussienne standard. Commegest symmétrique,gest aussi une Gaussienne Standard. On a donc,(Xn)converge en loi versget aussi(Xn)converge en loi versg. Mais (Xn+Xn)converge en loi vers2g6=g+(g) = 0. Cet exercice souligne le fait que la convergence

en loi est une convergence des lois de distribution et non des variables aléatoires elles mêmes.

2. On note par Cb(R)l"ensemble des fonctions continues bornées surR. Pour montrer que(Xn;Yn) converge en loi vers(X;Y), il suffit de prouver que pour toutf;g2 Cb(R), on aEf(Xn)g(Yn)! Ef(X)g(Y)quandntend vers l"infini. Par ailleurs, on sait que si(Yn)converge en probablité versYet sigest continue alors(g(Yn))converge en probabilité versg(Y).

Soitf;g2 Cb(R)et >0. SoitN2Ntel que pour toutnN,

P jg(Yn)g(Y)j andEf(Xn)Ef(X): On a pour toutnN, par indépendance deg(Y)avecf(Xn)etf(X), Ef(Xn)g(Yn)Ef(X)g(Y)Ef(Xn)(g(Yn)g(Y))I(jg(Yn)g(Y)j ) Ef(Xn)(g(Yn)g(Y))I(jg(Yn)g(Y)j< )+Eg(Y)(f(Xn)f(X))

2kfk1kgk1Pjg(Yn)g(Y)j +kfk1+Eg(Y)Ef(Xn)Ef(X)

2kfk1kgk1+kfk1+kgk1:

3. Comme (Yn)converge en probabilité versY=cp.p. qui est indépendante de toutes variables aléatoires, on peut appliquer la question 2. :(Xn;Yn)converge en probabilité vers(X;c). Notamment, comme les applications somme et produit sont des fonctions continues deR2dans R, on voit que(Xn+Yn)converge en loi versX+cainsi que(XnYn)converge en loi verscX.

Exercice 1.4(Convergence dansLp)

Soit(Xn)une suite de variables aléatoires réelles bornées par une même constante. Montrer que si(Xn)converge en probabilité, alorsXnconverge dansLppour toutp1.

Correction de l"exercice 1.4Pour cet exercice, on va démontrer un résultat plus fort. On rappel

qu"une suite(Xn)estéqui-intégrablequand lim a!+1sup n2NEjXnjI(jXnj> a)= 0: Soitp1et(Xn)une suite d"éléments deLp. On montre que les deux assertions suivantes sont

équivalentes :

1. la suite (Xn)converge dansLp. 2. la suite (Xn)converge en probabilité et la suite(jXnjp)est équi-intégrable.

b) implique a) :On montre d"abord que si(Yn)est équi-intégrable alors elle est équi-continue :

càd pour tout >0, il existe >0tel que siP(A)alorssupn2NEjYnj?A. Soit >0et1 RAPPELS DE PROBABILITÉS 5

ENSAE Statistiques mathématiques

0>0tel que pour toutaa0et toutn2N,EjXnjI(jXnj> a). On a pour tout ensemble

mesurableA, toutn2Net toutaa0, E jXnj?A=EjXnjI(A\ fjXnj ag)+EjXnjI(A\ fjXnj> ag) aP(A) +EjXnjI(jXnj> a)aP(A) +:

On en déduit que(Yn)est bien équi-continue.

Soit >0. Pour toutq;r2N, on a

EjXrXqjpEjXrXqjpI(jXrXqjp)+ 2p1EjXrjp+jXqjpI(jXrXqjp> ) + 2p1EjXrjp+jXqjpI(jXrXqjp> ): Comme(jXnjp)est équi-continue, il existe >0tel que pour toutAtel queP[A], on a sup r2NEjXrjp?A+ sup q2NEjXqjp?A=2p1: Comme(Xn)converge en probabilité, il existe unNtel que pour toutr;qN,PjXrXqj

1=p. On en déduit, quelimsupr;qEjXrXqjp2pour toutr;qN. Alors(Xn)est une suite

de Cauchy dansLp, qui est complet, donc elle est convergente dansLp. a) implique b) :Par Markov, on a pour tout >0, P jXnXj pEjXnXjp: SoitN2Ntel que pour toutnN,EjXnXjp=2p1. L"inégalité de Markov donne P jXnjp> aa1EjXnjpBa1:

oùBmajore uniformément la suite(EjXnjp)(qui est bien bornée vue que c"est une suite convergente).

Soita0>0tel quesupn2NP[jXnjp> a0]oùest tel queEjXjp?A=2p1pour toutAtel que P(A)(par définitionX2Lp). On a donc pournNet toutaa0, E jXnjpI(jXnjp> a)2p1EjXnXjpI(jXnjp> a)+ 2p1EjXjpI(jXnjp> a):

De plus, il est facile de voir que toute famille finie de variables aléatoires est équi-intégrable. C"est le

cas pour(Xn: 1nN).

Exercice 1.5(Lemme de Fatou)

si(fn)est une suite de fonctions measurables alors Z liminf nfnliminfnZ f n: En déduire que si(An)est une suite d"événements alors limsup nP(An)P(limsupnAn); où on rappelle quelimsupnAn=\N[nNAn.1 RAPPELS DE PROBABILITÉS 6

ENSAE Statistiques mathématiques

Correction de l"exercice 1.5

1. P ourtout n2N, on notegn= infpnfp. La suite(gn)est monotone et converge presque surement versliminfnfn. Le théorème de convergence monotone donne : lim nZ g n=Z lim ngn=Z liminf nfn:

Par ailleurs, on a pour toutn2N,

Z g n=Z infpnfpinfpnZ infpnfp: Par convergence des deux membres, on peut passer à la limite et obtenir le résultat. 2. On utilise le lemm ede F atoup ourfn= 1?An=?Acn. On aliminfnfn=?liminfnAcnetliminfnAcn c= limsupnAndonc

1P[limsupnAn] =P[liminfnAcn]liminfnP[Acn]:

Exercice 1.6(lemmes de Borel-Cantelli)

1. Le premier lemme de Borel-Can tellidit que si (An)est une suite d"événements telle queP nP[An]<1alorsP[limsupnAn] = 0. 2. Le de uxièmelemme de Borel-Can tellidit que si (An)est une suite d"événements indépendants tels queP nP[An] =1alorsP[limsupnAn] = 1.

Correction de l"exercice 1.6

On note Bn=[pnAp. On aP[Bn]P

pnP[Ap]. Alors par hypothèse,P[Bn]tend vers0en décroissant. Par convergence monotone,limnP[Bn] =P[limnBn] =P[infnBn] =P[liminfnAn].

DoncP[liminfAn] = 0.

Comme limsupnAn=liminfnAcn

c, il suffit de montrer queP[liminfnAcn] = 0. On noteBn= pnAp. La suite(Bn)est croissante et converge presque surement versliminfnAcn. Alors, par convergence monotone,P[Bn]converge versP[liminfnAcn]. Par ailleurs, commelog(1x) x pourx2[0;1),

P[Bn] =P[\pnAcp] = pnP[Acp] = pn1P[Ap]

= exp X pnlog1P[Ap] exp X pnP[Ap] = 0:

On en déduit le résultat.

**********************1 RAPPELS DE PROBABILITÉS 7

ENSAE Statistiques mathématiques

Exercice 1.7(la loi du01de Kolmogorov)

Soit(n)une suite de tribus indépendantes. La tribu asymptotique est1=\n pnp La loi du01de Kolmogorov dit que pour toutA21,P[A]2 f0;1g.

Correction de l"exercice 1.7On noten=

pnp etn= p1est indépendante de[n2Nnet donc de nn nn =0. Or10donc1est indépendante d"elle même. En particulier, siA21alorsP[A] =P[A]P[A]doncP[A]2 f0;1g. Exercice 1.8(convergence en loi vers une constante) La convergence en loi vers une constante implique la convergence en proba : On suppose X n calors(Xn)converge en probabilité versc. Correction de l"exercice 1.8On peut démontrer que(Yn)converge en loi versYsi et seulement si pour tout BorélienAPY-continue (càdP[@A] = 0), on aPYn[A]!PY[A]. Soit >0. On acB(c;)= 1. AlorsPXnB(c;)!c(B(c;)) = 1. DoncP[jXncj ]!1. C"est donc une convergence en probabilité versc. Exercice 1.9(convergence en probabilité et convergence p.s.) Soit(Xn)nune suite de variables aléatoires réelles etXune variable aléatoire réelle. L"objectif de cet exercice est de montrer le lien suivant entre convergence en probabilité et convergence presque sure : il y a équivalence entre : a)(Xn)nconverge en probabilité versX, b) toute sous-suite de (Xn)nadmet une sous-suite qui converge p.s. versX. Pour démontrer ce résultat, on va d"abord montrer l"équivalence suivante c)(Xn)nconverge en probabilité, d)(Xn)nest une suite de Cauchy en probabilité; càd(XnXm)n;mconverge en probabilité vers0quandnetmtendent vers+1. Pour démontrer quec)etd)sont équivalents, on procéde par étapes : 1)

Mon trerque c)impliqued)

On supp osed).

2.1) En utilisan tde lemme de Borel-Can tellimon trerqu"il existe une sous -suitede (Xn)nqui converge p.s.. On note parXsa limite. 2.2) En déduire que (Xn)nconverge en probabilité versX.1 RAPPELS DE PROBABILITÉS 8

ENSAE Statistiques mathématiques

On montre maintenant l"équivalence entrec)etd). 3)

On supp osea). En utilisant2.1)montrerb).

4) On supp oseb)et on raisonne par contraposé : on suppose quea)n"est pas vrai. 4.1)

Ecrire la con traposé.

4.2)

Obtenir une con tradiction.

Correction de l"exercice 1.9

1) On supp oseque c)est vrai. Pour tout >0etn;m, on a

P[jXnXmj ]P[jXnXj =2] +P[jXmXj =2]:

Comme le membre de droite tend vers0quandnetmtendent vers+1, on en déduit que le membre de droite tend aussi vers0dans ce cas là, càd,d)est vrai. 2.1) Comme (Xn)nest une suite de Cauchy en probability, on peut construire par récurrence en commençant àn1= 1, une suite strictement croissante d"entiers(nj)jtelle que

[PDF] Exercices de statistiques mathématiques