[PDF] 1 Matrice de covariance Typiquement son espérance ou

View - Download 1 Matrice de covariance

Previous PDF

Next PDF

Université Paris 13, Institut Galilée Préparation à l"agrégation

Année universitaire 2014-2015

Vecteurs gaussiensSoitdun entier1. On identifiera les éléments deRdà des vecteurs colonnes.

1 Matrice de covariance

SoitXune variable aléatoire à valeurs dansRd. On noteX=tX1Xd. Les variables aléatoires

réellesX1;:::;Xdsont appelées lescomposantesdeXet leurs lois sont leslois marginalesde la loi deX.

On définit classiquement son espérance (sa moyenne) m

X=E[X] =0

B @E[X1]

E[Xd]1

C A et aussi, siX1;:::;Xdsont de carré intégrable, sa variance

X= Var(X) =E(XE[X])t(XE[X])

= (Cov(Xi;Xj))1i;jd =0 B

BB@Var(X1) Cov(X1;X2)Cov(X1;Xd)

Cov(X2;X1) Var(X2)Cov(X2;Xd)

Cov(Xd;X1) Cov(Xd;X2)Var(Xd)1

C CCA;

où on rappelle que, pour toutes variables aléatoires réellesUetVde carré intégrable,Cov(U;V) =E[(U

E[U])(VE[V])] =E[UV]E[U]E[V](covariance deUetV). La matriceXest lamatrice de covariance deX(ou, plutôt, de la loi deX).

En particulier, siX1;:::;Xdsont indépendantes deux à deux, alorsXest une matrice diagonale ayant

pour coefficients diagonauxVar(X1);:::;Var(Xd). CommeCov(X;Y) = Cov(Y;X)(ou commet(AtA) =AtA), la matriceXest symétrique. Elle est de plus positive : pour tout vecteuru2Rd, t uXu=X i;ju iCov(Xi;Xj)uj=X i;jCov(uiXi;ujXj) = Var(u1X1++udXd)0:

(En revenant aux définitions deCovetVar, la dernière égalité est simplement le développement du carré

d"une somme)

Au passage, on voit queVar(tuX) =tuXu. Plus généralement, pour toute matrixAde taille(p;d), où

p1, le vecteurAXest une variable aléatoire à valeurs dansRp, sa moyenne estAmX(par linéarité de

l"espérance) et sa variance est

AX=E(AXAm)t(AXAm)=EA(Xm)t(Xm)tA

=AE(Xm)t(Xm)tA=AXtA: En particulier (avecp=d), siX=Id(par exemple siX1;:::;Xdsont indépendants et de variance 1), alorsAX=AtA. Or toute matrice symétrique positivepeut s"écrire =AtA: par exemple, partant de la diagonalisation =PDtPen base orthonormale oùD= diag(1;:::;d)avec10,...,d0, on peut prendreA=Pdiag(p

1;:::;p

d). On a alorsAX=AtA= siX=Id(Remarque : une autre

matriceApossible est obtenue par la méthode de Cholesky). Ceci montre que les matrices de covariance

sont les matrices symétriques positives. Le rang de la matrice de covariance a une interprétation importante : 1 Proposition 1.Xest de rangrsi, et seulement s"il existe un sous-espace affineVde dimensionrtel queX2Vp.s.

Démonstration.On a vu que, pour toutu2Rd,Var(hu;Xi) =tuXu. Et une variable aléatoire de carré

intégrable est constante p.s. (égale à sa moyenne p.s.) si, et seulement si sa variance est nulle. En particulier,

tuXu= 0si, et seulement sihu;Xi=hu;mip.s., ce qui équivaut à dire queXm?up.s.. En appliquant ceci à toute base orthogonale deRdqui commence par une base dekerX, on obtient que

X2m+kerX?p.s..

(ker =fx2Rdjx= 0g=fx2Rdjtxx= 0gsiest symétrique positive) et quem+ (kerX)?est le plus petit sous-espace pour lequel c"est vérifié, d"où la proposition.2 Vecteurs gaussiens

SoitZ=tZ1Zd, oùZ1;:::;Zdsont des variables aléatoires indépendantes de loiN(0;1),mun vecteur

deRd, etune matrice symétrique positive de tailled. On choisit une matrice carréeAtelle queAtA= .

Par ce qui précède,X=m+AZest un vecteur aléatoire tel que m

X=metX=AZtA=AIdtA= :

Calculons la fonction caractéristique deX. Pour toutu2Rd, on a t uX=tum+tuAZ=tum+t(tAu)Z donc (en notanth;ile produit scalaire usuel deRdpour simplifier les notations)

X(u) =E[eituX] =eihu;miZ(tAu):

Les composantes deZsont indépendantes et de loiN(0;1)donc

Z(u) = X1(u1)Xd(ud) =e12

u21e12 u2d=e12 kuk2=e12 tuu:

On en déduit

X(u) =eihu;mie12

tuAtAu=eihu;mie12 tuu:

On remarque notamment que la dernière expression ne dépend pas du choix deA, donc la loi deXnon

plus.X=m+AZest appelé unvecteur gaussiende moyennemet de covarianceet sa loi est appelée loi gaussienne de moyennemet de covariance, abrégée enN(m;). La loi deZ, à savoirN(0;Id)est appeléeloi gaussienne standard deRd.

La proposition suivante caractérise les vecteurs gaussiens, c"est-à-dire suivant une loiN(m;)pour certain

vecteurmet un certaine matrice symétrique positive: Proposition 2.SoitXun vecteur aléatoire deRd.Xest un vecteur gaussien si, et seulement si toute combinaison linéaire de composantes deXsuit une loi gaussienne (surR). Démonstration.Une combinaison linéaire des composantes deXs"écritha;Xi=taXoùa2Rd. Simet

sont l"espérance et la variance deX(qui existent sous chacune des deux hypothèses), alorsE[ha;Xi] =ha;mi

etVar(ha;Xi) =taa(vu dans la partie 1). Ainsi,ha;Xisuit une loi gaussienne pour touta2Rdsi, et seulement si, pour touta2Rdsa fonction caractéristique est ha;Xi(u) =eiuha;mie12 (taa)u2=eihua;mie12 t(ua)(ua) etXest un vecteur gaussien si, et seulement si sa fonction caractéristique est

X(a) =eiha;mie12

taa:

Comme, de façon générale,ha;Xi(u) = X(ua), l"équivalence entre les deux propriétés précédentes se

déduit immédiatement, d"où la conclusion.2 Cette proposition permet de définir des vecteurs gaussiens dans un espace de dimension infinie. La définition implique que siX N(m;)et siAest une matrice de taille(p;d)etb2Rd, alors AX+b N(am+b;AtA). (La définition montre que c"est un vecteur gaussien et ses paramètres se calculent comme dans la première partie) En particulier, siZest un vecteur gaussien standard etPest une matrice orthogonale (PtP=Id), alorsPZ

est encore un vecteur gaussien standard. Autrement dit, la loi gaussienne standard (et plus généralement

N(0;2Id)) est invariante par les rotations de centreO(et par les symétries orthogonales d"axe passant par

l"origine). Cette propriété se voit aussi sur la densité de la loi : elle est radiale. SiZ N(0;Id), on sait queZa pour densitéz7!1p2ez211p2ez2d= (2)d=2e12 kzk2puisque les composantes sont indépendantes. Pour le vecteur gaussienX=m+AZ N(m;)(où =AtA), la proposition 1 montre que sin"est pas inversible,Xne peut pas avoir de densité. En revanche, siest inversible, un changement de variable montre queXa pour densité f

X:x7!1p(2)ddete12

t(xm)1(xm): Siest diagonale, alors les composantesX1;:::;Xdd"un vecteurX N(m;)sont indépendantes. Cela

se voit sur la densité ci-dessus. Ou simplement parce que dans ce cas on peut prendreA= diag(1;:::;d)

d"oùXi=mi+iZi. La réciproque est toujours vraie. Ainsi, les composantes d"un vecteur gaussien sont

indépendantes si, et seulement si sa matrice de covariance est diagonale. Le théorème de Cochran généralise

cette remarque. Théorème 1 -Théorème de Cochran.SoitX N(m;2Id), etRd=E1?:::?Erune décomposition deRden sous-espaces (affines) orthogonaux. Pourk= 1;:::;r, on notedkla dimension deEk, etPkla

projection orthogonale surEk. Alors les variables aléatoiresY1=P1X1,...,Yr=PrXsont indépendantes,

et Y k N(Pkm;2Pk)et1

2kYkPkmk22dk:

Dans l"énoncé,2dest la loi du2(khi-deux) àddegrés de liberté, c"est-à-dire par définition la loi de la

variable aléatoireZ21++Z2roùZ1;:::;Zrsont i.i.d. de loiN(0;1).

Démonstration.Il suffit de montrer l"indépendance. La suite en résulte (avec ce qui précède, et le fait que

P tP=P2=Ppour toute projection orthogonaleP). Pourk= 1;:::;r, on choisit une base orthonormale(ek;1;:::;ek;dk)deEk, de sorte que(e1;:::;ed) =

(e1;1;:::;e1;d1;:::;er;1;:::;er;dr)est une base orthonormale deRd. Les variables aléatoireshX;eii,i=

1;:::;d, sont les composantes deXdans cette base. Or la loi deXest invariante par les applications

orthogonales (vu plus haut) donc en particulier par les changements de base entre bases orthonormales. Par

suite, les variables aléatoireshX;eii,i= 1;:::;d, sont i.i.d. de loiN(hm;eii;2). CommeYk=PkX=Ak+hX;ek;1iek;1++hX;ek;dkiek;dk, oùAk=Pkm, l"indépendance annoncée

résulte de la propriété d"" indépendance par paquets » :Y1,...,Yrdépendent respectivement de paquets de

variables disjoints parmi une famille de variables indépendantes, donc sont indépendantes entre elles.Remarque. On n"a donné qu"un cas particulier du théorème de Cochran, qui est le cas usuel. L"énoncé général

(dont la preuve est essentiellement identique) supposeX N(m;)oùest inversible etRd=E1? ?Erau

sens du produit scalaire(u;v)7! hu;vi=tuv, et conclut que les projections orthogonales (au sens de ce même

produit scalaire) deXsurE1,...,Ersont indépendantes. Les variableskYkPkmk2ne suivent cependant pas des

lois du2(ce sont des sommes de variablesN(0;1)pondérées par les valeurs propres des différents sous-espaces),

et la variance deYkestPktPk.

Enfin, les lois gaussiennes surRdinterviennent dans la généralisation du théorème central limite aux va-

riables aléatoires à valeurs dansRd: Théorème 2 -Théorème central limite multidimensionnel.SoitX1;X2;:::une suite de vecteurs

aléatoires à valeurs dansRd, i.i.d., de carré intégrable, de moyennemet de variance. Alors

1pn (X1+X2++Xnnm)(loi)!nN(0;): 3

Démonstration.Même preuve que la version réelle. En remplaçantXiparXimon se ramène àm= 0.

Soitu2Rd. On a

1pn (X1+X2++Xn)(u) = Xupn n (oùX= X1). On a le développement limité

X(t) = 112

ttt+ot!0ktk2; d"où 1pn (X1+X2++Xn)(u) =

112ntuu+on

1n n !nexp 12 tuu NB : On a utilisé(1zn=n)n= exp(nLn(1zn=n))!nexp(c)où(zn)nest une suitecomplexetelle

quezn!ncetLnest la détermination principale du logarithme complexe. L"égalité est vraie dès que

j1zn=nj<1, donc pourngrand, et la limite vient deLn(1z) z, quandz!0,z2C. (Si on définit z7!Ln(1z) =P1 k=11k zksurD(0;1), c"est une série entière qui coïncide avecx7!ln(1x)sur]0;1[;

elle vérifie doncexp(Ln(1z)) = 1zpourz2]0;1[et, par unicité du prolongement analytique, pour tout

z2D(0;1); etLn(1z) zquandz!0vu le premier terme du développement en série entière. )4 Université Paris 13, Institut Galilée Préparation à l"agrégation

Année universitaire 2014-2015

Notions de statistiquesRappels sur les vecteurs gaussiens

Soitd2N. Unvecteur gaussienest un vecteur aléatoire à valeurs dansRddont toutes les combinaisons

affines des composantes suivent des lois normales. La loi d"un tel vecteur aléatoire est caractérisée par sa

moyennemet sa matrice de covariance, on la noteN(m;).

Pour toute matriceAde taille(p;d)et toutb2Rp,

siX N(m;)alorsAX+b N(Am+b;AtA): En particulier, si =AtA(Aest appelée une racine carrée de), et siX N(0;Id)alorsm+AX N(m;). Ceci permet de toujours se ramener au casN(0;Id), laloi gaussienne standard deRd, où les composantes sont indépendantes et de loiN(0;1).

Autre conséquence, siX N(0;2Id)etAest une matrice orthogonale (rotation, symétrie orthogonale),

A tA=IddoncAXa même loi queX. Le théorème suivant s"en déduit. Théorème 3 -Théorème de Cochran.SoitX N(m;2Id), etRd=E1?:::?Erune décomposition deRden sous-espaces (affines) orthogonaux. Pourk= 1;:::;r, on notedkla dimension deEk, etPkla

projection orthogonale surEk. Alors les variables aléatoiresY1=P1X1,...,Yr=PrXsont indépendantes,

Y k N(Pkm;2Pk)et1

2kYkPkmk22dk:

(voir à la fin pour la définition de la loi2dk) Démonstration.En remplaçantXparXm, on peut supposer quem= 0.

Pourk= 1;:::;r, on note(fk;1;:::;fk;dk)une base orthonormale deEk, de sorte que leur concaténation

fournit une base orthonormale(f) = (f1;:::;fd)deRd. Le vecteur 0 B @hX;f1i hX;fdi1 C A des composantes deXdans la base(f)est l"image deXpar une application orthogonale (l"application de

changement de baseAdéfinie parA(fi) =eioù(e1;:::;ed)est la base canonique deRd). Par conséquent,

ce vecteur a même loi queX, c"est-à-dire que ses composantes sont indépendantes et suivent la loiN(0;2).

Or chacune des projections

Y k=PkX=hX;fk;1ifk;1++hX;fk;dkifk;dk

pourk= 1;:::;r, ne dépend que d"une sous-famille de composantes du vecteur précédent, et ces sous-

familles sont disjointes les unes des autres, doncY1;:::;Yrsont indépendantes (propriété d"indépendance

" par paquets »). De plus, on aYk=PkX N(0;2PktPk)etPktPk=P2k=Pk(projection orthogonale), et kYkk2=jhX;fk;1ij2++jhX;fk;dkij2 d"où l"on déduit la deuxième partie vu la définition de2dk.1

1 Principes généraux : estimation et test

L"objet des statistiques (plus exactement, des statistiquesmathématiques, ouinférentielles) est de déduire

de l"observation de données supposées aléatoires des informations sur la loi de celles-ci.

On se restreint dans la suite au cas où les données observées sont des réalisations denvariables aléatoires

X

1,...,Xnindépendantes et de même loisurRd. On dit que(X1;:::;Xn)est un échantillon de taillen.

On peut globalement distinguer deux types de problématiques :

l"estimation d"une grandeur n umériquedép endantde (son espérance, sa variance,...) : c"est une ap-

prochequantitative. Les notions concernées sont lesestimateurset lesrégions de confiance.

confirmer ou infirmer des h ypothèsessur la loi (Son espérance est-elle égale à5?est-elle une loi de

Poisson?(surRd) est-elle une loi produit?...) : c"est une approchequalitative. Notons que cela revient

à estimer des grandeurs discrètes dépendant de(autrement dit, des fonctions indicatrices). La notion

qui s"y rattache est celle detest d"hypothèse.

1.1 Estimation

1.1.1 Estimateurs

quotesdbs_dbs47.pdfusesText_47

[PDF] matrice identité d'ordre 3

[PDF] matrice inverse de leontief definition

[PDF] matrice inversible exercice corrigé

[PDF] matrice nilpotente exercice corrigé

[PDF] Matrice probabiliste, terminale

[PDF] matrice spe maths es

[PDF] Matrice spécialité maths (ES)

[PDF] matrice terminale es exercice

[PDF] matrice trigonalisable exercice corrigé

[PDF] matrice xcas

[PDF] matrice exercice correction

[PDF] matrices diagonales commutent

[PDF] matrices et applications linéaires exercices corrigés

[PDF] matrices et études asymptotiques de processus discrets

[PDF] matrices et suites exercices