[PDF] 1 Matrice de covariance

View - Download 1 Matrice de covariance

Previous PDF

Next PDF

Université Paris 13, Institut Galilée Préparation à l"agrégation

Année universitaire 2012-2013

Vecteurs gaussiensSoitdun entier1. On identifiera les éléments deRdà des vecteurs colonnes.

1 Matrice de covariance

SoitXune variable aléatoire à valeurs dansRd. On noteX=tX1Xd. Les variables aléatoires réelles

X

1;:::;Xdsont appelées lescomposantesdeXet leurs lois sont leslois marginalesde la loi deX. On définit

classiquement son espérance (sa moyenne) m

X=E[X] =0

B @E[X1]

E[Xd]1

C A et aussi, siX1;:::;Xdsont de carré intégrable, sa variance

X= Var(X) =E(XE[X])t(XE[X])

= (Cov(Xi;Xj))1i;jd =0 B

BB@Var(X1) Cov(X1;X2)Cov(X1;Xd)

Cov(X2;X1) Var(X2)Cov(X2;Xd)

Cov(Xd;X1) Cov(Xd;X2)Var(Xd)1

C CCA;

où on rappelle que, pour toutes variables aléatoires réellesUetVde carré intégrable,Cov(U;V) =E[(U

E[U])(VE[V])] =E[UV]E[U]E[V](covariance deUetV). La matriceXest lamatrice de covariancede

X(ou, plutôt, de la loi deX).

En particulier, siX1;:::;Xdsont indépendantes deux à deux, alorsXest une matrice diagonale ayant pour

coefficients diagonauxVar(X1);:::;Var(Xd). CommeCov(X;Y) = Cov(Y;X)(ou commet(AtA) =AtA), la matriceXest symétrique. Elle est de plus positive : pour tout vecteuru2Rd, t uXu=X i;ju iCov(Xi;Xj)uj=X i;jCov(uiXi;ujXj) = Var(u1X1++udXd)0:

(En revenant aux définitions deCovetVar, la dernière égalité est simplement le développement du carré d"une

somme)

Au passage, on voit queVar(tuX) =tuXu. Plus généralement, pour toute matrixAde taille(p;d), oùp1,

le vecteurAXest une variable aléatoire à valeurs dansRp, sa moyenne estAmX(par linéarité de l"espérance)

et sa variance est

AX=E(AXAm)t(AXAm)=EA(Xm)t(Xm)tA

=AE(Xm)t(Xm)tA=AXtA: En particulier (avecp=d), siX=Id(par exemple siX1;:::;Xdsont indépendants et de variance 1), alorsAX=AtA. Or toute matrice symétrique positivepeut s"écrire =AtA: par exemple, partant de la diagonalisation =PDtPen base orthonormale oùD= diag(1;:::;d)avec10,...,d0, on peut prendreA=Pdiag(p

1;:::;p

d). On a alorsAX=AtA= siX=Id(Remarque : une autre matriceA

possible est obtenue par la méthode de Cholesky). Ceci montre que les matrices de covariance sont les matrices

symétriques positives. Le rang de la matrice de covariance a une interprétation importante : Proposition 1.Xest de rangrsi, et seulement s"il existe un sous-espace affineVde dimensionrtel que

X2Vp.s.

1

Démonstration.On a vu que, pour toutu2Rd,Var(hu;Xi) =tuXu. Et une variable aléatoire de carré

intégrable est constante p.s. (égale à sa moyenne p.s.) si, et seulement si sa variance est nulle. En particulier,

tuXu= 0si, et seulement sihu;Xi=hu;mip.s., ce qui équivaut à dire queXm?up.s.. En appliquant ceci à toute base orthogonale deRdqui commence par une base dekerX, on obtient que

X2m+kerX

?p.s.. (ker =fx2Rdjx= 0g=fx2Rdjtxx= 0gsiest symétrique positive) et quem+ (kerX)?est le plus petit sous-espace pour lequel c"est vérifié, d"où la proposition.2 Vecteurs gaussiens

SoitZ=tZ1Zd, oùZ1;:::;Zdsont des variables aléatoires indépendantes de loiN(0;1),mun vecteur de

R

d, etune matrice symétrique positive de tailled. On choisit une matrice carréeAtelle queAtA= . Par ce

qui précède,X=m+AZest un vecteur aléatoire tel que m

X=metX=AZtA=AIdtA= :

Calculons la fonction caractéristique deX. Pour toutu2Rd, on a t uX=tum+tuAZ=tum+t(tAu)Z donc (en notanth;ile produit scalaire usuel deRdpour simplifier les notations)

X(u) =E[eituX] =eihu;miZ(tAu):

Les composantes deZsont indépendantes et de loiN(0;1)donc

Z(u) = X1(u1)Xd(ud) =e12

u2 1e12
u2 d=e12 kuk2=e12 tuu:

On en déduit

X(u) =eihu;mie12

tuAtAu=eihu;mie12 tuu:

On remarque notamment que la dernière expression ne dépend pas du choix deA, donc la loi deXnon plus.

X=m+AZest appelé unvecteur gaussiende moyennemet de covarianceet sa loi est appeléeloi gaussienne

de moyennemet de covariance, abrégée enN(m;). La loi deZ, à savoirN(0;Id)est appeléeloi gaussienne

standard deRd.

La proposition suivante caractérise les vecteurs gaussiens, c"est-à-dire suivant une loiN(m;)pour certain

vecteurmet un certaine matrice symétrique positive: Proposition 2.SoitXun vecteur aléatoire deRd.Xest un vecteur gaussien si, et seulement si toute combinaison linéaire de composantes deXsuit une loi gaussienne (surR).

Démonstration.Une combinaison linéaire des composantes deXs"écritha;Xi=taXoùa2Rd. Simetsont

l"espérance et la variance deX(qui existent sous chacune des deux hypothèses), alorsE[ha;Xi] =ha;miet

Var(ha;Xi) =taa(vu dans la partie 1).

Ainsi,ha;Xisuit une loi gaussienne pour touta2Rdsi, et seulement si, pour touta2Rdsa fonction caractéristique est ha;Xi(u) =eiuha;mie12 (taa)u2=eihua;mie12 t(ua)(ua) etXest un vecteur gaussien si, et seulement si sa fonction caractéristique est

X(a) =eiha;mie12

taa:

Comme, de façon générale,ha;Xi(u) = X(ua), l"équivalence entre les deux propriétés précédentes se déduit

immédiatement, d"où la conclusion.Cette proposition permet de définir des vecteurs gaussiens dans un espace de dimension infinie.

La définition implique que siX N(m;)et siAest une matrice de taille(p;d)etb2Rd, alorsAX+b

N(am+b;AtA). (La définition montre que c"est un vecteur gaussien et ses paramètres se calculent comme

dans la première partie) En particulier, siZest un vecteur gaussien standard etPest une matrice orthogonale (PtP=Id), alors

PZest encore un vecteur gaussien standard. Autrement dit, la loi gaussienne standard (et plus généralement

2

N(0;2Id)) est invariante par les rotations de centreO(et par les symétries orthogonales d"axe passant par

l"origine). Cette propriété se voit aussi sur la densité de la loi : elle est radiale. SiZ N(0;Id), on sait queZa pour densitéz7!1p2ez2

11p2ez2

d= (2)d=2e12 kzk2puisque les compo- santes sont indépendantes. Pour le vecteur gaussienX=m+AZ N(m;)(où =AtA), la proposition 1

montre que sin"est pas inversible,Xne peut pas avoir de densité. En revanche, siest inversible, un

changement de variable montre queXa pour densité f

X:x7!1p(2)ddete12

t(xm)1(xm): Siest diagonale, alors les composantesX1;:::;Xdd"un vecteurX N(m;)sont indépendantes. Cela

se voit sur la densité ci-dessus. Ou simplement parce que dans ce cas on peut prendreA= diag(1;:::;d)

d"oùXi=mi+iZi. La réciproque est toujours vraie. Ainsi, les composantes d"un vecteur gaussien sont

indépendantes si, et seulement si sa matrice de covariance est diagonale. Le théorème de Cochran généralise

cette remarque. Théorème 1 -Théorème de Cochran.SoitX N(m;2Id), etRd=E1?:::?Erune décomposition de R

den sous-espaces (affines) orthogonaux. Pourk= 1;:::;r, on notedkla dimension deEk, etPkla projection

orthogonale surEk. Alors les variables aléatoiresY1=P1X1,...,Yr=PrXsont indépendantes, et Y k N(Pkm;2Pk)et1

2kYkPkmk22d

k:

Dans l"énoncé,2dest la loi du2(khi-deux) àddegrés de liberté, c"est-à-dire par définition la loi de la variable

aléatoireZ21++Z2roùZ1;:::;Zrsont i.i.d. de loiN(0;1).

Démonstration.Il suffit de montrer l"indépendance. La suite en résulte (avec ce qui précède, et le fait que

P tP=P2=Ppour toute projection orthogonaleP). Pourk= 1;:::;r, on choisit une base orthonormale(ek;1;:::;ek;dk)deEk, de sorte que(e1;:::;ed) =

(e1;1;:::;e1;d1;:::;er;1;:::;er;dr)est une base orthonormale deRd. Les variables aléatoireshX;eii,i= 1;:::;d,

sont les composantes deXdans cette base. Or la loi deXest invariante par les applications orthogonales (vu

plus haut) donc en particulier par les changements de base entre bases orthonormales. Par suite, les variables

aléatoireshX;eii,i= 1;:::;d, sont i.i.d. de loiN(hm;eii;2). CommeYk=PkX=Ak+hX;ek;1iek;1++hX;ek;dkiek;dk, oùAk=Pk0, l"indépendance annoncée résulte

de la propriété d"" indépendance par paquets » :Y1,...,Yrdépendent respectivement de paquets de variables

disjoints parmi une famille de variables indépendantes, donc sont indépendantes entre elles.Remarque. On n"a donné qu"un cas particulier du théorème de Cochran, qui est le cas usuel. L"énoncé général

(dont la preuve est essentiellement identique) supposeX N(m;)oùest inversible etRd=E1? ?Erau

sens du produit scalaire(u;v)7! hu;vi=tuv, et conclut que les projections orthogonales (au sens de ce même

produit scalaire) deXsurE1,...,Ersont indépendantes. Les variableskYkPkmk2ne suivent cependant pas des

lois du2(ce sont des sommes de variablesN(0;1)pondérées par les valeurs propres des différents sous-espaces), et

la variance deYkestPktPk.

Enfin, les lois gaussiennes surRdinterviennent dans la généralisation du théorème central limite aux variables

aléatoires à valeurs dansRd:

Théorème 2 -Théorème central limite multidimensionnel.SoitX1;X2;:::une suite de vecteurs aléa-

toires à valeurs dansRd, i.i.d., de carré intégrable, de moyennemet de variance. Alors 1pn (X1+X2++Xnnm)(loi)!nN(0;):

Démonstration.Même preuve que la version réelle. En remplaçantXiparXimon se ramène àm= 0. Soit

u2Rd. On a 1pn (X1+X2++Xn)(u) = Xupn n (oùX= X1). On a le développement limité

X(t) = 112

ttt+ot!0ktk2; 3 d"où 1pn (X1+X2++Xn)(u) =

112ntuu+on

1n n !nexp 12 tuu NB : On a utilisé(1zn=n)n= exp(nLn(1zn=n))!nexp(c)où(zn)nest une suitecomplexetelle que z

n!ncetLnest la détermination principale du logarithme complexe. L"égalité est vraie dès quej1zn=nj<1,

donc pourngrand, et la limite vient deLn(1z) z, quandz!0,z2C. (Si on définitz7!Ln(1z) = P1 k=11k

zksurD(0;1), c"est une série entière qui coïncide avecx7!ln(1x)sur]0;1[; elle vérifie donc

exp(Ln(1z)) = 1zpourz2]0;1[et, par unicité du prolongement analytique, pour toutz2D(0;1); et Ln(1z) zquandz!0vu le premier terme du développement en série entière. )4 Université Paris 13, Institut Galilée Préparation à l"agrégation

Année universitaire 2012-2013

Notions de statistiquesRappels sur les vecteurs gaussiens

Soitd2N. Unvecteur gaussienest un vecteur aléatoire à valeurs dansRddont toutes les combinaisons

affines des composantes suivent des lois normales. La loi d"un tel vecteur aléatoire est caractérisée par sa moyenne

met sa matrice de covariance, on la noteN(m;).

Pour toute matriceAde taille(p;d)et toutb2Rp,

siX N(m;)alorsAX+b N(Am+b;AtA): En particulier, si =AtA(Aest appelée une racine carrée de), et siX N(0;Id)alorsm+AX N(m;).

Ceci permet de toujours se ramener au casN(0;Id), laloi gaussienne standard deRd, où les composantes sont

indépendantes et de loiN(0;1).

Autre conséquence, siX N(0;2Id)etAest une matrice orthogonale (rotation, symétrie orthogonale),

A tA=IddoncAXa même loi queX. Le théorème suivant s"en déduit. Théorème 3 -Théorème de Cochran.SoitX N(m;2Id), etRd=E1?:::?Erune décomposition de R

den sous-espaces (affines) orthogonaux. Pourk= 1;:::;r, on notedkla dimension deEk, etPkla projection

orthogonale surEk. Alors les variables aléatoiresY1=P1X1,...,Yr=PrXsont indépendantes, Y k N(Pkm;2Pk)et1

2kYkPkmk22d

k: (voir à la fin pour la définition de la loi2d k) Démonstration.En remplaçantXparXm, on peut supposer quem= 0.

Pourk= 1;:::;r, on note(fk;1;:::;fk;dk)une base orthonormale deEk, de sorte que leur concaténation fournit

une base orthonormale(f) = (f1;:::;fd)deRd. Le vecteur 0 B @hX;f1i hX;fdi1 C A des composantes deXdans la base(f)est l"image deXpar une application orthogonale (l"application de

changement de baseAdéfinie parA(fi) =eioù(e1;:::;ed)est la base canonique deRd). Par conséquent, ce

vecteur a même loi queX, c"est-à-dire que ses composantes sont indépendantes et suivent la loiN(0;2). Or

chacune des projections Y k=PkX=hX;fk;1ifk;1++hX;fk;dkifk;dk

pourk= 1;:::;r, ne dépend que d"une sous-famille de composantes du vecteur précédent, et ces sous-familles

sont disjointes les unes des autres, doncY1;:::;Yrsont indépendantes (propriété d"indépendance " par pa-

quets »). De plus, on aYk=PkX N(0;2PktPk)etPktPk=P2k=Pk(projection orthogonale), et kYkk2=jhX;fk;1ij2++jhX;fk;dkij2 d"où l"on déduit la deuxième partie vu la définition de2d k.1 Principes généraux : estimation et test

L"objet des statistiques (plus exactement, des statistiquesmathématiques, ouinférentielles) est de déduire de

l"observation de données supposées aléatoires des informations sur la loi de celles-ci.

On se restreint dans la suite au cas où les données observées sont des réalisations denvariables aléatoires

X

1,...,Xnindépendantes et de même loisurRd. On dit que(X1;:::;Xn)est un échantillon de taillen.

On peut globalement distinguer deux types de problématiques : 1

- l"estimation d"une grandeur numérique dépendant de(son espérance, sa variance,...) : c"est une approche

quantitative. Les notions concernées sont lesestimateurset lesrégions de confiance.

- confirmer ou infirmer des hypothèses sur la loi(Son espérance est-elle égale à5?est-elle une loi de

Poisson?(surRd) est-elle une loi produit?...) : c"est une approchequalitative. Notons que cela revient à

estimer des grandeurs discrètes dépendant de(autrement dit, des fonctions indicatrices). La notion qui s"y

rattache est celle detest d"hypothèse.

1.1 Estimation

1.1.1 Estimateurs

Supposons que l"on souhaite estimer la valeur d"une quantité2Rddépendant de. Typiquement, son espérance

ou sa variance. Unestimateurdeest une variable aléatoirebà valeurs dansRd, qui dépend deX1,...,Xn. Il

estconsistant(resp.fortement consistant) sib!quandn! 1en probabilité (resp. presque sûrement). La consistance est bien sûr une propriété essentielle pour un estimateur. On dit que bestsans biaiss"il est intégrable etE[b] =.

Exemple. Sia une espérance finie, on peut, pour estimer son espérancem, utiliser lamoyenne empirique

bm=X n=X1++Xnn

C"est un estimateur sans biais (linéarité de l"espérance) et fortement consistant (loi forte des grands nombres).

Remarque. Bien que l"on se soit restreint ci-dessus à2Rd, on peut considérer aussi des quantités vivant dans

des espaces de dimension infinie, en adaptant alors la notion de consistance. Par exemple on peut tout simplement

souhaiter estimerelle-même (oùest une mesure surRd). Pour cela, un choix naturel est lamesure empirique

b=1n n X i=1 Xi:

C"est la mesure surRdtelle queb(A)est la proportion de points de l"échantillon qui appartiennent au borélienA.

Par la loi forte des grands nombres (et la séparabilité deCc(Rd)), c"est un estimateur fortement consistant, au sens

où, presque sûrementb!en loi quandn! 1. Souvent, on suppose queappartient à un ensemblefj2gde mesures de probabilités indexé parRd.

Dans ce cadre (qui revient à dire quecaractérise),apparaît comme unparamètrede la loi, et on parle

d"estimation paramétrique. Le modèle est ditidentifiablesiest défini uniquement, c"est-à-dire que7!

est injective sur.

On peut souvent deviner une fonction qui constitue un (bon) estimateur de. Néanmoins, il y a aussi des

méthodes plus ou moins générales : Méthode des moments.Si='(m1;m2;:::;mk)est une fonction continue'deskpremiers moments de m 1=m=Z xd; m 2=Z x

2d;mk=Z

x kd; alors, d"après la loi forte des grands nombres, un estimateur fortement consistant est b ='(bm1;:::;bmk) où bm1=1n n X i=1X i;bmk=1n n X i=1(Xi)k: EMV.Si2 fj2get qu"il existe une mesure(pas nécessairement une probabilité) telle que

pour tout2(en généralest la mesure de comptage, ou la mesure de Lebesgue), on appelle la densité

(x1;:::;xn)7!L(x1;:::;xn) =d n d n(x1;:::;xn) =dd (x1)dd (xn)

lavraisemblancede. C"est une façon de mesurer la probabilité, sous, d"observer un échantillon " voisin »

de(x1;:::;xn). L"estimateur du maximum de vraisemblanceest la valeurb(pas nécessairement unique) telle que L b(X1;:::;Xn) = sup

2L(X1;:::;Xn):

2

Cet estimateur n"est pas toujours simple à déterminer mais sa définition en fait un estimateur naturel et,

sous des hypothèses de régularité de7!L(que je ne précise pas), on peut montrer qu"il est consistant (et

asymptotiquement gaussien). Exemples d"EMV. a) On souhaite estimer la moyenne=1 de, où l"on sait que=E()(loi exponentielle) pour un certain >0inconnu. Notons=E(1=)pour suivre les notations ci-dessus. On prend=1[0;1[(x)dx.

Alors, pourx >0,d

d (x) =1 ex= d"où L (X1;:::;Xn) =1 ne(X1++Xn)=:

Comme souvent, il est plus pratique d"étudier lalog-vraisemblanceln(L(X1;:::;Xn)). Une étude de fonction

donne immédiatementb=nX

1++Xn:

b) On souhaite estimer les paramètresp= (p1;:::;pr)d"une loi discrète=psurf1;:::;rg(avecp(fig) =pi).

quotesdbs_dbs28.pdfusesText_34

[PDF] formule variance proba

[PDF] qu'est ce que l'influx nerveux

[PDF] transmission influx nerveux

[PDF] influx nerveux pdf

[PDF] influx nerveux potentiel d'action

[PDF] propagation de l'influx nerveux dans le neurone

[PDF] transmission de l'influx nerveux au niveau de la synapse

[PDF] calcul profondeur moho

[PDF] onde pmp definition

[PDF] forme indéterminée infini moins infini

[PDF] longueur masse durée 6ème exercices

[PDF] comment calculer moyenne fst tanger

[PDF] fst marrakech seuil 2017

[PDF] calculer moyenne fst mip

[PDF] seuil fst marrakech 2016