[PDF] Résumé du Cours de Mod`eles de Régression

View - Download Résumé du Cours de Mod`eles de Régression

Previous PDF

Next PDF

R esume du Cours de Modeles de Regression

Yves Tille

10 janvier 2011

1

Chapitre 1

R´egression bivari´ee

1.1 S´erie statistique bivari´ee

On s'int´eresse `a deux variablesxety. Ces deux variables sont mesur´ees sur lesnunit´es d'observation.

Pour chaque unit´e, on obtient donc deux mesures. La s´erie statistique est alors une suite dencouples des

valeurs prises par les deux variables sur chaque individu : (x1,y1),...,(xi,yi),...,(xn,yn). Chacune des deux variables peut ˆetre soit quantitative, soit qualitative.

1.1.1 Repr´esentation graphique de deux variables

Dans ce cas, chaque couple est compos´e de deux valeurs num´eriques. Un couple de nombres (entiers ou

r´eels) peut toujours ˆetre repr´esent´e comme un point dans un plan (x1,y1),...,(xi,yi),...,(xn,yn). Exemple 1.1On mesure le poidsYet la tailleXde 20 individus.

Table1.1 - Taille et poids de 20 individus

y ixi y ixi

60 155

75 180

61 162

76 175

64 157

78 173

67 170

80 175

68 164

85 179

69 162

90 175

70 169

96 180

70 170

96 185

72 178

98 189

73 173

101 187

1.1.2 Analyse des variables

Les variablesxetypeuvent ˆetre analys´ees s´epar´ement. On peut calculer tous les param`etres dont les

moyennes et les variances :

¯x=1

n n i=1x i, s2x=1 n n i=1(xi-¯x)2, 2

155 160 165 170 175 180 185 190

60 70 80 90 100

taille poids

Figure1.1 - Le nuage de points

¯y=1

n n i=1y i, s2y=1 n n i=1(yi-¯y)2.

Ces param`etres sont appel´esparam`etres marginaux:variances marginales,moyennes marginales,´ecarts-types

marginaux, etc.

1.1.3 Covariance

Lacovarianceest d´efinie

s xy=1 n n i=1(xi-¯x)(yi-¯y).

Remarque 1.1

- La covariance peut prendre des valeurs positives, n´egatives ou nulles. - Quandxi=yi,pour touti= 1,...n,la covariance est ´egale `a la variance. - La covariance peut ´egalement s'´ecrire s xy=1 n n i=1x iyi-¯x¯y.

1.1.4 Corr´elation

Lecoefficient de corr´elationest la covariance divis´ee par les deux ´ecart-types marginaux r xy=sxy s xsy.

Le coefficient de corr´elation peut ˆetre interpr´et´e g´eom´etriquement. Consid´erons les deux vecteurs centr´es de

R n: x= (x1-¯x,···,xi-¯x,···,xn-¯x)′ y= (y1-¯y,···,yi-¯y,···,yn-¯y)′.

Par d´efinition, le cosinus de l'angle entre,

˜xet˜yvaut

cos(

˜x,˜y) =<˜x,˜y>

˜x|| × ||˜y||,

3 o`u<˜x,˜y>est le produit scalaire entre les vecteurs˜xet˜y

˜x,˜y>=n∑

i=1(xi-¯x)(yi-¯y), et||˜x||(rep.||˜y||) est la norme de˜x(resp.˜y) :

˜x||=v

uut n i=1(xi-¯x)2et||˜y||=v uut n i=1(yi-¯y)2. Le coefficient de corr´elation est donc ´egal au cosinus de l'angle entre les vecteurs

˜xet˜y. Comme un cosinus

est toujours compris dans [-1,1], on obtient que :

Remarque 1.2Le coefficient de corr´elation mesure la d´ependance lin´eaire entre deux variables.

- Si le coefficient de corr´elation est positif, les points sont align´es le long d'une droite croissante.

- Si le coefficient de corr´elation est n´egatif, les points sont align´es le long d'une droite d´ecroissante.

- Si le coefficient de corr´elation est nul ou proche de z´ero, il n'y a pas de d´ependance lin´eaire. On peut

cependant avoir une d´ependance non-lin´eaire avec un coefficient de corr´elation nul.r=1r=-1r=0

r>0r<0r=0 Figure1.2 - Exemples de nuages de points et coefficients de corr´elation

Remarque 1.3La pr´esence d'une corr´elation n'implique pas forc´ement une relation de causalit´e entre les

deux variables.

Lecoefficient de d´etermination(appel´e aussi R-deux ou R-carr´e) est le carr´e du coefficient de corr´elation.

r

2xy=s2xy

s

2xs2y.

De l'in´egalit´e (1.1), on obtient directement que 4

1.1.5 Droite de r´egression

Ladroite de r´egressionest la droite qui ajuste au mieux un nuage de points au sens des moindres carr´es.

On consid`ere que la variableXest explicative et que la variableYest d´ependante. L'´equation d'une droite

est y=a+bx.

Le probl`eme consiste `a identifier une droite qui ajuste bien le nuage de points. Si les coefficientsaetb´etaient

connus, on pourrait calculer les r´esidus de la r´egression d´efinis par : e i=yi-a-bxi.

Le r´esidueiest l'erreur que l'on commet (voir Figure 1.3) en utilisant la droite de r´egression pour pr´edire

y

i`a partir dexi.Les r´esidus peuvent ˆetre positifs ou n´egatifs.155 160 165 170 175 180 185 190

60 70 80 90 100

taille poids ei y*iy i

Figure1.3 - Le nuage de points, le r´esidu

Pour d´eterminer la valeur des coefficientsaetbon utilise le principe desmoindres carr´esqui consiste `a

chercher la droite qui minimise la somme des carr´es des r´esidus :

M(a,b) =n∑

i=1e

2i=n∑

i=1(yi-a-bxi)2.

Th´eor`eme 1.1Les coefficientsaetbqui minimisent le crit`ere des moindres carr´es sont donn´es par :

b=sxy s

2xeta= ¯y-b¯x.

D´emonstrationLe minimumM(a,b) ena,bs'obtient en annulant les d´eriv´ees partielles par rapport `aa

etb. ∂M(a,b) ∂a =-n∑ i=12(yi-a-bxi) = 0 ∂M(a,b) ∂b =-n∑ i=12(yi-a-bxi)xi= 0

On obtient un syst`eme de deux ´equations `a deux inconnues. En divisant les deux ´equations par-2n,on

obtient : 1 n n i=1(yi-a-bxi) = 0 1 n n i=1(yi-a-bxi)xi= 0, 5 ou encore 1 n n i=1y i-1 n n i=1a-b1 n n i=1x i= 0 1 n n i=1y ixi-1 n n i=1ax i-1 n n i=1bx

2i= 0,

ce qui s'´ecrit aussi ¯y=a+b¯x 1 n n i=1y ixi-a¯x-1 n n i=1bx

2i= 0.

La premi`ere ´equation montre que la droite passe par le point (¯x,¯y).On obtient a= ¯y-b¯x. En rempla¸cantapar ¯y-b¯xdans la seconde ´equation, on a 1 n n i=1x iyi-(¯y-b¯x)¯x-b1 n n i=1x 2i 1 n n i=1x iyi-¯x¯y-b( 1 n n i=1x

2i-¯x2)

=sxy-bs2x = 0, ce qui donne s xy-bs2x= 0. Donc b =sxy s 2x.

On a donc identifi´e les deux param`etres

b=sxy s

2x(la pente)

a= ¯y-b¯x= ¯y-sxy s

2x¯x(la constante).

Pour v´erifier qu'il s'agit bien d'un minimum, on doit montrer que la matrice hessienne des d´eriv´ees secondes

est d´efinie positive. Cette matrice vaut :

H=

2M(a,b)

∂a

2∂

2M(a,b)

∂a∂b

2M(a,b)

∂a∂b

2M(a,b)

∂b On a

2M(a,b)

∂a

2= 2n,∂2M(a,b)

∂b

2= 2n∑

i=1x

2i,et∂2M(a,b)

∂a∂b = 2n∑ i=1x i= 2n¯x.

La matrice hessienne vaut donc

H= 2(n∑xi∑xi∑x2i)

et peut s'´ecrireH= 2X′X,o`u

X=

1x1......

1xi......

6

Pour tout vecteuru∈R2, les formes quadratiquesu′Hupeuvent s'´ecrire 2v′ven posantv=Xu.Comme

v ′vest toujours positif, la matriceHest d´efinie positive.2 La droite de r´egression /indexdroite!de r´egression est donc y=a+bx= ¯y-sxy s

2x¯x+sxy

s 2xx, ce qui peut s'´ecrire aussi y-¯y=sxy s

2x(x-¯x).

Figure1.4 - La droite de r´egression155 160 165 170 175 180 185 190

60 70 80 90 100

taille poids

Remarque 1.4La droite de r´egression deyenxn'est pas la mˆeme que la droite de r´egression dexeny.

1.1.6 R´esidus et valeurs ajust´ees

Lesvaleurs ajust´eessont obtenues au moyen de la droite de r´egression : y ∗i=a+bxi.

Les valeurs ajust´ees sont les 'pr´edictions' desyir´ealis´ees au moyen de la variablexet de la droite de r´egression

deyenx.

Remarque 1.5La moyenne des valeurs ajust´ees est ´egale `a la moyenne des valeurs observ´ees ¯y. En effet,

1 n n i=1y ∗i=1 n n i=1(a+bxi) =a+b1 n n i=1x i=a+b¯x. Or, ¯y=a+b¯x,car le point (¯x,¯y) appartient `a la droite de r´egression.

Les r´esidus sont les diff´erences entre les valeurs observ´ees et les valeurs ajust´ees de la variable d´ependante.

e i=yi-y∗i. Les r´esidus repr´esentent la partie inexpliqu´ee desyipar la droite de r´egression. 7 Propri´et´e 1.1La moyenne des r´esidus est nulle.

D´emonstration

1 n n i=1e i=1 nquotesdbs_dbs16.pdfusesText_22

[PDF] ce que je ne dois pas faire en classe

[PDF] pourquoi respecter les règles ? l'école

[PDF] respecter ses camarades

[PDF] respect des règles ? l'école

[PDF] pourquoi je dois respecter mes camarades

[PDF] redaction comment se tenir en classe

[PDF] comment dois tu te comporter en classe

[PDF] les chatiments hugo analyse

[PDF] merci de me rendre heureuse

[PDF] poeme je t'aime mon coeur

[PDF] tu me rends heureux

[PDF] poeme merci d'être entré dans ma vie

[PDF] poeme je t aime plus que tout au monde

[PDF] mots rares et beaux

[PDF] mots anciens rigolos