T. D. n 10 Correction de Régression linéaire multiple
Exercice 1. Dans cet exercice nous n'utiliserons que le logiciel R pour faire les calculs des valeurs critiques des quantiles de Fisher. Question 1
Régression linéaire
Exercice 1.10 (Régression simple) Cet exercice est corrigé en annexe sujet de décembre 2010. Exercice 1.11 (Forces de frottement et vitesse) Cet exercice
Corrections des exercices
En conclusion effectuer une régression multiple sur des variables orthogonales revient à effectuer p régressions simples. Exercice 2.8 (Centrage
Modèles de régression linéaire
Apr 1 2010 Exercice 6 : Modèle de régression linéaire simple sans constante. On ... sujet d'examen
Modèle de régression linéaire multiple
corrigé. Page 17. Econométrie. Pr. Moad El kharrim. 3. Les tests statistiques. 3.1 Exercice 3: Tests statistiques sur les coefficients et la variance de l ...
Exercices : Mod`ele de régression linéaire simple et multiple
Quelle est la variable explicative ? (b) Donner les estimations des coefficients de la régression et préciser leur interprétation. (c) Donner l'équation de la
T. D. n 7 Correction de Régression linéaire multiple
Exercice 1 Dans cet exercice nous n'utiliserons que le logiciel R pour faire les calculs des valeurs critiques des quantiles de Fisher. Question 1. La somme
Corrigé - Série 3 Régression linéaire simple Exercice 1 - Densité
Corrigé - Série 3. Régression linéaire simple. Exercice 1 - Densité européenne a) y = 00001x + 1
Exercices sur le modèle de régression linéaire simple
Exercices sur le modèle de régression linéaire simple. Exercice 1. Le tableau ci-dessous représente l'évolution du revenu disponible brut et de la
Série Corrigée N°2 Modèle de Régression Linéaire Multiple
Jun 4 2015 fois plus élevé que celui des précipitations. Énoncé de l'Exercice 2 :(ISG SP2008). On considère le modèle de régression multiple : ...
T. D. n 10 Correction de Régression linéaire multiple
Exercice 1. Dans cet exercice nous n'utiliserons que le logiciel R pour faire les calculs des valeurs critiques des quantiles de Fisher. Question 1
Régression linéaire
Figure 1.11 – Droites de régression et points aberrants. Exercice 1.6 (La hauteur des eucalyptus) Cet exercice est corrigé en annexe (décembre 2009).
Série Corrigée N°2 Modèle de Régression Linéaire Multiple
4 juin 2015 fois plus élevé que celui des précipitations. Énoncé de l'Exercice 2 :(ISG SP2008). On considère le modèle de régression multiple : ...
Modèle de régression linéaire multiple
Le meilleur modèle est celui qui a le S le plus petit. Page 16. Econométrie. Pr. Moad El kharrim. Exercice 1:.
TD de régression linéaire multiple
Donner une estimation de ?2 la variance de ?. 1. Page 2. Exercice 3 : Production industrielle. On étudie l'influence
Corrigé - Série 3 Régression linéaire simple Exercice 1 - Densité
STT-2902. Automne 2012. Emmanuelle Reny-Nolin. Corrigé - Série 3. Régression linéaire simple. Exercice 1 - Densité européenne a) y = 00001x + 1
Corrections des exercices
Exercice 1.3 (Variance des estimateurs) Exercice 1.7 (Estimateur de la variance du bruit) ... En conclusion effectuer une régression multiple sur.
T. P. n 6 Correction de Régression linéaire multiple
Exercice 1 Dans cet exercice nous n'utiliserons que le logiciel R pour faire les calculs des valeurs critiques des quantiles de Fisher. Question 1. La somme
Modèles de régression linéaire
1 avr. 2010 Exercices. Déterminer les valeurs des estimateurs des moindres carrés ordinaires des cœfficients de régression de l'estimateur sans biais ...
T. D. n 2 Régression linéaire multiple
Les exercices 12
Université Rennes 2Master de Statistique
Année 2012/2013
Premier Semestre
Régression linéaire
ArnaudGuyader
Ce cours est tiré des quatre premiers chapitres du livre de Pierre-André Cornillon et Eric Matzner-
Løber,Régression avecR, paru chez Springer en 2010.Table des matières
1 La régression linéaire simple1
1.1 Modélisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Moindres Carrés Ordinaires. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Calcul des estimateurs deβ1etβ2. . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 Quelques propriétés des estimateursˆβ1etˆβ2. . . . . . . . . . . . . . . . . 4
1.2.3 Calcul des résidus et de la variance résiduelle. . . . . . . . . . . . . . . . . 7
1.2.4 Prévision. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Interprétations géométriques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1 Représentation des variables. . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.2 Le coefficient de déterminationR2. . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Cas d"erreurs gaussiennes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 Estimateurs du maximum de vraisemblance. . . . . . . . . . . . . . . . . . 11
1.4.2 Rappels sur les lois usuelles. . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.3 Lois des estimateurs et régions de confiance. . . . . . . . . . . . . . . . . . 13
1.4.4 Prévision. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Exemple. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Exercices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.7 Corrigés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2 La régression linéaire multiple29
2.1 Modélisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2 Estimateurs des Moindres Carrés Ordinaires. . . . . . . . . . . . . . . . . . . . . . 31
2.2.1 Calcul deˆβ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.2 Quelques propriétés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.3 Résidus et variance résiduelle. . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.4 Prévision. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3 Interprétation géométrique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Exemple. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Exercices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.6 Corrigés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3 Le modèle gaussien49
3.1 Estimateurs du Maximum de Vraisemblance. . . . . . . . . . . . . . . . . . . . . . 49
3.2 Lois des estimateurs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.1 Quelques rappels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.2 Nouvelles propriétés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.3 Intervalles et régions de confiance. . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.4 Prévision. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.3 Tests d"hypothèses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
i iiTable des matières3.3.2 Tests entre modèles emboîtés. . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.3 Test de Student de signification d"un coefficient. . . . . . . . . . . . . . . . 60
3.3.4 Test de Fisher global. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3.5 Lien avec le Rapport de Vraisemblance Maximale. . . . . . . . . . . . . . . 60
3.4 Estimation sous contraintes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5 Exemple. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.6 Exercices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.7 Corrigés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4 Validation du modèle81
4.1 Analyse des résidus. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.1.1 Résidus et valeurs aberrantes. . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.1.2 Analyse de la normalité. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.1.3 Analyse de l"homoscédasticité. . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.4 Analyse de la structure des résidus. . . . . . . . . . . . . . . . . . . . . . . 85
4.2 Analyse de la matrice de projection. . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3 Autres mesures diagnostiques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
A Annales93
B Rappels d"algèbre131
B.1 Quelques définitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131B.2 Quelques propriétés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
B.2.1 Les matricesn×p. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 B.2.2 Les matrices carréesn×n. . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 B.2.3 Les matrices symétriques. . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 B.2.4 Les matrices semi-définies positives. . . . . . . . . . . . . . . . . . . . . . . 132B.3 Propriétés des inverses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
B.4 Propriétés des projections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
B.4.1 Généralités. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
B.4.2 Exemple de projection orthogonale. . . . . . . . . . . . . . . . . . . . . . . 133 B.4.3 Trace et éléments courants. . . . . . . . . . . . . . . . . . . . . . . . . . . . 133B.5 Dérivation matricielle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
C Rappels de probabilité135
C.1 Généralités. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
C.2 Vecteurs aléatoires gaussiens. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
C.3 Tables des lois usuelles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 C.3.1 Loi NormaleX≂ N(0,1). . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 C.3.2 Loi de StudentX≂ Tν. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 C.3.3 Loi du Khi-deux àνddlX≂χ2ν. . . . . . . . . . . . . . . . . . . . . . . . 139C.3.4 Loi de Fisher àν1,ν2ddlX≂ Fν1ν2. . . . . . . . . . . . . . . . . . . . . . . 140
D Quelques données141
Bibliographie143
Arnaud Guyader - Rennes 2Régression
Chapitre 1La régression linéaire simpleIntroductionCommençons par un exemple afin de fixer les idées. Pour des raisons de santé publique, on s"in-
téresse à la concentration d"ozoneO3dans l"air (en microgrammes par millilitre). En particulier,
on cherche à savoir s"il est possible d"expliquer le taux maximal d"ozone de la journée par la températureT12à midi. Les données sont : Température à 12h23.8 16.3 27.2 7.1 25.1 27.5 19.4 19.8 32.2 20.7 O3max115.4 76.8 113.8 81.6 115.4 125 83.6 75.2 136.8 102.8 Table1.1 - 10 données journalières de température et d"ozone. D"un point de vue pratique, le but de cette régression est double : - ajuster un modèle pour expliquerO3en fonction deT12; - prédire les valeurs d"O3pour de nouvelles valeurs deT12. Avant toute analyse, il est intéressant de représenter les données, comme sur la figure 1.1.10 15 20 25 30
80 90 100 110 120 130
T12 O3 Figure1.1 - 10 données journalières de température et d"ozone. Pour analyser la relation entre lesxi(température) et lesyi(ozone), nous allons chercher une fonctionftelle que : y i≈f(xi).Pour préciser le sens de≈, il faut se donner un critère quantifiant la qualité de l"ajustement de la
fonctionfaux données. Il conviendra aussi de se donner une classe de fonctionsFdans laquelle est supposée vivre la vraie fonction inconnue.2Chapitre 1. La régression linéaire simple
Le problème mathématique peut alors s"écrire de la façon suivante : argmin f?Fn i=1L(yi-f(xi)),oùnreprésente le nombre de données disponibles (taille de l"échantillon) etL(.)est appelée fonction
de coût ou fonction de perte (Lossen anglais).1.1 Modélisation
Dans de nombreuses situations, en première approche, une idée naturelle est de supposer que lavariable à expliqueryest une fonction affine de la variable explicativex, c"est-à-dire de chercher
fdans l"ensembleFdes fonctions affines de ?dans?. C"est le principe de la régression linéaire simple. On suppose dans la suite disposer d"un échantillon denpoints(xi,yi)du plan.Définition 1 (Modèle de régression linéaire simple)Un modèle de régression linéaire simple
est défini par une équation de la forme : ?i? {1,...,n}yi=β1+β2xi+εiLes quantitésεiviennent du fait que les points ne sont jamais parfaitement alignés sur une droite.
On les appelle les erreurs (ou bruits) et elles sont supposées aléatoires. Pour pouvoir dire des choses
pertinentes sur ce modèle, il faut néanmoins imposer des hypothèses les concernant. Voici celles
que nous ferons dans un premier temps : (H)?(H1) : ?[εi] = 0pour tout indicei (H2) : Cov(εi,εj) =δijσ2pour tout couple(i,j)Les erreurs sont donc supposées centrées, de même variance (homoscédasticité) et non corrélées
entre elles (δijest le symbole de Kronecker, i.e.δij= 1sii=j,δij= 0sii?=j). Notons que le modèle de régression linéaire simple de la définition1peut encore s"écrire de façon vectorielle :
Y=β1
?+β2X+ε, où : - le vecteurY= [y1,...,yn]?est aléatoire de dimensionn, - le vecteur ?= [1,...,1]?est le vecteur de?ndont lesncomposantes valent toutes 1, - le vecteurX= [x1,...,xn]?est un vecteur de dimensionndonné (non aléatoire),- les coefficientsβ1etβ2sont les paramètres inconnus (mais non aléatoires!) du modèle,
- le vecteurε= [ε1,...,εn]?est aléatoire de dimensionn. Cette notation vectorielle sera commode notamment pour l"interprétation géométrique du pro- blème. Nous y reviendrons en Section1.3et elle sera d"usage constant en régression linéaire mul-
tiple, c"est pourquoi il convient d"ores et déjà de s"y habituer.1.2 Moindres Carrés Ordinaires
Les points(xi,yi)étant donnés, le but est maintenant de trouver une fonction affineftelle quela quantité?ni=1L(yi-f(xi))soit minimale. Pour pouvoir déterminerf, encore faut-il préciser la
fonction de coûtL. Deux fonctions sont classiquement utilisées : - le coût absoluL(u) =|u|;Arnaud Guyader - Rennes 2Régression
1.2. Moindres Carrés Ordinaires3
- le coût quadratiqueL(u) =u2.Les deux ont leurs vertus, mais on privilégiera dans la suitela fonction de coût quadratique. On
parle alors de méthode d"estimation par moindres carrés (terminologie due à Legendre dans un
article de 1805 sur la détermination des orbites des comètes). Définition 2 (Estimateurs des Moindres Carrés Ordinaires)On appelle estimateurs des MoindresCarrés Ordinaires (en abrégé MCO)ˆβ1etˆβ2les valeurs minimisant la quantité :
S(β1,β2) =n?
i=1(yi-β1-β2xi)2.Autrement dit, la droite des moindres carrés minimise la somme des carrés des distances verticales
des points(xi,yi)du nuage à la droite ajustéey=ˆβ1+ˆβ2x.1.2.1 Calcul des estimateurs deβ1etβ2
La fonction de deux variablesSest une fonction quadratique et sa minimisation ne pose aucun problème, comme nous allons le voir maintenant. Proposition 1 (Estimateursˆβ1etˆβ2)Les estimateurs des MCO ont pour expressions :β1= ¯y-ˆβ2¯x,
avec :β2=?
n i=1(xi-¯x)(yi-¯y) ?ni=1(xi-¯x)2=? n i=1(xi-¯x)yi?ni=1(xi-¯x)2.Preuves.La première méthode consiste à remarquer que la fonctionS(β1,β2)est strictement
convexe, donc qu"elle admet un minimum en un unique point(ˆβ1,ˆβ2), lequel est déterminé en
annulant les dérivées partielles deS. On obtient les "équations normales" : ?∂S ∂β1=-2n? i=1(yi-ˆβ1-ˆβ2xi) = 0 ∂S ∂β2=-2n? i=1x i(yi-ˆβ1-ˆβ2xi) = 0La première équation donne :
β1n+ˆβ2n
i=1x i=n? i=1y i d"où l"on déduit immédiatement :β1= ¯y-ˆβ2¯x,(1.1)
où¯xet¯ysont comme d"habitude les moyennes empiriques desxiet desyi. La seconde équation donne :β1n
i=1x i+ˆβ2n i=1x 2 i=n? i=1x iyiRégressionArnaud Guyader - Rennes 2
4Chapitre 1. La régression linéaire simple
et en remplaçantˆβ1par son expression (1.1), nous avons :β2=?xiyi-?xi¯y
La seconde méthode consiste à appliquer la technique de Gauss de réduction des formes quadra-
tiques, c"est-à-dire à décomposerS(β1,β2)en somme de carrés, carrés qu"il ne restera plus qu"à
annuler pour obtenir les estimateursˆβ1etˆβ2. Dans notre cas, après calculs, ceci s"écrit :
S(β1,β2) =n(β1-(¯y-β2¯x))2+?
n? i=1(xi-¯x)2? 2-? n i=1(xi-¯x)(yi-¯y) ?ni=1(xi-¯x)2? 2 n? i=1(yi-¯y)2??1-(?ni=1(xi-¯x)(yi-¯y))2
?ni=1(xi-¯x)2?ni=1(yi-¯y)2?où apparaissent deux carrés et un troisième terme indépendant deβ1etβ2: ce dernier est donc
incompressible. Par contre, le second est nul si et seulement siβ2=ˆβ2. Ceci étant fait, le premier
est alors nul si et seulement siβ1=ˆβ1.L"expression (
1.2) deˆβ2suppose que le dénominateur?ni=1(xi-¯x)2est non nul. Or ceci ne peut
arriver que si tous lesxisont égaux, situation sans intérêt pour notre problème et que nous ex-
cluons donc a priori dans toute la suite.Remarques :
1. La relation
ˆβ1= ¯y-ˆβ2¯xmontre que la droite des MCO passe par le centre de gravité du nuage(¯x,¯y).2. Les expressions obtenues pour
ˆβ1etˆβ2montrent que ces deux estimateurs sont linéaires par rapport au vecteurY= [y1,...,yn]?.3. L"estimateur
ˆβ2peut aussi s"écrire comme suit (exercice!) :β2=β2+?(xi-¯x)εi
?(xi-¯x)2.(1.3)Si cette décomposition n"est pas intéressante pour le calcul effectif deˆβ2puisqu"elle fait
intervenir les quantités inconnuesβ2etεi, elle l"est par contre pour démontrer des propriétés
théoriques des estimateurs (biais et variance). Son avantage est en effet de mettre en exergue la seule source d"aléa du modèle, à savoir les erreursεi.Avant de poursuivre, notons que le calcul des estimateurs des moindres carrés est purement déter-
ministe : il ne fait en rien appel aux hypothèses(H1)et(H2)sur le modèle. Celles-ci vont en fait
servir dans la suite à expliciter les propriétés statistiques de ces estimateurs.1.2.2 Quelques propriétés des estimateurs
ˆβ1etˆβ2
Sous les seules hypothèses(H1)et(H2)de centrages, décorrélations et homoscédasticités des er-
reursεidu modèle, on peut déjà donner certaines propriétés des estimateursˆβ1etˆβ2des moindres
carrés.Théorème 1 (Estimateurs sans biais)ˆβ1etˆβ2sont des estimateurs sans biais deβ1etβ2.
Arnaud Guyader - Rennes 2Régression
1.2. Moindres Carrés Ordinaires5
Preuve.Partons de l"écriture (1.3) pourˆβ2:β2=β2+?(xi-¯x)εi
?(xi-¯x)2.Dans cette expression, seuls les bruitsεisont aléatoires, et puisqu"ils sont centrés, on en déduit
bien que ?[ˆβ2] =β2. Pourˆβ1, on part de l"expression :β1= ¯y-ˆβ2¯x,
d"où l"on tire : ?[ˆβ1] =?[¯y]-¯x?[ˆβ2] =β1+ ¯xβ2-¯xβ2=β1. On peut également exprimer variances et covariance de nos estimateurs. Théorème 2 (Variances et covariance)Les variances des estimateurs sont : Var(ˆβ1) =σ2?x2i
& Var(ˆβ2) =σ2?(xi-¯x)2,
tandis que leur covariance vaut : Cov(ˆβ1,ˆβ2) =-σ2¯x
quotesdbs_dbs4.pdfusesText_7[PDF] exercice corrigé de synthèse de document pdf
[PDF] exercice corrigé de systeme d'exploitation 2
[PDF] exercice corrigé de système dinformation pdf
[PDF] exercice corrigé de systeme triphasé pdf
[PDF] exercice corrigé de torseur pdf
[PDF] exercice corrigé de traitement dimage pdf
[PDF] exercice corrigé de traitement thermique
[PDF] exercice corrigé dependance fonctionnelle pdf
[PDF] exercice corrigé dérivation 1ere s pdf
[PDF] exercice corrige diagramme d'état transition
[PDF] exercice corrigé diagramme d'état transition uml
[PDF] exercice corrigé diagramme d'etat uml
[PDF] exercice corrigé diagramme évènement résultat
[PDF] exercice corrigé droite de budget