[PDF] Utilisation du modèle linéaire. Rappels de base - méthodes de

View - Download Utilisation du modèle linéaire. Rappels de base - méthodes de

Previous PDF

Next PDF

Centre de Brest

UTILISATION DU MODELE LINEAIRE.

Rappels de base - Méthodes de

validation.

Philippe GROS

Avertissement.

L"essentiel de ce texte a été publié en juillet 2000 dans la collection "documents océanographiques» de l"Institut Océanographique de Paris [Océanis 23(3) : 359 - 515, 1997]. Cette version complétée a été éditée pour diffusion élargie, entre autres aux Laboratoires

Côtiers de l"Ifremer.

Novembre 2000

Philippe GROS

Résumé.

La régression linéaire est l'un des modèles statistiques les pl us employés : son champ d'application s'étend de la description et de l'analyse des données expérimentales jusqu'à la prévision , et il est aussi utilisé pour l'interpolation, ou pour l'aide à la mise en évidence de relations causales, par exemple. Il est par conséqu ent indispensable que le praticien possède une solide connaissance des prérequis, de la portée et des limites du modè le linéaire. C'est pourquoi les deux premiers chapitres sont consacrés au modèle "classique" simple (une seule variable contrô lée, ou régresseur) : le chapitre 1 expose, principalement à l'aide de représentations géométriques, les principes géné raux de l'identification du modèle par les moindres carrés ordinaires. Le chapitre 2 aborde la modélisation statistique propreme nt dite ; il rappelle d'abord les concepts essentiels de la théorie de l'estimation, il présente ensuite l'estimation des para mètres du modèle par le maximum de vraisemblance, et il traite enfin l'inférence statistique dans le contexte gaussien, c'est -à-dire lorsque la loi des erreurs aléatoires indépendantes (les "résidus") est normale. Au chapitre 3 sont présentés d'une par t la généralisation de cet ensemble de résultats au cas de la régression multiple (deux régresseurs ou plus), et d'autre part le dia gnostic de l'impact de la "structure des régresseurs" (i.e., des propriétés de la matrice du plan d'expérience) sur l'estim ation des paramètres du modèle ; plusieurs palliatifs du problème de la "colinéarité" sont commentés à ce propos. Les deux chapitres suivants s'adressent au coeur du sujet : l'utilisateu r constate que dans la plupart des applications, les données "n'entrent pas exactement" dans le cadre défini par la thé orie, qu'elles ne sont "pas tout à fait conformes" aux hypothèses formulées pour construire le modèle. La confrontatio n aux situations concrètes soulève ainsi trois grandes questions : comment reconnaître et caractériser la manière dont les données s'écartent du modèle postulé ? Quelles sont les conséquences de cette déviation sur la qualité des résultats obtenus ? Quelles mesures correctives peut -on appliquer ? Au chapitre 4 sont examinées les principales méthodes de mise en é vidence et de gestion du non-respect des hypothèses de variance stable, d'absence d'autocorrélation, et éventuellement de normalité de la composante aléatoire du modèle linéaire. Au chapitre 5, l'attention est accordée à l'identification des poi nts qui jouent dans l'ajustement un rôle prépondérant, et qui peuvent être parfois considérés comme douteux : plusieurs techn iques complémentaires de détection des éléments influents et de reconnaissance des observations aberrantes sont présentées. Ce chapitre introduit en particulier l'application à la régression des outils de la statistique robuste (notions de fonction d'influence et de point de rupture d'un estimateur). Le sixième chapitre mentionne enfin deux extensions du modèle liné aire : d'une part le modèle linéaire dit "généralisé" (a u sens où la densité de probabilité du résidu peut être décrite par un e loi de la famille exponentielle), et d'autre part la relation structu relle.

Abstract.

Linear regression modelling is one of the most widely used statistical t ools: usual applications of this "core technique" encompass description and analysis of experimental data, interpolation, help in recognizing causal relationships, and forecasting. It is thus necessary for the practicioner to obtain an unde rstanding of the basic principles necessary to apply regression methods in a variety of settings. Accordingly, the first two chapters provide the standard results for the simple linear regression (only one controlled variable, or regressor). Since the emphasis is on practical applications, theoretical resu lts are stated without proof, and the major guidelines are building mode ls, assessing fit and reliability, and drawing conclusions. Chapter 1 relies upon a geometrical approach to introduce t he identification of the model by ordinary least squares. Chapter 2 focuses specifically on statistical modelling: the fu ndamental concepts of estimation theory are first recalled, and the maximum likelihood estimation of the model parameters is then presented; statistical inferences are treated here in the "classical" (gaussian) framework, i.e., the errors are assumed to be independent and identical normal random variables. The generalization to the multiple linear regression model ( two regressors at least) is described in Chapter 3 using matrix algebra; this chapter examines the design matrix properties gener ating multicollinearity problems: included are their sources, their harmful effects, and a review of available diagnostics an d remedial measures The next two chapters form the nucleus of this practically oriented textbook on regression analysis, whose successful use requires a capacity both in checking the model adequacy, and in managing the practical difficulties that arise when the technique is employed with real -world data. Chapters 4 and 5 put therefore the emphasis on the art of ex ploratory data analysis rather than on statistical theory, and cover several procedures designed to detect various types of disagreement between observations and the assumed model. Chapter 4 introduces diagnos tics for investigating dep artures from the usual assumptions on the random error component of the model (e.g., heteroscedasticity, autocorrelation, or non-normality); remedial actions are also examined, for instance analytical methods for selecting transformations to stabilize residual variance. Chapter 5 goes beyond the residual analysis, by introducing me thods for assessing the influence of individual observations, with the purpose of pinpointing outlying values both in th e response variable and in the explanatory part of the mode l (the so-called "leverage points" in the latter case). This chapter also emphasi zes a complementary line of inquiry, through the introduction of robust (or resistant) regression methods t hat require progressively fewer untenable assumptions, and whose results remain trustworthy even if a certain amount of observa tions are outliers. The concepts of breakdown point and influence function of an estimator are introduced; it is further str essed that robust methods provide powerful tools in identifying outliers, or, more generally, "troublesome" observations. Despite its broad range of application, linear regression calls for gene ralizations; two of them are examined in Chapter 6: the first one is a brief introduction to logistic regression, which offers a didactic example of one special case in the class of generalized linear models; the second one deals with the structural rela tionship.

Novembre 2000

UTILISATION DU MODELE LINEAIRE.

RAPPELS DE BASE - METHODES DE VALIDATION.

Philippe GROS

* Centre de Brest. Pages

Liminaire

i - iii Introduction. Exemples, définitions, notations. 1 - 7 1.

Estimation de

s paramètres du modèle linéaire simple. Présentation géométrique ; solution aux moindres carrés.

9 - 16

1.1. Identification des paramètres.

1.2. Représentation géométrique des moindres carrés ordinaires (MCO).

1.3. Equation d'analyse de la variance.

11 14 15 2. Estimation des paramètres du modèle linéaire simple par le maximum de vraisemblance ; inférences dans le cadre gaussien.

17 - 45

2.1.

2.9. Concepts de base de la théorie de l'estimation.

2.10. 2.11. Normalité des résidus ; estimation par le maximum de vraisemblance. 2.12.

2.16. Inférences statistiques dans le cadre gaussien.

2.17. Différences profondes entre modèles linéaires et non linéaires.

19 29
34
43
3. Présentation sommaire de la régression linéaire multiple.

47 - 68

3.1.

3.3. Formulation matricielle des résultats généraux.

3.4. Lien de la réponse avec l'un des régresseurs : diagramme de la variable ajoutée.

3.5. Application de la régression multiple à la comparaison de dr

oites de régression. 3.6.

3.10. Problèmes posés par la non

orthogonalité des régresseurs

Palliatifs.

49 53 55

58
4.

La pratique de la régression linéaire :

les techniques classiques de validation du modèle.

69 - 91

4.1.

4.6. Pourquoi et comment transformer les variables ?

4.7. Comment déceler une éventuelle autocorrélation des résidus ?

4.8. Comment vérifier l'hypothèse de normalité des résidus ?

4.9.

4.10. Moindres carrés généralisés ; moindres carrés pondérés. 71

80
84
89
5. La pratique de la régression linéaire : Comment identifier et traiter les points "suspects" ou "anormalement influents" ?

93 - 129

5.1.

5.2. Influence du plan d'expérience et caractérisation de "l'effet de levier".

5.3.

5.4. Etude des écarts à l'ajustement et détection des points aberrants.

5.5.

5.8. La robustesse statistique : définitions et outils.

5.9. 5.13 . Notion de régression robuste

Application du

bootstrap 95 98
103
115
6.

Quelques extensions du modèle linéai

re classique.

131 - 141

6.1. Modèle linéaire généralisé : notions élémentaires.

6.2.

6.3. Relation fonctionnelle et relation structurelle.

133 136

Annexe. Echantillonnage, rééchantillonnage : le bootstrap.

143 - 146

* E-mail : phgros@ifremer.fr i Liminaire. Ce document est destiné aux utilisateurs de l'outil statistique. Il c onstitue le support d'un enseignement dispensé aux étudiants qui abordent le troisième c ycle d'océanographie biologique ; il a par ailleurs fait l'objet de plusieurs exposés dans le cadre de formations organisées au sein de l'IFREMER. Le niveau de connaissance nécessaire pour sa lecture corre spond à celui acquis à l'issue du premier cycle universitaire d'une "filière" scientifique.

Plus précisément, les bases de la

théorie de l'estimation statistique, ainsi que celles des tests, sont supposées maîtrisées ; par précaution, les concepts essentiels de la théorie de l'estimation sont néanmoins rappelés au début de la deuxième partie.

Le premier objectif est de proposer à l'utilisateur un guide lui permettant d'exploiter au mieux les

possibilités offertes par la régression linéaire : description de résultats expérimentaux, interpolation, prévision, aide à la recherche de liens causaux, .. . Il ne s'agit nullement de dresser un "catalogue de recettes", mais au contraire d'amener le lecteur à s'in terroger sur l'éventail des méthodes susceptibles d'être employées dans la pratique : c'est -à-dire, dans les situations (fréquentes !) où les données "n'entrent pas exactement" dans le cadre déf ini par la théorie. Les deux premières parties sont donc logiquement consacrées à l a présentation résumée du modèle classique ; elles sont simplement un aide -mémoire, qui privilégie l'exposé des résultats, sans recourir aux démonstrations formelles et détaillées que l'on tr ouvera dans les ouvrages de

Statistique (

vide infra , références citées). · La première partie présente succinctement les principes géné raux de l'estimation par les moindres carrés ordinaires (MCO) ; une large place y est accordée aux re présentations géométriques, qui permettent d'appréhender directement plusieurs résultats établi s dans le cadre de l'algèbre linéaire. Cette approche initiale, centrée sur les MCO, vise une simple descrip tion des données expérimentales, résumées à l'aide d'une droite, d'un plan, . .., par exemple. Il s'agit à ce niveau d'identifier un modèle. · La seconde partie aborde le problème de la modélisation statistiq ue proprement dite. En général, l'écriture d'un modèle qui résume les observations appelle des dévelop pements complémentaires : il est en particulier nécessaire de lui "donner un sens", i.e., répondre à des questions telles que "peut on

comparer les paramètre du modèle à des valeurs données a priori ?", ou encore " de quelle erreur sont

entachées les prévisions réalisées à l'aide du modèle ?", par exemple. On aborde là le problème de la gestion des incertitudes. En ce sens, la seconde partie présente l'es timation par le maximum de vraisemblance, et traite des inférences statistiques usuelles dans le contexte du modèle probabiliste gaussien, i.e., lorsque la loi des erreurs aléatoires indépendantes (les "ré sidus") est normale. Commequotesdbs_dbs25.pdfusesText_31

[PDF] Bases du Web Design

[PDF] BASES D`EXERCICES EN LIGNE À L`UNIVERSITÉ BASES D

[PDF] Bases d`hydraulique - Anciens Et Réunions

[PDF] bases ecologiques , interet epidemiologique - France

[PDF] Bases et Diagnostic

[PDF] Bases et Méthodes de la Chimie Quantique

[PDF] Bases informatiques - Ordinateur

[PDF] Bases Java - Eclipse / Netbeans Environnements Java 1 - Espèces En Voie De Disparition

[PDF] Bases juridiques pour le quotidien du médecin - Santé Et Remise En Forme

[PDF] BASES LEGALES DU JEU CONCOURS « WHAT TRAVEL MOVIE - France

[PDF] Bases légales pertinentes : l`art. 50 LEtr et l`art. 77 al. 6 OASA

[PDF] Bases moléculaires de la maladie de Parkinson

[PDF] bases moléculaires des pathologies - Désordre Mental

[PDF] bases nautiques de Calais Côte d`Opale

[PDF] Bases neurobiologiques de la récompense - Avantages Et Compensation