[PDF] MODELES LINEAIRES L'estimation des paramètres

View - Download MODELES LINEAIRES

Previous PDF

Next PDF

M1 IMAT, Année 2009-2010

MODELES LINEAIRES

C.Chouquet

Laboratoire de Statistique et Probabilités - Université Paul Sabatier - Toulouse

Table des matières1 Préambule1

1.1 Démarche statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 1

1.2 Un exemple introductif pour la modélisation linéaire d"une variable quantitative . . 2

1.2.1 Description de la population d"étude . . . . . . . . . . . . . .. . . . . . . . 2

1.2.2 Relation entre variables quantitatives . . . . . . . . . . .. . . . . . . . . . . 3

1.2.3 Relation entre variable quantitative et variables qualitatives . . . . . . . . . 4

1.2.4 Modélisation d"une variable quantitative en fonction de variables quantita-

tives et qualitatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2 Présentation du modèle linéaire gaussien6

2.1 Le modèle linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 6

2.2 Le modèle linéaire gaussien . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 7

2.2.1 Ecriture générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 7

2.2.2 Le modèle de régression linéaire . . . . . . . . . . . . . . . . . .. . . . . . . 8

2.2.3 Le modèle factoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 8

3 Estimation9

3.1 Méthodes d"estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 9

3.1.1 Principe des moindres carrés . . . . . . . . . . . . . . . . . . . . .. . . . . 9

3.1.2 Principe du Maximum de Vraisemblance . . . . . . . . . . . . . .. . . . . . 9

3.2 Estimation deθ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.3 Valeurs ajustées et résidus calculés . . . . . . . . . . . . . . . .. . . . . . . . . . . 10

3.4 Estimation deσ2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.5 Erreurs standard de?θj,?yi,?ei. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.6 Construction de l"intervalle de confiance deθj. . . . . . . . . . . . . . . . . . . . . 12

3.7 Décomposition de la variance . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 12

4 Test de Fisher13

4.1 Hypothèse testée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 13

4.1.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1.2 Calculs sousH0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.2 Le test de Fisher-Snédécor . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 13

4.2.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2.2 La statistique de test . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 14

4.2.3 Fonctionnement du test . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 14

4.3 Cas particulier où q=1 : le test de Student . . . . . . . . . . . . .. . . . . . . . . . 15

5 La Régression linéaire16

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 16

5.1.1 La problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 16

5.1.2 Le modèle de régression linéaire simple . . . . . . . . . . . .. . . . . . . . . 16

5.1.3 Le modèle de régression linéaire multiple . . . . . . . . . .. . . . . . . . . . 17

5.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 17

1

IUP SID L3 - Modèles linéaires2

5.2.1 Résultats généraux . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 17

5.2.2 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 18

5.2.3 Le coefficientR2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.2.4 Augmentation mécanique duR2. . . . . . . . . . . . . . . . . . . . . . . . 19

5.3 Tests et Intervalles de confiance . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 20

5.3.1 Test de nullité d"un paramètre du modèle . . . . . . . . . . . .. . . . . . . 20

5.3.2 Test de nullité de quelques paramètres du modèle . . . . .. . . . . . . . . . 20

5.3.3 Test de nullité de tous les paramètres du modèle . . . . . .. . . . . . . . . 20

5.3.4 Intervalle de confiance deβj, de

Yiet deY0. . . . . . . . . . . . . . . . . . 21

5.3.5 Intervalle de prédiction . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 22

5.4 Sélection des variables explicatives . . . . . . . . . . . . . . .. . . . . . . . . . . . 22

5.4.1 Les critères . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 22

5.4.2 Les méthodes de sélection . . . . . . . . . . . . . . . . . . . . . . . .. . . . 23

5.5 Validation du modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 23

5.5.1 Contrôle de l"ajustement du modèle . . . . . . . . . . . . . . . .. . . . . . 23

5.5.2 Etude des colinéarités des variables explicatives . .. . . . . . . . . . . . . . 24

6 L"analyse de variance26

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 26

6.2 L"analyse de variance à un facteur . . . . . . . . . . . . . . . . . . .. . . . . . . . 26

6.2.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

6.2.2 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

6.2.3 Paramétrage centré . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 27

6.2.4 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

6.2.5 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 28

6.2.6 Intervalles de confiance et tests d"hypothèses sur l"effet facteur . . . . . . . 29

6.2.7 Comparaisons multiples : Méthode de Bonferroni . . . . . .. . . . . . . . . 29

6.3 Analyse de variance à deux facteurs croisés . . . . . . . . . . .. . . . . . . . . . . 30

6.3.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

6.3.2 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

6.3.3 La paramétrisation centrée . . . . . . . . . . . . . . . . . . . . . .. . . . . 31

6.3.4 Estimations des paramètres . . . . . . . . . . . . . . . . . . . . . .. . . . . 31

6.3.5 Le diagramme d"interactions . . . . . . . . . . . . . . . . . . . . .. . . . . . 32

6.3.6 Tests d"hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 32

6.3.7 Tableau d"analyse de la variance à deux facteurs croisés dans le cas d"un

plan équilibré . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

7 Analyse de covariance35

7.1 Les données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 35

7.2 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 35

7.3 La seconde paramétrisation . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 35

7.4 Tests d"hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 36

8 Quelques rappels de Statistique et de Probabilités 38

8.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 38

8.2 Indicateurs statistiques pour variables quantitatives . . . . . . . . . . . . . . . . . . 39

8.2.1 Moyenne empirique d"une variable . . . . . . . . . . . . . . . . .. . . . . . 39

8.2.2 La covariance empirique . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 39

8.2.3 Variance empirique et écart-type empirique . . . . . . . .. . . . . . . . . . 40

8.2.4 Coefficient de corrélation linéaire empirique . . . . . . . .. . . . . . . . . . 40

8.2.5 Interprétation géométrique de quelques indices statistiques . . . . . . . . . . 40

8.2.6 Expressions matricielles . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 41

8.3 Rappels sur quelques lois de probabilité . . . . . . . . . . . . .. . . . . . . . . . . 42

8.3.1 La distribution NormaleN(μ,σ2). . . . . . . . . . . . . . . . . . . . . . . . 42

IUP SID L3 - Modèles linéaires3

8.3.2 La distribution n-NormaleNn(μ,Γ). . . . . . . . . . . . . . . . . . . . . . . 42

8.3.3 La distribution deχ2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

8.3.4 La distribution de Student . . . . . . . . . . . . . . . . . . . . . . .. . . . . 43

8.3.5 La distribution de Fisher-Snédécor . . . . . . . . . . . . . . .. . . . . . . . 44

8.4 Rappels de statistique inférentielle . . . . . . . . . . . . . . .. . . . . . . . . . . . 44

8.4.1 Estimation ponctuelle, estimation par intervalle deconfiance . . . . . . . . . 44

8.4.2 Notions générales sur la théorie des tests paramétriques . . . . . . . . . . . 44

Chapitre 1Préambule1.1 Démarche statistique

Population étudiée

Nombre d"individus,

variables observées quantitatives/qualitatives

Analyse univariée

Tableau de fréquences,

moyenne, écart-type, médiane, diagramme en bâtons, histogramme, box-plot

Analyse bivariée

Tableau croisé,χ2,

comparaison de moyennes, coefficient de corrélation, nuage de points

Analyse multivariée

issue de plusieurs variables pour mieux l"expliquer

Structurer et simplifier les données

issues de plusieurs variables, sans privilégier l"une d"entre elles en particulier

Expliquer une variable à l"aide

de plusieurs autres variables

Une variable

à expliquer

quantitative ?Une variable

à expliquer

qualitative

Analyse de Données

Multidimensionnelle

(ACP, AFC, ACM)

Modélisation

Linéaire :

Régression Linéaire simple

Régression Linéaire multiple

Analyse de variance

Analyse de covariance

Modèlisation

non-linéaire (logistique, ...) 1

IUP SID L3 - Modèles linéaires2

1.2 Un exemple introductif pour la modélisation linéaire d"une

variable quantitative

Pour illustrer la démarche statistique et les problématiques auxquelles peuvent répondre les mo-

dèles linéaires, nous présentons dans cette partie un exemple simple, mais complet d"une analyse

statistique. Cette feuille de bord, constituée de tableauxet de graphiques, a pour objectif de

rappeler les principaux outils de statistique descriptivesimple et d"introduire les différents types

de modèles linéaires que nous verrons dans cet enseignement.

Dans une entreprise, on a relevé les salaires des32employés (mensuel en euros, noté sal), ainsi

que certaines caractéristiques socio-démographiques telles que l"ancienneté dans l"entreprise (en

années, notée anc), le nombre d"années d"études après le bac(noté apbac), le sexe (1 =F/2 =M,

noté sex), le type d"emplois occupés (en3catégories codées de1à3, noté emp). Un extrait des

données est présenté ci-dessous : num anc sal sex apbac emp

1 7 1231 1 3 2

2 15 1550 1 3 2

33 12 1539 2 2 1

34 13 1587 2 2 2

L"objectif principal de cette étude est d"évaluer l"effet éventuel des caractéristiques socio-

démographiques sur le salaire des employés.

1.2.1 Description de la population d"étude

Les variables sont analysées différemment selon leur nature: quantitative ou qualitative. Les

variables quantitatives sont résumées sous forme d"indicateurs (moyenne, écart-type, ....), comme

dans le tableau ci-dessous, et sont présentées graphiquement sous forme d"histogramme et de boîtes à moustache ou box-plot (Figure 1). Variablen Moyenne Ecart-type Médiane Minimum Maximum

Ancienneté32 10.0 6.1 12 1.0 20.0

Salaire32 1365.4 308.0 1357 926.0 2024.0

Nombre d"années d"études32 2.3 1.5 2.0 0.0 5.0 Fig.1.1 -Box-plot et histogramme représentant la distribution des variables quantitatives : le salaire, l"ancienneté dans l"entreprise et le nombre d"années d"études après le bac

IUP SID L3 - Modèles linéaires3

Pour les variables qualitatives, on résume les données sousforme de tableau de fréquences (comme

ci-dessous) et on les présente graphiquement par des diagrammes en bâtons (Figure 2).

Variable ModalitésEffectif Fréquence(%)

Sexe Féminin (1)21 65.6%

Masculin (2)11 34.4%

Type d"emplois110 31.3%

217 53.1%

35 15.6%

Fig.1.2 -Diagramme en bâtons représentant la distribution des variables qualitatives : le sexe (1=F, 2=M) et le type d"emplois occupés (1, 2 ou 3)

1.2.2 Relation entre variables quantitatives

Etant donné l"objectif de l"étude, nous allons nous intéresser dans cette partie aux relations entre

le salaire et les autres variables renseignées. Là encore, selon la nature des variables, les méthodes

d"analyse sont différentes. Pour étudier la relation entre deux variables quantitatives (par exemple, entre le salaire et

l"ancienneté, et entre le salaire et le nombre d"année d"études), on peut tracer un nuage de points

(Figure 3) et calculer le coefficient de corrélation linéaire entre ces deux variables :

Pearson Correlation Coefficients, N = 32

Prob > |r| under H0: Rho=0

anc apbac sal 0.85559 0.42206 <.0001 0.0161 Fig.1.3 -Nuage de points représentant la relation entre le salaire etles deux autres variables quantitatives : l"ancienneté et le nombre d"années après lebac

IUP SID L3 - Modèles linéaires4

Le nuage de points peut être résumé par une droite que l"on appellera la droite derégression

linéaire simple. C"est le cas le plus simple de modèle linéaire, qui permet d"expliquer une variable

quantitative en fonction d"une autre variable quantitative. Par exemple, la droite de régression linéaire résumant la relation entre le salaire et l"ancienneté a pour équation : sal i= 934.5? constante à l"origine+ 42.9???? pente du salaire sur l"ancienneté×anci+ei

La constante à l"origine correspond au salaire moyen des employés au moment de l"entrée dans

l"entreprise. La pente représente la variation moyenne de salaire par année d"ancienneté. La pente

égale à 42.9 est significativement différente de0, montrant que le salaire et l"ancienneté sont liés de

façon significative. Il en est de même pour la régression linéaire du salaire sur le nombre d"année

d"études. Dans cet enseignement, on verra comment estimer les paramètres du modèle et tester

leur nullité.

Il peut être également intéressant de modéliser une variable en fonction de plusieurs autres

variables, par un modèle derégression linéaire multiple. Par exemple, on peut modéliser

le salaire en fonction de l"ancienneté et du nombre d"annéesd"études, ce qui donne l"équation

suivante : sal i= 858.9 + 40.2×anci+ 45.3×apbaci+ei

1.2.3 Relation entre variable quantitative et variables qualitatives

Il est possible d"étudier la relation entre une variable quantitative et une variable qualitative,

par exemple entre le salaire et le sexe, ou entre le salaire etle type d"emplois. Cette relation est représentée graphiquement par des box-plots parallèles (Figure 4). Fig.1.4 -Box-plots parallèles représentant la relation entre le salaire et les deux variables qualitatives : le sexe (1=F, 2=M) et le type d"emplois occupés (1, 2 ou 3) Intuitivement, pour comparer le salaire des hommes et celuides femmes, on va calculer le salaire

moyen -entre autre- pour chaque groupe. De la même façon pourétudier les différences éventuelles

entre les trois types d"emplois au niveau du salaire, on peutcalculer le salaire moyen pour chaque type d"emplois. Statistiquement, on modélise le salaire en fonction du sexeen mettant en oeuvre unmodèle d"analyse de variance à un facteurqui s"écrit sous la forme : sal i= 1315.7? salaire moyen des femmes×11sexei=1+ 1460.3???? salaire moyen des hommes×11sexei=2+ei

Il est également possible d"étudier l"effet conjoint du sexeet du type d"emplois sur le salaire.

Intuitivement, on peut étudier les moyennes par classe, en croisant les deux variables qualitatives,

IUP SID L3 - Modèles linéaires5

comme dans le tableau ci-dessous :

SexeF MTous sexes confondus

Type d"emplois11182.3 1111.21153.9

21312.8 1750.41441.5

31593.7 1433.01529.4

Tous types confondus1315.7 1460.3

Pour étudier l"effet combiné du sexe et du type d"emplois sur le salaire, on met en oeuvre unmodèle d"analyse de variance à deux facteurs croisés. Ce modèle nous permettra

d"étudier l"effet de chaque facteur (sexe et type d"emplois)sur le salaire, mais aussi de détecter

des combinaisons entre le sexe et le type d"emplois qui donneraient un salaire particulièrement différent des autres classes.

1.2.4 Modélisation d"une variable quantitative en fonction de variables quan-

titatives et qualitatives

Sur notre exemple, on peut tenter d"expliquer le salaire selon l"ancienneté (variable quantitative)

et le sexe (variable qualitative). Dans ce cas, on peut représenter deux nuages de points entre le salaire et l"ancienneté, l"un pour les femmes et l"autre pour les hommes, comme le montre la figure 5.

Fig.1.5 -Nuages de points représentant la relation entre le salaire et l"ancienneté selon le sexe

On peut ainsi comparer l"effet de l"ancienneté sur le salaire, selon le sexe. Cela nous amène à

mettre en oeuvre unmodèle d"analyse de la covariancepermettant de modéliser le salaire en fonction de l"ancienneté et du sexe.

Chapitre 2Présentation du modèle linéairegaussien2.1 Le modèle linéaire•Définition :

On appellemodèle linéaireun modèle statistique qui peut s"écrire sous la forme Y=k? j=1θ jXj+E On définit les quantités qui interviennent dans ce modèle : -Yest une v.a.r. que l"on observe et que l"on souhaite expliquer et/ou prédire; on l"appelle variable à expliquerouvariable réponse; on suppose que la variance deYest constante : c"est ce qu"on appelle l"hypothèse d"homoscédasticité. - LeskvariablesX1,...,Xksont des variables réelles ou dichotomiques, non aléatoires et également observées; l"écriture de ce modèle suppose que l"ensemble desXjest censé expliquerYpar une relation de cause à effet; les variablesXjsont appeléesvariables explicativesouprédicteurs.

- Lesθj(j= 1,...,k)sont les paramètres du modèle, non observés et donc à estimerpar des

techniques statistiques appropriées. -Eest le terme d"erreur dans le modèle; c"est une v.a.r. non observée pour laquelle on pose les hypothèses suivantes :

E(E) = 0 ;V ar(E) =σ2>0

oùσ2est un paramètre inconnu, à estimer. - Les hypothèses posées surEimpliquent les caractéristiques suivantes surY:

E(Y) =k?

j=1θ jXj;V ar(Y) =σ2 En moyenne,Ys"écrit donc comme une combinaison linéaire desXj: la liaison entre lesXj

etYest de nature linéaire. C"est la raison pour laquelle ce modèle est appelémodèle linéaire.

L"estimation des paramètres de ce modèle est basée surnobservations simultanées des variables

X

jetYréalisées surnindividus supposés indépendants. Pour lai-ème observation, les valeurs

observées des variables sont notéesyi,x1i, ...,xki, de sorte que le modèle s"écrit : y i=k? j=1θ jxji+ei 6

IUP SID L3 - Modèles linéaires7

Introduisons maintenant :

-yle vecteur de IRncomposé des valeursy1,...yn,quotesdbs_dbs47.pdfusesText_47

[PDF] modifier taille image en ligne

[PDF] Modifier un programme

[PDF] Modifier une carte routière ou un plan de métro

[PDF] Modifier une légende :)

[PDF] modifier voeux crous

[PDF] Modulation du rythme cardiaque par le systeme nerveux

[PDF] module 10 effets physiopathologiques des risques professionnels et prévention

[PDF] module 11 approche par le travail corrigé

[PDF] module 2 alimentation et santé correction

[PDF] module de la socioliguistique

[PDF] module de la somme de deux vecteurs

[PDF] Module et argument

[PDF] module et argument

[PDF] module gériatrie

[PDF] module initiation aux textes littéraires