[PDF] [PDF] ´Eléments de Calcul Matriciel et dAnalyse Factorielle de Données

[PDF] Formulaire de dérivation matricielle - DI ENS

Formulaire de dérivation matricielle Marc Weber Ruocong Zhang Proposition 2 Soit un vecteur v ∈ Rk et une matrice M ∈ Rk×k : ∂(vT Mv) ∂v = (M + MT )v

[PDF] ´Eléments de Calcul Matriciel et dAnalyse Factorielle de Données

5 2 Dérivation matricielle L'ensemble des n valeurs propres est le spectre de la matrice On appelle rayon spectral de Si y = Q(i, k, θ)x, y est obtenu par la rotation de x d'un angle θ dans le sens di- rect dans le A(X) = DF(X) Formulaire

[PDF] ANALYSE MATRICIELLE ET ALGÈBRE LINÉAIRE APPLIQUÉE

cet ensemble, une addition et une multiplication, qui satisfont à certaines relations Intu- On a le théorème fondamental d'existence de base dans les espaces vectoriels de di- mension finie désigne la dérivée du vecteur x(t) : dx(t ) dt =

[PDF] Quelques oraux X-ens RMS 2016

Exercice très intéressant, pas facile, qui montre qu'aux ens on compte bien exploiter l'apparition des conclure si on dispose du théorème suivant : toute matrice A s'écrit A = QS une fonction C∞ d'être non polynomiale, c'est de n' avoir aucune dérivée On examine de près : dans x ↦→ f(αx + β), α sert à « di- later » ou 

[PDF] a loptimisation : aspects théoriques, numériques et algorithmes

appelé un point fronti`ere de S et est noté ∂S Un ensemble S de Rn est dit fermé si son complémentaire dans On utilise quelques fois la notation Di,jf pour la dérivée seconde Di(Djf) Df(x0) est une représentation matricielle de cette transformation On demande de montrer les relations énoncées ci- dessous

[PDF] Fonctions de plusieurs variables et applications pour lingénieur

Je vous demande donc de l'étudier sérieusement pour la 1 2 1 Rappel : dérivation d'une fonction de R dans R E 1 Calcul matriciel dans R2, R3 et Rn Le produit cartésien de deux ensembles E et F, noté E×F est l'ensemble des couples directions particulières afin de trouver deux limites différentes selon ces di-

[PDF] LALGÈBRE LINÉAIRE POUR TOUS - Laboratoire Analyse

Si on multiplie la matrice associée à la fonction de transition par la colonne des En mathématique, on écrit un ensemble par des accolades {0, 1, 2, 3, } avec férentiel vu les années précédentes : la fonction f est continue, de dérivée f (x) = 5 Si on vous demande, lors d'une première question d'un exercice notam-

[PDF] Calcul tensoriel - Emmanuel Plaut - Université de Lorraine

Ex 2 11 : Dérivée particulaire de la densité d'énergie cinétique Le point de contraction dans (1 10) désigne le produit matrice-vecteur classique, i e xi = Pijx/

[PDF] CALCUL TENSORIEL

termes gij forment la matrice identité, et les composantes xi et xi d'un vecteur − → Il est intéressant de définir ici l'ensemble des N vecteurs orthogonaux aux tenseur et de dérivée covariante, qui sont `a la base des opérateurs utilisés en

[PDF] Première STMG - Fonction dérivée d'une fonction polynôme de

[PDF] Polynômes et fractions rationnelles

[PDF] Formulaire de dérivation matricielle - DI ENS

[PDF] Fonctions de plusieurs variables - M212

[PDF] Dérivées et différentielles des fonctions de plusieurs variables

[PDF] Math206 – Equations aux Dérivées Partielles Feuille d'Exercices 1

[PDF] Dérivées et différentielles des fonctions de plusieurs variables

[PDF] Dérivées partielles - Exo7

[PDF] Dérivées partielles - Exo7

[PDF] Fonctions de plusieurs variables - M212

[PDF] Fonctions de plusieurs variables - M212

[PDF] Dérivées et différentielles des fonctions de plusieurs variables

[PDF] Résolution d'équations aux dérivées partielles non linéaires et

[PDF] Dérivées et différentielles des fonctions de plusieurs variables

[PDF] Calcul différentiel et intégral

´El´ements de Calcul Matriciel

et d"Analyse Factorielle de Donn´ees

Jean-Fran¸cois Durand

jfd@helios.ensam.inra.fr

Universit´e Montpellier II

Licence MASS

Maˆıtrise MASS

Maˆıtrise d"Ing´enierie Math´ematique

DEA de Biostatistique

Novembre 2002

Calcul Matriciel et Analyse Factorielle des Donn´ees

J.F. Durand2

Table des mati`eres1 Matrices, D´efinitions et Propri´et´es9

1.1 Notations et premi`eres d´efinitions . . . . . . . . . . . . . . . .. . . . . . . 9

1.2 Matrice associ´ee `a une application lin´eaire . . . . . . .. . . . . . . . . . . 11

1.3 Quelques matrices particuli`eres . . . . . . . . . . . . . . . . . .. . . . . . 11

1.3.1 Matrice adjointe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.3.2 Matrices hermitiennes . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.4 Image, noyau, rang d"une matrice . . . . . . . . . . . . . . . . . . . .. . . 12

1.4.1 Image d"une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.4.2 Noyau d"une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.4.3 Rang d"une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.5 D´eterminant d"une matrice carr´ee . . . . . . . . . . . . . . . . .. . . . . . 14

1.6 Inverse d"une matrice carr´ee . . . . . . . . . . . . . . . . . . . . . .. . . . 15

1.7 Changements de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.7.1 Effet sur les coordonn´ees d"un vecteur . . . . . . . . . . . . .. . . . 16

1.7.2 Effet sur les ´el´ements d"une matrice . . . . . . . . . . . . . .. . . . 17

1.8 Valeurs propres, vecteurs propres . . . . . . . . . . . . . . . . . .. . . . . 18

1.9 Trace d"une matrice carr´ee . . . . . . . . . . . . . . . . . . . . . . . .. . . 20

1.10 Formes lin´eaires, formes quadratiques . . . . . . . . . . . .. . . . . . . . . 20

1.11 Matrices orthogonales et unitaires . . . . . . . . . . . . . . . .. . . . . . . 22

1.11.1 Les matrices de permutation . . . . . . . . . . . . . . . . . . . . .. 22

1.11.2 Les matrices de rotation . . . . . . . . . . . . . . . . . . . . . . . .23

1.11.3 Construction d"une base orthonorm´ee par le proc´ed´e de Gram-Schmidt 24

1.12 Op´erateur vec et produit de Kronecker . . . . . . . . . . . . . .. . . . . . 24

1.12.1 L"op´erateur vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1.12.2 Produit de Kronecker . . . . . . . . . . . . . . . . . . . . . . . . . . 25

1.12.3 Matrice de commutation . . . . . . . . . . . . . . . . . . . . . . . . 27

3 Calcul Matriciel et Analyse Factorielle des Donn´ees

1.13 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2 D´ecomposition de Matrices33

2.1 Les projecteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.1.1 Sous espaces suppl´ementaires et projecteurs . . . . . .. . . . . . . 34

2.1.2 Exemple fondamental . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.1.3 D"autres matrices orthogonales : les matrices de r´eflexion . . . . . . 36

2.2 Matrices carr´ees diagonalisables . . . . . . . . . . . . . . . . .. . . . . . . 37

2.3 Factorisation QR d"une matrice rectangulaire . . . . . . . .. . . . . . . . 38

2.4 D´ecomposition unitaire des matrices carr´ees . . . . . . .. . . . . . . . . . 39

2.4.1 Le th´eor`eme de Schur . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.4.2 Matrices normales . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.5 D´ecomposition en valeurs singuli`eres . . . . . . . . . . . . .. . . . . . . . 42

2.5.1 Deux versions de la DVS . . . . . . . . . . . . . . . . . . . . . . . . 43

2.5.2 D´ecomposition polaire . . . . . . . . . . . . . . . . . . . . . . . . .46

2.6 Factorisation de Cholesky d"une matrice sym´etrique d´efinie positive . . . . 47

2.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3 Normes de Matrices51

3.1 Normes de vecteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.1.1 Normes de H¨older . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.1.2 G´en´eralisation de la norme Euclidienne, laM-norme . . . . . . . . 54

3.2 Normes de matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2.1 Normes subordonn´ees `a des normes vectorielles . . . .. . . . . . . 56

3.2.2 Normes Euclidiennes par vectorisation . . . . . . . . . . . .. . . . 58

3.2.3 Normes matricielles sous multiplicatives . . . . . . . . .. . . . . . 60

3.2.4 Normes unitairement invariantes . . . . . . . . . . . . . . . . .. . . 61

3.3 Suites de matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62

3.4 Conditionnement d"une matrice . . . . . . . . . . . . . . . . . . . . .. . . 63

3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4 Inverses G´en´eralis´es, ProjecteursM-Orthogonaux 67

4.1 Inverses G´en´eralis´es . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 67

4.1.1 D´efinition et propri´et´es . . . . . . . . . . . . . . . . . . . . . .. . . 67

4.1.2 Inverse de Moore-Penrose . . . . . . . . . . . . . . . . . . . . . . . 70

4.2 ProjecteursM-orthogonaux . . . . . . . . . . . . . . . . . . . . . . . . . . 71

J.F. Durand4

Calcul Matriciel et Analyse Factorielle des Donn´ees

4.2.1 ProjecteurM-orthogonal surImA. . . . . . . . . . . . . . . . . . 72

4.2.2 Un probl`eme aux moindres carr´es . . . . . . . . . . . . . . . . .. . 74

4.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

5 D´erivation Matricielle77

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

5.2 D´erivation matricielle . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 77

5.2.1 Matrices Jacobiennes . . . . . . . . . . . . . . . . . . . . . . . . . . 77

5.2.2 Hessien de fonctions num´eriques . . . . . . . . . . . . . . . . .. . . 81

5.3 Extremums de fonctions num´eriques . . . . . . . . . . . . . . . . .. . . . . 82

5.3.1 Probl`emes d"extremums libres . . . . . . . . . . . . . . . . . . .. . 84

5.3.2 Probl`emes d"extremums li´es . . . . . . . . . . . . . . . . . . . .. . 84

5.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

6 Le paysage math´ematique et statistique de l"Analyse Factorielle de

Donn´ees : la g´eom´etrie Euclidienne89

6.1 Le triplet (T,M,D) des donn´ees . . . . . . . . . . . . . . . . . . . . . . . . 90

6.2 Statistique et g´eom´etrie sur (IRn,D), espace des variables . . . . . . . . . . 91

6.2.1 Le simplexe des poids statistiques et la droite des constantes . . . . 91

6.2.2 Moyenne et centrage vus comme une projection . . . . . . . .. . . 92

6.2.3 Variance et ´ecart-type . . . . . . . . . . . . . . . . . . . . . . . . .93

6.2.4 Proximit´e entre deux variables, covariance et corr´elation lin´eaire . . 94

6.2.5 D´efinitions et notations pour la statistique multivari´ee . . . . . . . 96

6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

7 G´en´eralisation de la D´ecomposition en Valeurs Singuli`eres. Analyse en

Composantes Principales du triplet(X,M,D)101

7.1 D´ecomposition en Valeurs Singuli`eres du triplet . . . .. . . . . . . . . . . 102

7.1.1 Lemme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

7.1.2 La DVS du triplet (X,M,D) . . . . . . . . . . . . . . . . . . . . . 103

7.1.3 Relation avec la DVS usuelle . . . . . . . . . . . . . . . . . . . . . .104

7.1.4 Projecteurs orthogonaux associ´es `a la DVS . . . . . . . .. . . . . . 105

7.1.5 Th´eor`eme d"approximation d"Eckart-Young . . . . . . .. . . . . . . 105

7.2 Analyse en Composantes Principales d"ordrekdu triplet (X,M,D) . . . . 106

7.2.1 D´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

7.2.2 Principe fondamental de l"Analyse Factorielle . . . . .. . . . . . . 108

5J.F. Durand

Calcul Matriciel et Analyse Factorielle des Donn´ees

7.2.3 L"ACP usuelle d"ordrek. . . . . . . . . . . . . . . . . . . . . . . . 110

7.3 Repr´esentations factorielles . . . . . . . . . . . . . . . . . . . .. . . . . . . 111

7.3.1 D´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

7.3.2 Projections des points lignes . . . . . . . . . . . . . . . . . . . .. . 114

7.3.3 Projections des vecteurs colonnes . . . . . . . . . . . . . . . .. . . 118

7.3.4 ´El´ements suppl´ementaires . . . . . . . . . . . . . . . . . . . . . . . 121

7.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

7.5 Formulaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

7.5.1 ACP usuelle d"ordrekdu triplet (X,M=Ip,D=n-1In) . . . . . . 132

7.5.2 DVS du triplet (X,M,D) . . . . . . . . . . . . . . . . . . . . . . . 132

8 Traitement d"enquˆetes, Analyse Factorielle des Correspondances

Simples et Multiples135

8.1 Variables d"une enquˆete, codage . . . . . . . . . . . . . . . . . . .. . . . . 135

8.1.1 Variables qualitatives . . . . . . . . . . . . . . . . . . . . . . . . .. 135

8.1.2 Indicatrice des modalit´es . . . . . . . . . . . . . . . . . . . . . .. . 136

8.2 Table de contingence, liaison entre deux variables qualitatives . . . . . . . 137

8.2.1 D´efinitions et notations . . . . . . . . . . . . . . . . . . . . . . . .. 138

8.2.2 Ind´ependance de deux variables qualitativesLetC. . . . . . . . . 140

8.2.3 Profils lignes et colonnes, distributions conditionnelles . . . . . . . . 141

8.3 Analyse Factorielle des Correspondances . . . . . . . . . . . .. . . . . . . 143

8.3.1 D´efinition et propri´et´es . . . . . . . . . . . . . . . . . . . . . .. . . 143

8.3.2 ´El´ements propres des op´erateurs en dualit´e . . . . . . . . . . .. . . 145

8.3.3 Pratique de l"AFC . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

8.3.4 Cas d"une variable ordinale, rapport de corr´elationet "optimal sco-

ring" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

8.4 Analyse Factorielle des Correspondances Multiples . . .. . . . . . . . . . . 152

8.4.1 D´efinitions et propri´et´es . . . . . . . . . . . . . . . . . . . . .. . . 152

8.4.2 Pratique de l"AFCM . . . . . . . . . . . . . . . . . . . . . . . . . . 155

8.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

8.5.1 Analyse Factorielle des Correspondances . . . . . . . . . .. . . . . 156

8.5.2 Analyse Factorielle des Correspondances Multiples .. . . . . . . . . 161

9 La r´egression Partial Least-Squares lin´eaire 165

9.1 Motivations pour les r´egressions factorielles . . . . . .. . . . . . . . . . . . 166

J.F. Durand6

Calcul Matriciel et Analyse Factorielle des Donn´ees

9.2 La r´egression sur composantes principales . . . . . . . . . .. . . . . . . . . 167

9.3 Le contexte et le mod`ele PLS . . . . . . . . . . . . . . . . . . . . . . . .. 168

9.4 L"algorithme PLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

9.4.1 Le centrage des variables . . . . . . . . . . . . . . . . . . . . . . . .170

9.4.2 Construction de la composanteti. . . . . . . . . . . . . . . . . . . 171

9.4.3 Les r´egressions partielles . . . . . . . . . . . . . . . . . . . . .. . . 173

9.5 Premi`ere ´ecriture des mod`eles PLS en les composantes. . . . . . . . . . . 175

9.6 Orthogonalit´e des composantes principales et des poids . . . . . . . . . . . 176

9.7 ´Ecriture d´efinitive des mod`eles PLS en les composantes . . .. . . . . . . . 178

9.8 Les composantes PLS, compromis lin´eaires des variables explicatives initiales180

9.8.1 Expression du vecteur des poids . . . . . . . . . . . . . . . . . . .. 181

9.8.2 Orthogonalit´e des vecteurs des poids au sens deV. . . . . . . . . . 182

9.8.3 Propri´et´es des vecteurs des poids . . . . . . . . . . . . . . .. . . . 183

9.9 Le mod`ele de r´egression PLS en les variables explicatives . . . . . . . . . . 184

9.9.1 Le mod`ele sur variables centr´ees, ´eventuellementr´eduites . . . . . . 185

9.9.2 Le mod`ele en les variables initiales . . . . . . . . . . . . . .. . . . 185

9.10 R´egression PLS et Analyse en Composantes Principalesusuelle . . . . . . . 186

9.11 Repr´esentations factorielles . . . . . . . . . . . . . . . . . . .. . . . . . . . 187

9.11.1 Repr´esentation des pr´edicteurs et des r´eponses .. . . . . . . . . . . 188

9.11.2 Repr´esentation des individus . . . . . . . . . . . . . . . . . .. . . . 190

9.12 M´etriques pour les individus et optiques photographiques associ´ees . . . . . 193

9.12.1 M´etriques g´en´erales pour les individus . . . . . . . .. . . . . . . . 193

9.12.2 R´egression PLS discriminante . . . . . . . . . . . . . . . . . .. . . 194

9.13 Choix du nombre de composantes . . . . . . . . . . . . . . . . . . . . .. . 195

9.13.1 Crit`eres bas´es sur l"ajustement . . . . . . . . . . . . . . .. . . . . . 195

9.13.2 Crit`eres bas´es sur la pr´ediction . . . . . . . . . . . . . .. . . . . . 197

9.14 Pratique de la r´egression PLS . . . . . . . . . . . . . . . . . . . . .. . . . 199

9.14.1 PLS univari´e, les donn´ees de Cornell . . . . . . . . . . . .. . . . . 199

9.14.2 "Calibration" PLS en spectroscopie proche infrarouge . . . . . . . . 207

9.15 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

7J.F. Durand

Calcul Matriciel et Analyse Factorielle des Donn´ees

J.F. Durand8

Chapitre 1Matrices, D´efinitions et Propri´et´es Ce chapitre n"est pas un cours de calcul matriciel mais a pourobjectif d"une part

de rappeler de fa¸con succincte les principales d´efinitions et propri´et´es ´etudi´ees au cours

du premier cycle et d"autre part, d"en introduire de nouvelles utilis´ees en statistique et en calcul diff´erentiel matriciel. On supposera que les notions deIK-espace vectoriel (IK estIRouIC) et d"applications lin´eaires sont connues. De fa¸con commode, pour ´eviter d"alourdir les notations, lorsqu"une base de l"espace vectorielIKnest sp´ecifi´ee,on notera de fa¸con identique le vecteur et la matrice colonne donnantles coordonn´ees de ce vecteur dans la base. La base choisie par d´efaut est la base canonique.

1.1 Notations et premi`eres d´efinitions

Une matricem×n,A, est un tableau d"´el´ements deIK, tel que

A= [aij] =????a

11... a1n......

a m1... amn???? L"´el´ement courantaij,i`eme ligne,ji`eme colonne, sera parfois not´eaji. La somme de deux matrices de mˆeme dimensions est d´efinie par

A+B= [aij] + [bij] = [aij+bij].

Le produit d"une matrice par un scalaireλ?IK, est d´efini par

λA=Aλ= [λaij].

9 Calcul Matriciel et Analyse Factorielle des Donn´ees Ces deux op´erations conf`erent `a l"ensembleMmn(IK) des matrices demlignes etnco- lonnes surIK, une structure d"espace vectoriel de dimensionmnqui sera aussi not´eIKm×n. On note{Eij(m,n)}i,jla base canonique deIKm×n, d´efinie par E ij(m,n) =Eij=?????0. . . . .0......0···0 1 0···0......0. . . . .0????? matrice dont le seul ´el´ement non nul est l"´el´ementijqui vaut 1. A=m? i=1n j=1a ijEij(m,n).

Outre les op´erations li´ees `a la structure d"espace vectoriel, il existe une autre op´eration

appel´ee produit matriciel. SoientA= [aij],m×n, etB= [bij],n×p, alors le produitAB est la matricem×pd´efinie par

C=AB=?

c ij=n? k=1a ikbkj?

SoitA= [aij], une matricem×n.

La matrice identit´e d"ordrem,Im=m?

i=1E ii(m,m). Alors,A=ImA=AIn. La matriceA?, transpos´ee deA, est la matricen×m,A?= [a?ij=aji]. La base canonique pourMm1(IK) =IKm×1identifi´e `aIKm, est not´ee {ei(m) =Ei1(m,1)}i=1,...,m, ou{ei}ilorsqu"il n"y aura pas d"ambigu¨ıt´e sur la dimension. On a les propri´et´es : ?Eij(m,n) =ei(m)e?j(n). ?AssimilantIRetIR1×1, le symbole de Kronecker,δij=e?i(n)ej(n) =?1si i=j

0si i?=j

?Eijer= colonne r deEij=δjrei e rEij= ligne r deEij=δire?j. ?SoientAila ligneietAjla colonnejdeA. a ij=e?i(m)Aej(n). Aquotesdbs_dbs6.pdfusesText_11