cours-acp

Cours d’analyse d’analys e de donn´ ees ees Jean-Marc Lasgouttes

Introduction

[email protected]

Magist` Magi stère ere de Finance Fina nce de Paris 1, 2è année ee

qu’est-ce que l’analyse de données ?

http://www-rocq.inria.fr/~lasgoutt/ana-donnees/

Cours d’analyse de données  Jean-Marc Lasgouttes  ann´ ee ee 2 009-2010.

Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

Exemple Exempl e : la température erature en France

1

La température eratur e en France (2) d=2

ajac ange ange ango ango besa besa biar bord bres bres cler cler dijo dijo embr embr gren gren lill lill limo limo lyon lyon mars mont

janv janv 7.7 4.2 4.2 4.6 4.6 1.1 1.1 7.6 5.6 6.1 6.1 2.6 2.6 1.3 1.3 0.5 0.5 1.5 1.5 2.4 2.4 3.1 3.1 2.1 2.1 5.5 5.6

fev 8.7 4.9 5.4 2.2 8.0 6.6 5.8 3.7 2.6 1.6 3.2 2.9 3.9 3.3 6.6 6.7

mars mars 10.5 7.9 7.9 8.9 8.9 6.4 6.4 10.8 10.3 10.3 7.8 7.8 7.5 7.5 6.9 6.9 5.7 5.7 7.7 7.7 6.0 6.0 7.4 7.4 7.7 7.7 10.0 9.9

avri 12.6 10.4 11.3 9.7 9.7 12.0 12.8 9.2 9.2 10.3 10.4 9.0 9.0 10.6 8.9 8.9 9.9 9.9 10.9 13.0 12.8 12.8

mai mai 15.9 15. 9 13.6 13.6 14.5 14.5 13.6 13.6 14.7 14.7 15.8 15.8 11.6 11.6 13.8 13.8 14.3 14.3 13.0 13.0 14.5 14.5 12.4 12.4 13.3 13.3 14.9 14.9 16.8 16.8 16.2

juin 19.8 17.0 17.0 17.2 17.2 16.9 16.9 17.8 19.3 14.4 14.4 17.3 17.3 17.7 17.7 16.4 16.4 17.8 17.8 15.3 15.3 16.8 16.8 18.5 18.5 20.8 20.1 20.1

juil juil 22.0 18.7 19.5 18.7 18.7 19.7 20.9 20.9 15.6 15.6 19.4 19.6 18.9 18.9 20.1 17.1 17.1 18.4 18.4 20.7 23.3 22.7

aout aout 22.2 18.4 18.4 19.4 19.4 18.3 18.3 19.9 21.0 16.0 16.0 19.1 19.1 19.0 19.0 18.3 18.3 19.5 19.5 17.1 17.1 17.8 17.8 20.1 20.1 22.8 22.3

sept 20.3 16.1 16.1 16.9 16.9 15.5 15.5 18.5 18.6 18.6 14.7 14.7 16.2 16.2 15.9 15.9 15.3 15.3 16.7 16.7 14.7 14.7 15.3 15.3 16.9 16.9 19.9 19.3 19.3

oct 16.3 11.7 12.5 10.4 10.4 14.8 13.8 12.0 12.0 11.2 10.5 10.1 10.1 11.4 10.4 10.4 10.7 10.7 11.4 15.0 14.6

nov 11.8 7.6 8.1 5.7 10.9 9.1 9.0 6.6 5.7 4.6 6.5 6.1 6.7 6.7 10.2 10.0 10.0

dec dec 8.7nanc nanc 4.9 4.9nant nant 5.3 5.3nice 2.0 2.0nime 8.2orle orle 6.2pari pari 7.0 7.0perp 3.6 3.6reim reim 2.1 2.1renn renn 0.5 0.5roue roue 2.3 2.3stqu stqu 3.5 3.5stra stra 3.8 3.8toul 3.1 3.1tlse tlse 6.9tour tour 6.5vich vich

janv janv fev 0.8 1.6 1.6 5.0 5.3 5.3 7.5 8.5 5.7 6.8 2.7 3.6 3.6 3.4 4.1 4.1 7.5 8.4 1.9 2.8 2.8 4.8 5.3 5.3 3.4 3.9 3.9 2.0 2.9 2.9 0.4 1.5 1.5 8.6 9.1 4.7 5.6 5.6 3.5 4.4 4.4 2.4 3.4 3.4

mars mars 5.5 5.5 8.4 8.4 10.8 10.1 10.1 6.9 6.9 7.6 7.6 11.3 6.2 6.2 7.9 7.9 6.8 6.8 6.3 6.3 5.6 5.6 11.2 9.2 9.2 7.7 7.7 7.1 7.1

avri 9.2 9.2 10.8 13.3 13.0 9.8 9.8 10.7 13.9 9.4 9.4 10.1 9.5 9.5 9.2 9.2 9.8 9.8 13.4 11.6 10.6 9.9 9.9

mai mai juin 13.3 13.3 16.5 16.5 13.9 13.9 17.2 17.2 16.7 20.1 20.1 16.6 16.6 20.8 13.4 13.4 16.6 16.6 14.3 14.3 17.5 17.5 17.1 21.1 21.1 13.3 13.3 16.4 16.4 13.1 13.1 16.2 16.2 12.9 12.9 15.7 15.7 12.7 12.7 15.6 15.6 14.0 14.0 17.2 17.2 16.6 20.2 20.2 14.9 14.9 18.7 18.7 13.9 13.9 17.4 17.4 13.6 13.6 17.1 17.1

juil juil 18.3 18.3 18.8 22.7 23.6 23.6 18.4 18.4 19.1 23.8 18.3 18.3 17.9 17.6 17.6 17.4 17.4 19.0 19.0 22.6 20.9 19.1 19.3 19.3

aout aout 17.7 17.7 18.6 18.6 22.5 22.9 18.2 18.2 18.7 18.7 23.3 17.9 17.9 17.8 17.8 17.2 17.2 17.4 17.4 18.3 18.3 22.4 20.9 20.9 18.7 18.7 18.8 18.8

sept 14.7 14.7 16.4 16.4 20.3 19.7 19.7 15.6 15.6 16.0 16.0 20.5 15.1 15.1 15.7 15.7 15.0 15.0 15.0 15.0 15.1 15.1 20.5 18.3 18.3 16.2 16.2 16.0 16.0

oct 9.4 12.2 16.0 14.6 10.9 10.9 11.4 15.9 10.3 10.3 11.6 11.0 11.0 10.5 10.5 9.5 16.5 13.3 11.7 11.0 11.0

nov 5.2 8.2 11.5 9.8 6.6 7.1 11.5 6.1 7.8 6.8 6.1 4.9 12.6 8.6 7.2 6.6

dec dec 1.8 5.5 5.5 8.2 6.5 3.6 3.6 4.3 4.3 8.6 3.0 3.0 5.4 5.4 4.3 4.3 3.1 3.1 1.3 9.7 5.5 5.5 4.3 4.3 3.4 3.4

nanc embr stra

bres

lill stqu reim besa roue orle limo dijo vich cler gren renn pari angetour lyon nant

lill stqu roue

reim pari

ango

nanc

bres renn ange

tlse

nant

tour

dijo besa

bord

biar

ango limo

vich cler

bord

nime mars

embr

ajac nice


2

perp


lyon gren

mont

toul

stra

orle

biar

nime mont mars toul

tlse

nice

perp

3

Individus et variables

L’analyse de donn´ ees

Population groupe ou ensemble d’ individus que l’on analyse.

But synthétiser, structurer l’information contenue dans des données multidimensionnelles (n individus, p variables).

Recensement étude de tous les individus d’une population donnée. Sondage étude d’une partie seulement d’une population appelée échantillon. Variables ensemble de caractéristiques d’une population. – quantitatives : nombres sur lesquels les opérations usuelles (somme, moyenne,...) ont un sens ; elles peuvent être discrètes (ex : nombre d’éléments dans un ensemble) ou continues (ex : prix, taille) ; – qualitatives : appartenance à une catégorie donnée ; elles peuvent être nominales (ex : sexe, CSP) ou ordinales quand les catégories sont ordonnées (ex : très résistant, assez résistant, peu résistant).


4

But du cours

Deux groupes de m´ ethodes – méthodes de classification : réduire la taille de l’ensemble des individus en formant des groupes homogènes ; – métho des factorielles : réduire le nombre de variables en les résumant par un petit nombre de composantes synthétiques. Deux types de m´ ethodes factorielles – analyse en composantes principales : variables numériques ; – analyse des correspondances : variables qualitatives.


5

Ce que ce cours n’est pas Un cours de mathématiques financières il n’y a pas de modèles probabilistes de processus financiers (cours de bourse...).

M´ ethodes couvertes par le cours – analyse en composantes principales (ACP) ; – analyse (factorielle) des correspondances (AFC) ; – analyse des correspondances multiples (ACM).

Un cours de statistique inférentielle il ne sera presque pas question ici de tests, d’estimateurs, de prévision statistique. Un cours uniquement orient´ e « utilisateur » même si le but ultime est de savoir utiliser les méthodes d’analyse de données, ce cours s’attache à exposer les fondements mathématiques de ces méthodes.

Compétences recherch´ ees – savoir interpréter les tables et graphiques issus de ces méthodes ; – comprendre les fondements mathématiques des méthodes ; – être capable de mener soi-même une telle étude.

Un cours appliqué aux données financières ce cours est avant tout un cours de méthode ; la plupart des exemples abordés ne seront pas issus de cette application. Un cours « pratique » Les contraintes d’effectif et de matériel ne permettent pas d’effectuer des travaux pratiques.


6


7

Outils utilisés

Statistiques et probabilit´ es

Algèbre linéaire les données sont vues de manière abstraite comme un nuage de points dans un espace vectoriel; les notions suivantes doivent être bien comprises – vecteurs : produits scalaires, décomposition selon une base – matrices : addition, multiplication, transposée, trace – valeurs et vecteurs propres : définition, propriétés – métriques : définitions des distances dans un espace vectoriel par une norme, lien avec le produit scalaire Attention : les ´ etudiants sont suppos´ es maˆıtriser le calcul matriciel et la notion de valeur propre ; les TD et examens comporteront du calcul matriciel! Théorie des probabilités on utilisera quand même quelques tests statistiques.


8

Une approche diff´ erente Les probabilités reposent sur un modèle de données et font en général des hypothèses simplificatrices. Ici, on utilisera plus des considérations géométriques . 3 liens possibles – les données statistiques sont empruntes d’une forme de variabilité liée aux erreurs de mesures ; on peut modéliser cette erreur par une variable aléatoire ; – on constate souvent que la répartition d’une variable est proche d’une loi de probabilités connue ; – surtout, quand des données sont issue d’un sondage, on peut consid´ erer que ce sont des tirages d’une variable aléatoire. Quand les échantillons sont assez grands, on connaˆıt des lois limites.


9

R´ ef´ erences Ces références sont données à titre indicatif ; aucun livre n’est demandé pour ce cours .

Base du cours Gilbert Saporta, Probabilités, analyse des données et statistique , 2nde édition, Technip, 2006. Version plus simple Jean-Marie Bouroche et Gilbert Saporta, L’analyse des données , Que Sais-je ?, Presses Universitaires de France, 2002. Logiciel de traitement de donn´ ees Les tables et graphiques présentés dans le cours et les TD sont produits par le logiciel R (à l’aide du paquetage ade4). R est un logiciel libre (et donc gratuit) disponible pour Windows, Mac OS X et Linux à l’adresse http://www.r-project.org.

Partie I variables quantitatives : analyse en composantes principales

Archives de ce cours cours, TD avec corrigé, données sont disponibles à http://www-rocq.inria.fr/~lasgoutt/ana-donnees/ Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

10


11

Description de données quantitatives

Moyenne arithm´ etique

Définition On appelle « variable » un vecteur x de taille n. Chaque coordonnée xi correspond à un individu. On s’intéresse ici à des valeurs numériques. Poids Chaque individu peut avoir un poids pi, tel que p1 + + pn = 1, notamment quand les individus n’ont pas la même importance (échantillons redressés, données regroupées,...). On a souvent p = 1/n.

Définition On note

n

···

x ¯= ou pour des données pondérés

Représentation histogramme en découpant les valeurs de la variable en classes ; ou alors « boˆıte à moustache ».

 

1 xi, n i=1 n

x ¯=

pi xi.

i=1

R´ esum´ es on dispose d’une série d’indicateurs qui ne donne qu’une vue partielle des données : effectif, moyenne, médiane, variance, écart type, minimum, maximum, étendue, 1er quartile, 3ème quartile, ... Ces indicateurs mesurent principalement la tendance centrale et la dispersion. On utilisera principalement la moyenne, la variance et l’écart type.

Propriétés la moyenne arithmétique est une mesure de tendance centrale qui dépend de toutes les observations et est sensible aux valeurs extrêmes. Elle est très utilisée à cause de ses bonnes propriétés mathématiques.



12

Variance et ´ ecart-type

Mesure de liaison entre deux variables

Définition la variance de x est définie par

Définitions la covariance observée entre deux variables x et y est

n

s2x =



1 (xi n i=1

n

− x¯)

2

ou s2x =

 i=1

n

pi(xi

2

− x¯)

sxy =

rxy =

n

pix2i

i=1

n

pi(xi

− x¯)(yi − y¯) =



pixi yi

i=1

− x¯y¯.

et le coefficient de r de Bravais-Pearson ou co efficient de corrélation est donné par

Propriétés La variance satisfait la formule suivante s2x =

 i=1

L’écart-type sx est la racine carrée de la variance.



13

2

− (¯x)

sxy = sx sy

  

n i=1 pi (xi n p x ¯) 2 i i=1 (xi

−

− x¯)(yi − y¯)

 

n i=1 pi (yi

− y¯) . 2

La variance est « la moyenne des carrés moins le carré de la moyenne ». L’écart-type, qui a la même unité que x, est une mesure de dispersion.


14


15

Propriétés du coefficient de corr´ elation

Le coefficient de corr´ elation par l’exemple 0 .0

Borne On a toujours (inégalité de Cauchy-Schwarz)

0 .2

0 .4

06 .

08 .

10 .

0 .0

−0.99

−0.13

x1

0 .2

0 .4

06 .

08 .

10 .

8 . 0

−0.10

4 . 0

0 . 0

8 . 0

−1 ≤ r ≤ 1. xy

Variables liées

0.89

0.15

x2

4 . 0

0 . 0

|r | = 1 si et seulement si x et y sont linéairement liées :

0 . 0

xy

axi + byi = c, pour tout 1

≤ i ≤ n.

5 . 0 − 0 . 1 − 5 . 1 −

8 . 0

x4

4 . 0

En particulier, rxx = 1.

0 . 0

Variables décorrél´ ees si rxy = 0, on dit que les variables sont décorrélées . Cela ne veut pas dire qu’elles sont indépendantes!


0.10

x3

16

0 .0

0 .2

0 .4

0 .6

0 .8

1 .0

−1.5

−1.0

−0.5

0.0

Interpr´ etation on a 4 variables numériques avec 30 individus. Les variables 1 et 2 sont indépendantes ; les variables 1 et 3 ont une relation linéaire ; les variables 2 et 4 ont une relation non-linéaire.


Que signifie une corr´ elation linéaire ?

17

Que signifie une d´ ecorr´ elation ?

Qu’est ce qui est significatif ? si on a assez de données, on peut considérer qu’une corrélation supérieure à 0, 5 est forte, et une corrélation entre 0, 3 et 0, 5 est moyenne. Une corrélation égale à un indique que les deux variables sont équivalentes. elation significative indique une liaison Qu’est-ce que cela veut dire ? une corr´ entre deux variables, mais pas nécessairement un lien de causalité. Exemple : Le nombre de pompiers présents pour combattre un incendie est corrélé aux dégats de l’incendie. Mais ce ne sont pas les pompiers qui causent les dégats .

5

4

y

3

2

1

−4

−2

0

2

4

x

Pour ces deux variables, on a r = 0.


18


19

Rappels : notation matricielle

Tableau de donn´ ees

Matrice tableau de données carré ou rectangulaire, noté par un lettre majuscule grasse (ex : X).

On note xji la valeur de la i-ème variable pour le j-ème individu. Pour n individus et p variables, on a le tableau

Vecteur matrice à une seule colonne, noté par une lettre minuscule grasse (ex : x). Cas particuliers matrice identité à n lignes et n colonnes et vecteur unité de dimension n : In =



1 0

...

0 1



1n =

,

  1 .. 1

X = ( x1, . . . , xp) =

.

Transposition de matrice échange des lignes et des colonnes d’une matrice ; on note M la transposée de M.

  

x11 x12

x21 x22

··· . xji

···

.. x1n

xp1

... xpn

  

.

X est une matrice rectangulaire à n lignes et p colonnes.

′


20

Vecteurs variable et individu


21

La matrice des poids Définition on associe aux individus un poids pi tel que

Variable Une colonne du tableau

xj =

 

j

x1 .. xji .. xjn

p1 +

 

et on repr´ esente ces poids dans la matrice diagonale de taille n

D=

Individu Une ligne du tableau j


 

p1

0 p2

0

... pn

 

.

Cas uniforme tous les individus ont le même poids pi = 1/n et D = n1 In.

p

ei = (x1i , . . . , xi , . . . , xi ) ′

··· + pn = 1

22


23

Point moyen et tableau centré

Matrice de variance-covariance

Point moyen c’est le vecteur g des moyennes arithmétiques de chaque variable : Définition c’est une matrice carrée de dimension p

g = (x ¯1 , . . . , x ¯p), ′

où

n

x ¯j =



V=

pixji .

i=1

On peut aussi écrire g = X D1n. ′

 

s21 s12 s21 .. sp1

s1p

... 2

sp

 

,

où skl est la covariance des variables xk et xℓ et s2j est la variance de la variable xj

Tableau centré il est obtenu en centrant les variables autour de leur moyenne

Formule matricielle ′

yij = xji

···

V = X DX

− x¯j

− gg

′

′

= Y DY.

ou, en notation matricielle, Y=X

− 1n g

′

= (I

′

− 1n1nD)X


24

Matrice de corrélation

R=

1 r12 r21 1 .. rp1

···

r1p

... 1

 

25

L’analyse de composantes principales (ACP)

Définition Si l’on note rkℓ = skℓ /sk sℓ , c’est la matrice p

 


×p

Contexte chaque individu est considéré comme un point d’un espace vectoriel F de dimension p. L’ensemble des individus est un nuage de points dans F et g est son centre de gravité . Principe on cherche à réduire le nombre p de variables tout en préservant au maximum la structure du problème.

,

Formule matricielle R = D1/sVD1/s, où

D1/s =

 

1

s1

0


...

0 1

sp

Pour cela on projette le nuage de points sur un sous-espace de dimension inférieure.

  26


27

Exemple en dimension 2

Exemple en dimension 2 (suite)

On veut passer de 2 variables à 1 seule.

On cherche la direction qui différencie le plus les points entre eux. x2

x1 Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

28


29

Distance entre individus

Métrique

Motivation afin de pouvoir considérer la structure du nuage des individus, il faut définir une distance, qui induira une géométrie.

Matrice d´ efinie positive c’est une matrice symétrique telle que, pour tout u non nul, u Mu > 0.

p

Distance euclidienne classique la distance la plus simple entre deux points de R est définie par

′

Définition soit M = (mjk ) définie positive de dimension p. On pose

p

d2(u, v) =



(uj

= u

 − v j √ on multiplie la variable j par aj =1

Gén´ eralisation simple

2

− vj )

p

2

u



aj (uj

j =1

M

′

= u Mu =

 − v

mjk uj uk ,

2

M.

Espace m´ etrique il est défini par le produit scalaire

2

− vj ) ,

p

 u, v 

M

′

= u Mv =

mjk uj vk .

j =1 k=1

 

30

p



On dit que u et v sont M-orthogonaux si u, v


p



j =1 k=1

d2M(u, v) = u

p

d2(u, v) =

2


M

= 0.

31

Comparaison avec le cas usuel

Propriétés du produit scalaire

Norme Le produit scalaire est lin´ eaire

p

u

2

′

=uu=

 

u2j (= u Ipu) ′

u, v + w u, λv

j =1

p

2

′

u

M

p

= u Mu =

mjk uj uk

j =1 k=1

M

= u, v

M

= λ u, v

  + u, w ,   pour tout λ ∈ R.

2

u + v 

= u



M

p

′

 u, v  = u v = M

′

2

M

+ v

2



M

+ 2 u, v

 

M

′

uj vj (= u Ipv)

j =1

p

u, v

M

M

Identité remarquable

Produit scalaire

 

M

p

= u Mv =

mjk uj vk

j =1 k=1


32

M´ etriques et tableaux transformés


33

Le cas de la m´ etrique D1/s2

Utiliser la métrique M = T T sur le tableau X est équivalent à travailler avec la métrique classique I sur le tableau transformé XT . ′

′

Tableau transformé Si on travaille sur le tableau transformé XT (changement de variables ) au lieu de X, alors les nouveaux individus seront de la forme Tei et ′

′

′

′

Tei , Tei  = ( Tei ) (Tei ) = ei T Tei 1

2

1

2

2

1

′

= ei1 Mei2 = ei1 , ei2



Pourquoi cette m´ etrique ? pour que les distances soient indépendantes des unités de mesure et qu’elles ne privilégient pas les variables dispersées. ´ Equivalence avec les donn´ ees r´ eduites on a D1/s2 = D1/sD1/s et donc

ei, ej 

D1/s2



M

Réciproque pour toute matrice symétrique positive M, il existe une matrice T (racine carrée de M) telle que M=TT ′

= D1/sei, D1/sej .





Travailler avec la métrique D1/s2 est équivalent à diviser chaque variable par son écarttype et à utiliser la métrique I.

Donn´ ees centrées réduites c’est le tableau Z contenant les données

et donc on peut ramener l’utilisation de la métrique à un changement de variables. zij =

xji

− x¯j ,

sj

qui se calcule matriciellement comme Z = YD1/s .


34


35

Inertie

Métriques particuli` eres

Définition l’inertie en un point a du nuage de points est n

I a =

M´ etrique usuelle M = Ip correspond au produit scalaire usuel et I g = Tr(V) = p 2 j =1 si .



n

 −  pi ei

a

2

M =

i=1

pi(ei

i=1

′

− a) M(ei − a).

Autres relations l’inertie totale I g est la moitié de la moyenne des carrés des distances entre les individus n

2I g =

n



Métrique r´ eduite

I g = Tr(D1/s2 V) = Tr(D1/sVD1/s) = Tr(R) = p.

2

pipj ei

i=1 j =1

Problèmes – la distance entre individus dépend de l’unité de mesure. – la distance privilégie les variables les plus dispersées.

M.

 − ej 

L’inertie totale est aussi donnée par la trace de la matrice MV I g = Tr(MV), la trace d’une matrice étant la somme de ses éléments diagonaux. Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

36

Utilisation des m´ etriques Utiliser une métrique est donc équivalent à les rendre comparables x2

«


37

L’analyse de composantes principales (version 2)

tordre » les données, par exemple pour

x2

Principe on cherche à projeter le nuage de points sur un espace F k de dimension k < p. Critère on veut que la moyenne des carrés des distances entre les points projetés soit maximale (elle est toujours plus petite que pour le nuage original).

Pour cela on cherche F k , sous espace de dimension k de F p, tel que l’inertie du nuage projet´ e sur F k soit maximale. x1

x1

Exemple utiliser la métrique réduite est équivalent à travailler sur les données centrées réduites Z = YD1/s.


38


39

Rappels : valeurs propres et vecteurs propres

Valeurs et vecteurs propres : un exemple concret

Définition un vecteur v = 0 de taille p est un vecteur propre d’une matrice A de taille p p s’il existe λ C telle que

×

∈



Av = λv.

La matrice



a pour vecteurs propres

λ est une valeur propre de A associée à v.

Domaine En général, les vecteurs propres et valeurs propres sont complexes; dans tous les cas qui nous intéressent, ils seront réels. Interpr´ etation des vecteurs propres ce sont les directions dans lesquelles la matrice agit. Interpr´ etation des valeurs propres c’est le facteur multiplicatif associé à une direction donnée.


40

Valeurs et vecteurs propres : cas particuliers

v1 =

5 2 1

1 4 1

−1 −2 3

−

      0 1 1

1 0 1

, v2 =

1 1 0

, v3 =

.

On vérifie facilement que les valeurs propres associées sont λ1 = 2, λ2 = 4, λ3 = 6.


41

Quelques matrices diagonalisables

Matrice nulle sa seule valeur propre est 0, et tout vecteur est vecteur propre.

Matrice symétrique une matrice symétrique réelle ( A = A) possède une base de vecteurs propres orthogonaux et ses valeurs propres sont réelles ′

Matrice identité tout vecteur est vecteur propre de I avec valeur propre 1, puisque Iv = v. Matrice diagonale si Dλ est une matrice diagonale avec les coefficients λ1, . . . , λp, alors le i-ème vecteur coordonnée est vecteur propre de Dλ associé à la valeur propre λi. L’action d’une matrice diagonale est de multiplier chacune des coordonn´ ees d’un vecteur par la valeur propre correspondante.

vi, vj = 0 si i = j,

×

∈ R. ′

vi, vj 

= 0 si i = j,



et λi

∈ R.

Matrice définie positive c’est une matrice symétrique dont les valeurs propres sont strictement positives

vi, vj  = 0 si i = j, 42

et λi

Matrice M-sym´ etrique une matrice M-symétrique réelle (A M = MA) possède une base de vecteurs propres M-orthogonaux et ses valeurs propres sont réelles M

Matrice diagonalisable c’est une matrice dont les vecteurs propres forment une base de l’espace vectoriel : tout vecteur peut être représenté de manière unique comme combinaison linéaire des vecteurs propres. Une matrice de taille p p qui a p valeurs propres réelles distinctes est diagonalisable dans R.





et λi > 0.

43

Analyse de VM

R´ esultat principal

Valeurs propres la matrice VM est M-symétrique : elle est donc diagonalisable et ses valeurs propres λ1, . . . , λp sont réelles.

Th´ eorème principal

Axes principaux d’inertie ce sont les p vecteurs a1, . . . , ap tels que

1. Si F k est le sous-espace de dimension k portant l’inertie principale, alors

VMak = λk ak ,

avec ak , aℓ





M

= 1 si k = ℓ, 0 sinon.

(Admis)

F k+1 = F k

Ils sont M-orthonormaux.

Signe des valeurs propres les valeurs propres de VM sont positives et on peut les classer par ordre décroissant

⊕ f k

+1

,

o` u f k+1 est le sous espace de dimension 1 M-orthogonal ` a F k portant l’inertie maximale : les solutions sont « emb oˆıt´ ees » ;

2. F k est engendré par les k vecteurs propres de VM asso ciés aux k plus grandes valeurs propres.

λ1

≥ λ ≥ λ ≥ ··· ≥ λp ≥ 0. 2

3

Id´ ee du lien avec l’inertie on sait que T r(VM) = λ1 + + λp. Si on ne garde + λq , et c’est le que les données relatives à a1, . . . , aq , on gardera l’inertie λ1 + mieux qu’on puisse faire.

···

···


44

Les composantes principales Coordonn´ ees des individus supposons que ei

−g=

p

ei − g, ak

M

=





ℓ=1

La coordonnée de l’individu centré ei la projection M-orthogonale cik = ei

ciℓ aℓ, ak



M



Interpr´ etation du th´ eorème l’ACP sur k + 1 variables est obtenue par ajout d’une variable d’inertie maximale à l’ACP sur k variables. Il n’est pas nécessaire de refaire tout le calcul.

p ℓ=1 ciℓ aℓ,


Repr´ esentation des individus dans un plan principal Qu’est-ce que c’est ? pour deux composantes principales c1 et c2, on représente chaque individu i par un point d’abscisse ci1 et d’ordonnée ci2.

alors

Axe 2

= cik e6

e1

− g sur l’axe principal ak est donc donné par

 − g, ak

M

45

= ( ei

e7 e4

′

− g) Mak.

e2

Axe 1

e5

Composantes principales ce sont les variables ck de taille n définies par

e3 e8

ck = YMak .

Chaque ck contient les coordonnées des projections M-orthogonales des individus centrés sur l’axe défini par les ak .

Quand ? Elle est utile quand les individus sont discernables.



46

47

Propriétés des comp osantes principales

Facteurs principaux

Moyenne arithm´ etique les composantes principales sont centrées : ′

′

Définition on associe à un axe principal ak le facteur principal uk = Mak de taille p. C’est un vecteur propre de MV car

′

c¯k = ck D1n = ak MY D1n = 0 ′

car Y D1n = 0 (les colonnes de Y sont centrées).

MVuk = MVMak = λk Mak = λk uk

Variance la variance de ck est λk car ′

′

Calcul en pratique, on calcule les uk par diagonalisation de MV, puis on obtient les ck = Yuk . Les ak ne sont pas intéressants. La valeur d’une variable ck pour l’individu ei est donc

′

V (ck ) = ck Dck = ak MY DYMak ′

′

= ak MVMak = λk ak Mak = λk .

p

cik = ( ei

Covariance de même, pour k = ℓ,



′

cov(ck , cℓ ) = ck Dcℓ =

′

− g ) uk =



yij ukj

j =1

où uj = (ui1, . . . , uip). ′

′

··· = λℓakMaℓ = 0.

Les composantes principales ne sont pas corrélées entre elles.


48

Formules de reconstruction


49

L’ACP sur les données centrées réduites

Il est possible de reconstruire le tableau centré Y à partir des composantes principales et des facteurs principaux

Matrice de variance-covariance c’est la matrice de corrélation car p

Y=

p

  ′

ck ak =

k=1

′

−1

c k uk M

.

′

Métrique on prend la métrique M = Ip.

Preuve il suffit de calculer

   p

ck ak

k=1

Facteurs principaux ce sont les p vecteurs propres orthonormés de R,

p

′

′

Z DZ = D1/sY DYD1/s = D1/sVD1/s = R.

k=1

Maℓ =

′

ck ak Maℓ = cℓ = YMaℓ .

Ruk = λk uk , avec uk , uℓ = 1 si k = ℓ, 0 sinon.



k=1

Comme M est inversible et que les ak forment une base, on obtient Y.



dont les valeurs propres sont classés par valeur propre décroissante

Approximation si on prend les k premiers termes seulement, on obtient la meilleure approximation de Y par une matrice de rang k au sens des moindres carrés (théorème de Eckart-Young).

λ1

≥ λ ≥ λ ≥ ··· ≥ λp ≥ 0 2

3

Composantes principales elles sont données par ck = Zuk . Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

50


51

Nombre d’axes ` a retenir

Nombre d’axes ` a retenir (suite)

Dimension de l’espace des individus L’ACP visant à réduire la dimension de l’espace des individus, on veut conserver aussi peu d’axes que possible. Il faut pour cela que les variables d’origine soient raisonnablement corrélées entre elles. Les seuls critères utilisables sont empiriques.

Critère de Kaiser (variables centr´ ees-réduites) on ne retient que les axes associés à des valeurs propres supérieures à 1, c’est-à-dire dont la variance est supérieure à celle des variables d’origine. Une autre interprétation est que la moyenne des valeurs propres étant 1, on ne garde que celles qui sont supérieures à cette moyenne.


52

L’espace des variables

′

= x Dy,

x

2

0 . 3

5 . 2

0 . 2

5 . 1

0 . 1

5 . 0

0 . 0

2

4

k

r(zj , ck ) = 2

D

ck

λk

,

cℓ



D

λℓ

= cor(ck , cℓ) = D


53



1, 0,

cov(zj , ck ) (zj ) Dck = λk V (ck ) ′



√

et donc le vecteur des corrélations de ck avec Z est

D

k

√ √ 

10

Quand on travaille sur les variables centrées-réduites, la corrélation entre une composante principale ck et une variable zj est

= x Dx.

D

Exemple

8

′

D

  , V (x) = x , x, y cor(x, y) = x y = cos(xy). √ les vecteurs c / λ forment une base D-orthonormale D

6


Interprétation pour deux variables centrées x et y, on a cov(x, y) = x, y

coude » dans le graphe des valeurs

Corr´ elation entre composantes et variables initiales

Métrique D il faut munir l’espace des variables d’une métrique raisonnable. On choisit toujours la métrique D des poids : D

«

5 . 3

Interpr´ etation des axes on s’efforce de ne retenir que des axes à propos desquels une forme d’interprétation est possible (soit directement, soit en terme des variables avec lesquels ils sont très corrélés). On donnera des outils à cet effet plus loin dans le cours.

x, y

´ Eboulis des valeurs propres on cherche un propres

r(Z, ck ) = (r(z1, ck ), . . . , r(zp , ck )) = ′

′

Z Dck

√λ

.

k

Comme Z Dck = Z DZuk = Ruk = λk uk , on a finalement ′

si k = ℓ, sinon.

′

r(Z, ck ) =

54




λk uk .

55

Le cercle des corr´ elations

Le cercle des corr´ elations (suite)

Qu’est-ce que c’est ? c’est une représentation où, pour deux composantes principales, par exemple c1 et c2, on représente chaque variable zj par un point d’abscisse r(zj , c1) et d’ordonnée r(zj , c2).

√

Pourquoi un cercle ? comme les ck / λk forment une base D-orthonormale,

 √  √     p

zj =

ck

k=1

et donc

λk

ck

, zj

D

λk

p

=

r(ck , zj )

√cλk

k

i=1

p

zj

2

D

r 2(ck , zj ).

=1 =

k=1

Les points sont bien à l’intérieur d’un cercle de rayon 1.

Effet « taille » cela arrive quand toutes les variables sont corrélées positivement avec la première composante principale. Cette composante est alors appelée facteur de « taille », la seconde facteur de « forme ». Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

56

Interpr´ etation – les points sont la projection orthogonale dans D des variables dans le plan défini par les composantes principales c1 et c2. – Il ne faut interpréter la proximité des points que s’ils sont proches de la circonférence.


Contribution d’un individu ` a une composante

Individus sur-représent´ es



n Définition On sait que V (ck ) = λk = i=1 pic2ik. La contribution de l’individu i à la composante k est donc pic2ik λk Interprétation la contribution d’un individu est importante si elle excède d’un facteur α le poids pi de l’individu concerné, c’est-à-dire

pic2ik λk

57

Qu’est-ce que c’est ? c’est un individu qui joue un rôle trop fort dans la définition d’un axe, par exemple pic2ik > 0, 25 λk Effet il « tire à lui » l’axe k et risque de perturber les représentations des autres points sur les axes de rang k. Il est donc surtout problématique sur les premiers axes. Un tel individu peut être le signe de données erronées.

≥

Solution on peut le retirer de l’analyse et le mettre en

≥ αpi,

«

individu supplémentaire ».

ou de manière équivalente

|cik| ≥



αλk

Choix de α selon les données, on se fixe en général une valeur de l’ordre de 2 à 4, que l’on garde pour tous les axes Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

58


59

Qualité globale de la représentation

Qualité locale de la représentation

Calcul de l’inertie on se souvient que I g = Tr(VM) ; comme la trace d’une matrice est la somme de ses valeurs propres, on a

But on cherche à déterminer si le nuage de points est très aplati par la projection sur les sous-espaces principaux. Dans ce cas, deux individus éloignés pourraient artificiellement sembler proches les uns des autres.

I g = λ1 + λ2 +

··· + λp.

Définition la qualité de la représentation obtenue par k valeurs propres est la proportion de l’inertie expliquée λ1 + λ2 + λ1 + λ2 +

··· + λk ··· + λp

Si par exemple λ1 + λ2 est égal 90% de I g, on en déduit que le nuage de points est aplati autour du premier plan principal.

Utilisation cette valeur sert seulement à évaluer la projection retenue, pas à choisir le nombre d’axes à garder. Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

60


61

Angle entre un individu et un axe principal

Angle entre un individu et un sous-espace principal

Il est défini par son cosinus carré. Le cosinus de l’angle entre l’individu centré i et l’axe principal k est ei g, ak M cos(e . i , ak ) =

C’est l’angle entre l’individu et sa projection orthogonale sur le sous-espace. La q projection de ei g sur le sous-espace F q , q p, est k=1 cikak , et donc

 −  ei − g car les ak forment une base orthonormale. Comme ei − g, ak  M

ei, F q ) = cos (

2

cik . p 2 k=1 cik





q 2 k=1 cik . p 2 k=1 cik

La qualité de la représentation de l’individu i sur le plan F q est donc la somme des qualités de représentation sur les axes formant F q . Il est significatif quand le point ei n’est pas trop près de g.



Cette grandeur mesure la qualité de la représentation de l’individu i sur l’axe principal aj .


≤

2

M = cik ,

cos2(e i , ak ) =

−

62

Crit` eres Un cos2 égal à 0, 9 correspond à un angle de 18 degrés. Par contre, une valeur de 0, 5 correspond à un angle de 45 degrés ! On peut considérer par exemple les valeurs supérieures à 0, 80 comme correctes.


63

L’ACP en trois transparents (2)

L’ACP en trois transparents (3)

Nombre d’axes on se contente en général de garder les axes interprétables de valeur propre supérieure à 1. Cercle des corrélations il permet de visualiser comment les variables sont corrélées ` partir de là, on (positivement ou négativement) avec les composantes principales. A peut soit trouver une signification physique à chaque composante, soit montrer que les composantes séparent les variables en paquets. Repr´ esentation des individus pour un plan principal donné, la représentation des projections des individus permet de confirmer l’interprétation des variables. On peut aussi visualiser les individus aberrants (erreur de donnée ou individu atypique). Contribution d’un individu à une composante c’est la part de la variance d’une composante principale qui provient d’un individu donné. Si cette contribution est supérieur de 2 à 4 fois au à son poids, l’individu définit la composante. Si elle est très supérieure aux autres, on dit qu’il est surreprésenté et on peut avoir intérêt à mettre l’individu en donnée supplémentaire. Cours d’analyse de données  Jean-Marc Lasgouttes  année 2009-2010.

68

Qualité globale de la représentation c’est la part de l’inertie totale I g qui est expliquée par les axes principaux qui ont été retenus. Elle permet de mesurer la précision et la pertinence de l’ACP. Qualité de la repr´ esentation d’un individu elle permet de vérifier que tous les individus sont bien représentés par le sous-espace principal choisi ; elle s’exprime comme le carré du cosinus de l’angle entre l’individu et sa projection orthogonale. Individus supl´ ementaires quand un individu est surreprésenté sur un des premiers axes, on peut le supprimer de l’analyse et le réintroduire dans la représentation comme individu supplémentaire. Variables supplémentaires quantitatives certaines variables peuvent être mises de coté lors de l’ACP et reportées séparément sur le cercle des corrélation. Variables supplémentaires qualitatives elles peuvent être représentées sur la projection des individus, et leur liaison aux axes est donnée par les valeurs-test.


69

cours-acp

Recommend Documents