[PDF] Réseaux de neurones : modèle linéaire généralisé

View - Download Réseaux de neurones : modèle linéaire généralisé

Previous PDF

Next PDF

Réseaux de neurones : modèle linéairegénéralisé

Fabrice Rossi

http://apiacoa.org/contact.html.

Universit´e Paris-IX Dauphine

R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.1/68 Plan du cours "modèle linéaire généralisé"

1. Le modèle linéaire généralisé (expression neuronale)

2. Estimateur des moindres carrés

3. Bases fonctionnelles

4. Problème des grandes dimensions

5. Régularisation

6. Discrimination

R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.2/68

Modèle linéaire

Le modèle linéaire (en fait affine,y=Ax+b) est doublement linéaire :

1.x?→y=Ax+best une fonction affine

2.(A,b)?→(x?→y=Ax+b)est une fonction linéaire

Conséquences :

1. le modèle est limité : un lien non linéaire entre les sorties

et les entrées ne peut pas être découvert

2. le modèle est facile à optimiser : calcul matriciel

Amélioration : garder la deuxième linéarité en supprimant la première. R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.3/68

Principe de base

Combinaison linéaire de fonctions de base (exemple deRn dansR, se généralise à une cible dansRpsans difficulté) : y=k? i=1a iφi(x) +b Chaqueφiest une fonction deRndansR, "bien choisie".

Exemple pourn= 1, modèle polynomial :

y=k? i=1a ixi+b L'association paramètres vers fonction modèle reste linéaire. R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.4/68

Réseau à deux couches

Entr´ees Sortiesφ

1 2 3 4x 1 x 2 x 3 A 24A
11 Attention, la première couche n'est pas "réglable". R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.5/68

Réseau à deux couches (2)

Neurone de la première couche :

pas de paramètre numérique réglable sortie :φ(x1,...,xn)

Neurone de la deuxième couche :

sortie :f(x1,...,xk) =T??ki=1akxk+b? on règle les paramètres numériques

Matriciellement :

f(x) =T(AΦ(x) +b), avec

Φ(x) =(((φ

1(x1,...,xn)

k(x1,...,xn)))) R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.6/68

Régression (Rappel)

En régression, on cherche à écrireY?T(AΦ(X)+b)et donc

à choisirAetbdans ce but. Or, on a vu que :

on peut approcherE(Y|X)en déterminantAetbqui minimisent l'erreur quadratiqueentreyletT(AΦ(xl) +b) si on suppose que les erreurs d'observation sont gaussiennes avec une variance constante, l'estimation de Aetbpar moindres carrés correspond aumaximum de vraisemblance Moralité : comme pour le modèle linéaire, on cherche un esti- mateur deAetbcorrespondant aux moindres carrés. R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.7/68

Moindres carrés

On cherche doncAetbqui minimisent

E(A,b) =N?

l=1??

T(AΦ(xl) +b)-yl??2

QuandT=I, on procède comme dans le cas linéaire. On définit

C= (Ab)

Z=?

Φ(x1)...Φ(xN)

1...1?

Y= (y1...yN)

R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.8/68

Moindres carrés (2)

On doit résoudre :

ZZ

TCT=ZYT

Comme dans le cas linéaire, on peut résoudre : par inversion par SVD (décomposition en valeurs singulières) L'introduction des fonctions (non linéaires)φine change donc rien à la difficulté du problème de l'apprentissage : il existe tou- jours une solution optimale qu'on peut calculer efficacement.

Problème : choix desφi!

Le plus simple : des monômes.

R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.9/68

Exemple

0 20 40 60 80 100

0.0 0.2 0.4 0.6 0.8 1.0

t x(t) R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.10/68

Exemple

0 20 40 60 80 100

0.0 0.2 0.4 0.6 0.8 1.0

t x(t) données modèle Modèle linéaire classique :x(t) =a1x(t-1) +a0 R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.10/68

Exemple

0 20 40 60 80 100

0.0 0.2 0.4 0.6 0.8 1.0

t x(t) données modèle Modèle linéaire classique :x(t) =a2x(t-2) +a1x(t-1) +a0 R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.10/68

Qualité de la prédiction

0.0 0.2 0.4 0.6 0.8 1.0

0.475 0.480 0.485 0.490 0.495 0.500 0.505 0.510

observation prédiction R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.11/68

Qualité de la prédiction

0.0 0.2 0.4 0.6 0.8 1.0

0.47 0.48 0.49 0.50 0.51

observation prédiction R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.11/68

Représentation dex(t)

On comprend mieux le problème en traçantx(t)comme fonction dex(t-1)...

0.0 0.2 0.4 0.6 0.8 1.0

0.0 0.2 0.4 0.6 0.8 1.0

x(t-1) x(t) R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.12/68

Représentation dex(t)(2)

ou encorex(t)comme fonction dex(t-1)et dex(t-2): data 0 0.2 0.4 0.6 0.8 1 1.2 x(t-1) 0 0.2 0.4 0.6 0.8 1 1.2 x(t-2)

00.20.40.60.811.2x(t)

R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.13/68

Solution

0 20 40 60 80 100

0.0 0.2 0.4 0.6 0.8 1.0

t x(t) données modèle

Modèle polynomial (degré 2) :

x(t) =a2(x(t-1))2+a1x(t-1) +a0 R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.14/68

Qualité de la prédiction

0.0 0.2 0.4 0.6 0.8 1.0

0.0 0.2 0.4 0.6 0.8 1.0

observation prédiction R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.15/68

Réseau utilisé

x x2a 1 a

0x(t-1)

a

2approximation

dex(t) Optimisation (estimation ou apprentissage) : réglagle despa- ramètresa1,a2(connexions synaptiques) eta0(seuil) pour ap- procher l'associationx(t-1)versx(t)contenue dans les don- nées. R´eseaux de neurones - Le mod`ele lin´eaire g´en´eralis´e -p.16/68

Transformations par la première couche

data 0 0.2 0.4 0.6 0.8 1

1.2x(t-1)

0quotesdbs_dbs26.pdfusesText_32

[PDF] Bases du Web Design

[PDF] BASES D`EXERCICES EN LIGNE À L`UNIVERSITÉ BASES D

[PDF] Bases d`hydraulique - Anciens Et Réunions

[PDF] bases ecologiques , interet epidemiologique - France

[PDF] Bases et Diagnostic

[PDF] Bases et Méthodes de la Chimie Quantique

[PDF] Bases informatiques - Ordinateur

[PDF] Bases Java - Eclipse / Netbeans Environnements Java 1 - Espèces En Voie De Disparition

[PDF] Bases juridiques pour le quotidien du médecin - Santé Et Remise En Forme

[PDF] BASES LEGALES DU JEU CONCOURS « WHAT TRAVEL MOVIE - France

[PDF] Bases légales pertinentes : l`art. 50 LEtr et l`art. 77 al. 6 OASA

[PDF] Bases moléculaires de la maladie de Parkinson

[PDF] bases moléculaires des pathologies - Désordre Mental

[PDF] bases nautiques de Calais Côte d`Opale

[PDF] Bases neurobiologiques de la récompense - Avantages Et Compensation