[PDF] Réseaux de neurones PDF pmc.pdf

convergence de l'algorithme du perceptron garantie si séparabilité Exercices Montrer que pour η assez petit la descente de gradient permet de diminuer à

Previous PDF

Next PDF

[PDF] Corrigé du

par exemple Exercice 3 : Perceptron monocouche (6 points) cette erreur à rebours pour corriger les poids à l'aide des formules ci-dessus On a : x e1 1 )x(f

[PDF] Perceptron simple Perceptron multi-couches - LaBRI

Perceptron simple Perceptron multi- Supervisé → Si la réponse est fausse, on corrige le modèle en donnant la bonne réponse Exercice 1 Soit la fonction

[PDF] réseaux de neurones et connexionnisme résumé de cours et - ENIB

Le Perceptron exercices • Tester la classification de nouveaux points Comment sont-ils classés ? Plus il y a d'erreur de sortie, plus i doit être augmenté Pour corriger cette erreur • Plus i à ou réseau à attracteur mono couche • Hopfield

[PDF] TD-Perceptron

Exercice 1 – Perceptron linéaire `a seuil Q 1 1 Un NB : dans l'ensemble du TD, on consid`ere xi comme un vecteur ligne et w comme un vecteur colonne 3

[PDF] TP5 : Perceptron - Institut de Mathématiques de Toulouse

des poids de taille n × p 3 2 Apprentissage supervisé Le réseau de neurones du perceptron mono-couche permet de construire une procédure de classification

[PDF] Réseaux de neurones

convergence de l'algorithme du perceptron garantie si séparabilité Exercices Montrer que pour η assez petit la descente de gradient permet de diminuer à

[PDF] Deep Learning : Perceptrons simples et multicouches

Pratique des perceptrons (sous R et Python) 6 Références Le perceptron simple est un modèle de prédiction (supervisé) linéaire réagir (corriger) ou non

[PDF] Corrigé

Exercice 1(QCM) : (10 points) Question1 : Dans un Question3 : Le perceptron est un : Examen semestriel Module : Reconnaissance des Formes Corrigé

Spécialité :

Grade, Lieu d'exercice, Examinateur M Prénom NOM a)Le perceptron monocouche : Historiquement, le premier RNA, est le Perceptron de Rosenblatt

[PDF] Chapitre 3 Apprentissage automatique : les réseaux de neurones

6 nov 2002 · Vous trouverez une description de cette dernière dans l'exercice perceptron est défini par la donnée de +1n constantes : les w 1 , , w n

Réseaux de neurones

Liva Ralaivola

liva@lif.univ-mrs.fr Laboratoire d'Informatique Fondamentale de Marseille

UMR 6166 CNRS - Université de Provence

http://www.lif.univ-mrs.fr

Réseaux de neurones - p.1

Contexte

Classification supervisée (pattern recognition) S={(x1,y1),...,(x?,y?)}ensemble d'apprentissageX=Rd,Y={0,1}m xide classec?yi=?0010

0?

`1' encemeposition

Utilisation

temps d'apprentissage long autoriséet/ou apprentissageen lignerequisnombre de données assez grandinterprétabilité du modèle non nécessairepossible bruit sur les données

Réseaux de neurones - p.2

Plan HistoriquePerceptron linéairePerceptron multi-couches

Réseaux de neurones - p.3

Historique (1/2)

Motivations biologiques

systèmes apprenants composés de réseaux connectés de plusieurs unitéscapacités de mémoire/adaptabilité de ces systèmes

Réseaux de neurones - p.4

Historique (2/2)

Caractéristiques réseau de neurones biologique nombre de neurones dans le cerveau :1011neurones chacun

étant connecté à104autres neuronestemps de transmission de l'information entre deux neuronesdu cerveau :10-3mais temps d'activation du réseau très rapide :10-1secondes

pour la reconnaissance d'un procheconnexions en boucles Caractéristiques réseau de neurones artificiels nombre de neurones : de l'ordre de quelques centaines au

maximum avec quelques dizaines de connexionstemps de transmission de l'information entre deux neurones:

10 -10secondesdifficulté d'apprentissage avec des connexions en boucle

Réseaux de neurones - p.5

Perceptron linéaire (1/4)

Séparateur linéaire

biais : activation = 1

σ(?di=1wixi+w0)x1

2x=σ

w 0 w 1 w 2 Classification dexeffectuée en fonction de l'hyperplan w·˜x= 0oùw=???w 0 w 1 w 2??? et˜x=? 1 x?

Réseaux de neurones - p.6

Perceptron linéaire (2/4)

Algorithme d'apprentissage I

Classification binaireyi? {-1,+1}Initialisationw=0Répéter jusqu'à convergence ou bien atteinte d'un nombremax d'itérations

pour tous les exemples(xp,yp)faire - siσ(w·˜xp) =yp ne rien faire - sinon w←w+yp˜xp

Réseaux de neurones - p.7

Perceptron linéaire (3/4)

Algorithme d'apprentissage II (descente de gradient)InitialiserwaléatoirementRépéter jusqu'à convergence ou atteinte d'un nombre maxd'itérations

InitialiserΔwià0Pour tous les exemples(xp,yp) calculer la sorties=w·˜xppour chaque composantewi

Δwi←Δwi+η(yp-s)xpi

pour chaque composantewifaire w i←wi+ Δwi

Réseaux de neurones - p.8

Perceptron linéaire (4/4)

Propriétés du perceptron linéaire

convergence de l'algorithme du perceptron garantie si séparabilité des exemples possibleséparation impossible du XOR

Extensions

perceptron multi-coucheskernel adatron [Friess et al., 1998]voted perceptron [Freund and Schapire, 1999]

Réseaux de neurones - p.9

Perceptron multi-couches(1/9)

Neurone formel

-1+1+1 ij k w ji si,a i

σ(x) =

1+exp(-x)

σ(x) = tanh(x)

w kj sk,a k sj=? iw jiai aj=σ(s j)

Perceptron multi-couches

biais : activation = 1 ikj =yx 1 x 2x=y1 y 2

Réseaux de neurones - p.10

Perceptron multi-couches(2/9)

Fonction implémentée :f:Rd→RmErreur quadratique, en posantop=f(xp)

E(w) =??

p=1E p(w)avecEp(w) =1

2?op-yp?2=1

2m q=1(opq-ypq)2 autres fonctions possibles (e.g. cross-entropy)

Descente de gradient

t+1=wt-η?wE(w), η >0Descente de gradient stochastique, à la présentation del'exemple(xp,yp)

w t+1=wt-ηt?wEp(w), η >0

Réseaux de neurones - p.11

Perceptron multi-couches(3/9)

η,ηt: pas d'apprentissage, pas d'apprentissage adaptatifPropriétés deηtpour descente de gradient stochastique

tη t→ ∞,? tη t<∞Exercices Montrer que pourηassez petit la descente de gradient permet de diminuer à chaque étape l'erreurEDe quelle forme peut êtreηt?

Réseaux de neurones - p.12

quotesdbs_dbs2.pdfusesText_2

[PDF] [PDF] Réseaux de neurones