[PDF] [PDF] 01-Introduction-2020pdf 17 jan 2020 · En python

View - Download [PDF] 01-Introduction-2020pdf

Previous PDF

Next PDF

Philippe Giguère

Plan de cours

Introduction

Hiver 2020

Plan de cours

Bienvenue à bord!

3èmeédition!

Frédérik ParadisGaël Letarte

Séminaire départemental

Vendredi17 janvier2020

Apprentissagede réseauxde neurones à activations binairesavec garantiesstatistiquesGaël LetarteÉtudiantau doctorat, membredu GRAAL

Heure: 13h30Local: PLT-3775

4

Ressources GPU

Accès à des GPU via Jupyternotebook

NVIDIA K20 ou K80

Au besoin, lisez le Wiki

réservation glo4030

Gros merci à

Florent Parent

Félix-Antoine Fortin5

En coursde mise-en-oeuvre

Manuel (obligatoire)

Bonne référence

Version html gratuite

http://www.deeplearningbook.org/ 6

Pré-requis

Python (laboratoire, TP)

Certaine connaissance Žȱ•ȂŠ™™›Ž—"œœŠŽȱ machine

Probabilité

Algèbre linéaire

Dérivée

7

Contenu du cours

nombre de techniques, trucs grand nombre de papiers

70+ présentations orales

Donner un aperçu du domaine,

vous aider à démarrer dans la recherche 8

ȃ ••ȱscience is either

physicsor stamp

ȮE. Rutherford

Aperçu 1èremoitié

Connaissances de base (vertical)

Introduction, neurone, fonctions ȂŠŒ"ŸŠ"˜—

Graphes de calculs, fonctions de perte, rétro-

propagation batch norm, initialisation des poids, trucs et astuces

Techniques de régularisation

Réseaux à convolution I

Réseaux à convolution II

Examen intra

9

Aperçu 2èmemoitié

Concepts avancés (horizontal) :

Word embeddings

Autoencodeurs

Réseaux récurrents (RNN, LSTM et GRU)

Apprentissage multitâches, pertes auxiliaires

Distillation (compression) des réseaux

Réseaux génératifs type GAN

Et +

10(majorité)Présentations orales des étudiants 2eet 3ecycle

Examen

Mi-Session(25 février 12h30 à 15h20)

35% pour GLO-4030

33%pour GLO-7030

Final (21 avril de 12h30 à 14h20)

GLO-4030 seulement

Examen de 2 heures, 20 %

Séance de présentations orales pour GLO-7030

Pas de documents permis

11

Travaux pratiques

2 travaux

Total de 20 %

En python ou PyTorch

githubpublic pastebin etc. 12

Projets

Équipe de 1 à 2

GLO-4030 : 25 %

Pour GLO-7030 : 35 %

ambitieux (proche de publiable) bonne méthodologie

Trouvez un jeu de données proche de

votre recherche / laboratoire / programme

Vous pouvez utiliser langage et libraire de

votre choix (TensorFlow, PyTorch, etc) 13

Mon projet en 180 s (GLO-7030)

Présentation chronométrée de 3 minutes

de votre projet de recherche

14 avril

1 seule acétate, sans animation, format pdf

ratio 16:9 Jugé sur la clarté et la qualité, et non sur le mérite technique 14

Présentations orales GLO-7030

Article plus récent que 1erjuin 2018

Uniquement des conférences suivantes :

NIPS, CVPR, ICLR, RSS, ICCV, ECCV,

EMNLP, ACL, NAACL et COLING

Présentation 10 minutes, style conférence

possible (pour éviter les doublons)

Compte pour 12 %

15

Présentations orales GLO-7030

72 inscriptions (horaire chargé!)

Date de votre présentation idéalement en

lien avec le contenu du cours

Horaire approximatif :

Si vous voulez présenter sur les CNN,

pouvoir présenter le 21 février 16

Datenombreprés.

Vendredi21 février8

Vendredi20 mars10

Vendredi 3 avril10

Vendredi 10 avril10

Vendredi 17 avril10

Mardi 21 avril14

Vendredi 24 avril10

Sites web

Site du cours :

https://ulaval-damas.github.io/glo4030/

Site pour le forum :

site monPortailGLO-7030 les étudiants GLO-4030 ont plein accès au 17

Librairie utilisée :

Recommandation unanime des experts locaux (ils

ont utilisés Theano, TensorFlow, Torch, Keras)

Python, et non pas LUA

Facile à débugger

Vous pouvez extraire les données du GPU en tout temps

Dérivation automatique autograd

Support GPU pour Ndarray

CŠŒ"ŠŽȱȂ˜™"-"œŠ"˜—ȱ™Š›ȱŽœŒŽ—ŽȱŽȱ›Š"Ž—ȱinclus (SGD, RMSprop, ADAM, etc.)

AŽŠžŒ˜ž™ȱȂž"•"Š"›Žœȱ(data loading, entraînement, data augmentation, torchvisionetc.)

18 http://pytorch.org/about/ 1.?

Introduction

Large ScaleVisual Recognition Challenge

20Réseaux profonds

Image Classification Challenge:

1,000 classes Ȃ˜‹“Žœ

1,431,167 images

0 5 10 15 20 25
30

28.225.8

Shaoet

al. 2016 2.99

SENets

Hu et al.

2017
2.25 5.1 Human

Russakovsky

et al. 2014 3.57

ResNet

He et al.

2015
6.7

GoogLeNet

Szegedyet

al. 2014 11.7 ZFNet

Zeiler

and

Fergus

2013
7.3 VGG

Simonyan

and

Zisserman

2014
16.4

AlexNet

Krizhevsky

et al. 2012

Sanchez

and

Perronnin

2011

Lin et al.

2010

Renaissance

Erreur top

-5

EfficientNet

-L2

Xie et al.

Nov. 2019

1.3

Causes de la renaissance #1

21
pré- 2006

Vanishinggradient

Crédit : L. Trottier

(sigmoïde)

Venait limiter en pratique la profondeur

Causes de la renaissance #1

ReLU: Rectifier LinearUnit

Introduite en 2010 par Nair et Hinton

Se calcule très rapidement : max(input,0)

Beaucoup moins de vanishinggradient, car

pente = 1 dans la partie active 22

Causes de la renaissance #2

Grands jeux de données www.image-net.org

14 millions images, 22 000 catégories

23
25

Juin2005110 TFlops

2,999 USD

Causes de la renaissance #3

Puissance de calcul via GPU

Décembre 2017

Continuation de la renaissance

Progrès très rapide via arXiv.org

C•žœȱȂž—Žȱcentaine de soumission par jour

Un article est souvent périmé lorsque

présenté en conférence orales (GLO-7030) 26

Certain danger : beaucoup de

"bruit» dans les publications ca. 1990ca. 2019

Évolution des réseaux

27
tanh

Averagepooling

SGD

5couches

32 filtres

10,000

exemples 1000
couches ReLU

Drop-out

Batch norm

Xavier Initialization

Pré-

entraînement ImageNet

Squeeze-and-Excite

Data augmentation Early stopping Adam

3,000+ filtres

Max pooling

Global

average pooling

Ensemble

Multitâche

Crédit photo : wildsau.ca

Skip connections

Convolutions

à trous

geler des couches lrscheduling

Distillation

Curriculum

Pseudo-label

Pourquoi le Deep?

Fonction mathématique extrêmement

flexible et puissante (millions de paramètres)

3‘·˜›¸-ŽȱȂŠ™™›˜¡"-Š"˜—ȱuniverselle :

avec un niveau de précision arbitraire

Réseaux peu profonds vont :

demander beaucoup de neurones (exponentiel)

28*continue sur des sous-ensembles compacts de Rn

Généralisation vs. profondeur

Street ViewHome NumbersSVHN

29
Goodfellowet al., Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks, ICLR 2014.

Meilleure généralisation

Modèles larges ou peu profonds ont

tendance à overfitter 30
Goodfellowet al., Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks, ICLR 2014. SVHN # couches 32

Contraste avec

approches traditionnelles

Hand-designed

program Hand- designed features

InputInputInputInput

Output

OutputOutput

Output

Mapping

from features

Mappingfrom

features

Mappingfrom

features

FeaturesSimple

features

Additional layers of more abstract features

Representation

Learning

DeepLearningRule-

based systems

Classicmachine

learning 33

Contraste avec

approches traditionnelles Appris conjointement

Hand-designed

program Hand- designed features

InputInputInputInput

Output

OutputOutput

Output

Mapping

from features

Mappingfrom

features

Mappingfrom

features

FeaturesSimple

features

Additional layers of more abstract features

Representation

Learning

DeepLearningRule-

based systems

Classicmachine

learningquotesdbs_dbs19.pdfusesText_25

[PDF] macintosh

[PDF] macleay valley travel reviews

[PDF] macleay valley travel tasmania

[PDF] macos 10.15 compatibility

[PDF] macos catalina security features

[PDF] macos security guide

[PDF] macos server

[PDF] macos server mojave

[PDF] macos virtualization license

[PDF] macromolecules

[PDF] macron ce soir

[PDF] macros in 8086 microprocessor pdf

[PDF] macros in excel pdf books

[PDF] macy's billing

[PDF] macy's card discount exclusions