[PDF] Deep Learning is alchemy PDF 01-Introduction-2020.pdf

17 jan 2020 · Pré-requis • Python (laboratoire, TP) • Certaine connaissance de l' apprentissage machine • Probabilité • Algèbre linéaire • Dérivée • Un peu

Pré-requis • Python (laboratoire, TP) • Certaine connaissance du machine learning • Probabilité • Algèbre linéaire • Dérivée • Un peu d'optimisation 6

[PDF] Deep Learning is alchemy

17 jan 2020 · Pré-requis • Python (laboratoire, TP) • Certaine connaissance de l' apprentissage machine • Probabilité • Algèbre linéaire • Dérivée • Un peu

[PDF] Présentation PowerPoint

Nécessite Python (inclus dans le “package” d'installation) • Ajout et Educational: widgets pour l'enseignement des méthodes de machine learning (k- means,

[PDF] formation au langage python - IA Academie

Comprenant : La formation, les supports de cours et les outils associés Prérequis : Être à l'aise avec les sujets traitant de l'informatique, tel le Machine Learning

[PDF] Deep Learning with Python

This book is written for people with Python programming experience who want to get started with machine learning and deep learning But this book can also be

[PDF] Présentation PowerPoint - French Tech Brest +

A variant of machine learning engineer is called Python / R / (C++) Deep learning is part of a broader family of machine learning methods based on artificial

[PDF] Deep Learning Seance 1pdf - Indico de lIN2P3

Réseaux de neurones et deep learning À partir de mi-octobre Séances de 30/ 40 mn suivies de 20 mn de discussion Utilisations courantes du deep learning Quiz pour s'entraîner et exercices de programmation (Python) : fortement

[PDF] Using Machine Learning & Deep Learning With ArcGIS - gisworx

Tensor Flow: end-to-end open source platform for machine learning Keras: Open -source neural-network library written in Python Capable of running on top of

[PDF] Data Mining I Summer semester 2019 Lecture 1: Introduction

15 mai 2019 · Why to study Data Mining/Machine Learning – famous quotes* □ Source: https://www slideshare net/IBMBDA/myths- Goal: Running a data analysis process in python, from data selection to pattern evaluation ▫

[PDF] Machine Learning avec Python - Institut Quantmetry

Le Machine Learning (apprentissage automatique) constitue aujourd'hui l'une des techniques les plus efficace pour extraire la connaissance et la valeur de la

[PDF] macintosh

[PDF] macleay valley travel reviews

[PDF] macleay valley travel tasmania

[PDF] macos 10.15 compatibility

[PDF] macos catalina security features

[PDF] macos security guide

[PDF] macos server

[PDF] macos server mojave

[PDF] macos virtualization license

[PDF] macromolecules

[PDF] macron ce soir

[PDF] macros in 8086 microprocessor pdf

[PDF] macros in excel pdf books

[PDF] macy's billing

[PDF] macy's card discount exclusions

Philippe Giguère

Plan de cours

Introduction

Hiver 2020

Plan de cours

Bienvenue à bord!

3èmeédition!

Frédérik ParadisGaël Letarte

Séminaire départemental

Vendredi17 janvier2020

Apprentissagede réseauxde neurones à activations binairesavec garantiesstatistiquesGaël LetarteÉtudiantau doctorat, membredu GRAAL

Heure: 13h30Local: PLT-3775

Ressources GPU

Accès à des GPU via Jupyternotebook

NVIDIA K20 ou K80

Au besoin, lisez le Wiki

réservation glo4030

Gros merci à

Florent Parent

Félix-Antoine Fortin5

En coursde mise-en-oeuvre

Manuel (obligatoire)

Bonne référence

Version html gratuite

http://www.deeplearningbook.org/ 6

Pré-requis

Python (laboratoire, TP)

Certaine connaissance ȱȂ"ȱ machine

Probabilité

Algèbre linéaire

Dérivée

Contenu du cours

nombre de techniques, trucs grand nombre de papiers

70+ présentations orales

Donner un aperçu du domaine,

vous aider à démarrer dans la recherche 8

ȃ ȱscience is either

physicsor stamp

ȮE. Rutherford

Aperçu 1èremoitié

Connaissances de base (vertical)

Introduction, neurone, fonctions Ȃ""

Graphes de calculs, fonctions de perte, rétro-

propagation batch norm, initialisation des poids, trucs et astuces

Techniques de régularisation

Réseaux à convolution I

Réseaux à convolution II

Examen intra

Aperçu 2èmemoitié

Concepts avancés (horizontal) :

Word embeddings

Autoencodeurs

Réseaux récurrents (RNN, LSTM et GRU)

Apprentissage multitâches, pertes auxiliaires

Distillation (compression) des réseaux

Réseaux génératifs type GAN

Et +

10(majorité)Présentations orales des étudiants 2eet 3ecycle

Examen

Mi-Session(25 février 12h30 à 15h20)

35% pour GLO-4030

33%pour GLO-7030

Final (21 avril de 12h30 à 14h20)

GLO-4030 seulement

Examen de 2 heures, 20 %

Séance de présentations orales pour GLO-7030

Pas de documents permis

Travaux pratiques

2 travaux

Total de 20 %

En python ou PyTorch

githubpublic pastebin etc. 12

Projets

Équipe de 1 à 2

GLO-4030 : 25 %

Pour GLO-7030 : 35 %

ambitieux (proche de publiable) bonne méthodologie

Trouvez un jeu de données proche de

votre recherche / laboratoire / programme

Vous pouvez utiliser langage et libraire de

votre choix (TensorFlow, PyTorch, etc) 13

Mon projet en 180 s (GLO-7030)

Présentation chronométrée de 3 minutes

de votre projet de recherche

14 avril

1 seule acétate, sans animation, format pdf

ratio 16:9 Jugé sur la clarté et la qualité, et non sur le mérite technique 14

Présentations orales GLO-7030

Article plus récent que 1erjuin 2018

Uniquement des conférences suivantes :

NIPS, CVPR, ICLR, RSS, ICCV, ECCV,

EMNLP, ACL, NAACL et COLING

Présentation 10 minutes, style conférence

possible (pour éviter les doublons)

Compte pour 12 %

Présentations orales GLO-7030

72 inscriptions (horaire chargé!)

Date de votre présentation idéalement en

lien avec le contenu du cours

Horaire approximatif :

Si vous voulez présenter sur les CNN,

pouvoir présenter le 21 février 16

Datenombreprés.

Vendredi21 février8

Vendredi20 mars10

Vendredi 3 avril10

Vendredi 10 avril10

Vendredi 17 avril10

Mardi 21 avril14

Vendredi 24 avril10

Sites web

Site du cours :

https://ulaval-damas.github.io/glo4030/

Site pour le forum :

site monPortailGLO-7030 les étudiants GLO-4030 ont plein accès au 17

Librairie utilisée :

Recommandation unanime des experts locaux (ils

ont utilisés Theano, TensorFlow, Torch, Keras)

Python, et non pas LUA

Facile à débugger

Vous pouvez extraire les données du GPU en tout temps

Dérivation automatique autograd

Support GPU pour Ndarray

C"ȱȂ"-""ȱȱȱȱ"ȱinclus (SGD, RMSprop, ADAM, etc.)

AȱȂ"""ȱ(data loading, entraînement, data augmentation, torchvisionetc.)

18 http://pytorch.org/about/ 1.?

Introduction

Large ScaleVisual Recognition Challenge

20Réseaux profonds

Image Classification Challenge:

1,000 classes Ȃ

1,431,167 images

0 5 10 15 20 25
30

28.225.8

Shaoet

al. 2016 2.99

SENets

Hu et al.

2017
2.25 5.1 Human

Russakovsky

et al. 2014 3.57

ResNet

He et al.

2015
6.7

GoogLeNet

Szegedyet

al. 2014 11.7 ZFNet

Zeiler

and

Fergus

2013
7.3 VGG

Simonyan

and

Zisserman

2014
16.4

AlexNet

Krizhevsky

et al. 2012

Sanchez

and

Perronnin

2011

Lin et al.

2010

Renaissance

Erreur top

-5

EfficientNet

-L2

Xie et al.

Nov. 2019

1.3

Causes de la renaissance #1

21
pré- 2006

Vanishinggradient

Crédit : L. Trottier

(sigmoïde)

Venait limiter en pratique la profondeur

Causes de la renaissance #1

ReLU: Rectifier LinearUnit

Introduite en 2010 par Nair et Hinton

Se calcule très rapidement : max(input,0)

Beaucoup moins de vanishinggradient, car

pente = 1 dans la partie active 22

Causes de la renaissance #2

Grands jeux de données www.image-net.org

14 millions images, 22 000 catégories

23
25

Juin2005110 TFlops

2,999 USD

Causes de la renaissance #3

Puissance de calcul via GPU

Décembre 2017

Continuation de la renaissance

Progrès très rapide via arXiv.org

CȱȂȱcentaine de soumission par jour

Un article est souvent périmé lorsque

présenté en conférence orales (GLO-7030) 26

Certain danger : beaucoup de

"bruit» dans les publications ca. 1990ca. 2019

Évolution des réseaux

27
tanh

Averagepooling

SGD

5couches

32 filtres

10,000

exemples 1000
couches ReLU

Drop-out

Batch norm

Xavier Initialization

Pré-

entraînement ImageNet

Squeeze-and-Excite

Data augmentation Early stopping Adam

3,000+ filtres

Max pooling

Global

average pooling

Ensemble

Multitâche

Crédit photo : wildsau.ca

Skip connections

Convolutions

à trous

geler des couches lrscheduling

Distillation

Curriculum

Pseudo-label

Pourquoi le Deep?

Fonction mathématique extrêmement

flexible et puissante (millions de paramètres)

3·¸-ȱȂ¡"-"ȱuniverselle :

avec un niveau de précision arbitraire

Réseaux peu profonds vont :

demander beaucoup de neurones (exponentiel)

28*continue sur des sous-ensembles compacts de Rn

Généralisation vs. profondeur

Street ViewHome NumbersSVHN

29
Goodfellowet al., Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks, ICLR 2014.

Meilleure généralisation

Modèles larges ou peu profonds ont

tendance à overfitter 30
Goodfellowet al., Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks, ICLR 2014. SVHN # couches 32

[PDF] [PDF] Deep Learning is alchemy

Philippe Giguère

Plan de cours

Introduction

Hiver 2020

Plan de cours

Bienvenue à bord!

3èmeédition!

Frédérik ParadisGaël Letarte

Séminaire départemental

Vendredi17 janvier2020

Heure: 13h30Local: PLT-3775

Ressources GPU

Accès à des GPU via Jupyternotebook

NVIDIA K20 ou K80

Au besoin, lisez le Wiki

Gros merci à

Florent Parent

Félix-Antoine Fortin5

En coursde mise-en-oeuvre

Manuel (obligatoire)

Bonne référence

Version html gratuite

Pré-requis

Python (laboratoire, TP)

Probabilité

Algèbre linéaire

Dérivée

Contenu du cours

70+ présentations orales

Donner un aperçu du domaine,

ȃ ȱscience is either

ȮE. Rutherford

Aperçu 1èremoitié

Connaissances de base (vertical)

Graphes de calculs, fonctions de perte, rétro-

Techniques de régularisation

Réseaux à convolution I

Réseaux à convolution II

Examen intra

Aperçu 2èmemoitié

Concepts avancés (horizontal) :

Word embeddings

Autoencodeurs

Réseaux récurrents (RNN, LSTM et GRU)

Apprentissage multitâches, pertes auxiliaires

Distillation (compression) des réseaux

Réseaux génératifs type GAN

10(majorité)Présentations orales des étudiants 2eet 3ecycle

Examen

Mi-Session(25 février 12h30 à 15h20)

35% pour GLO-4030

33%pour GLO-7030

Final (21 avril de 12h30 à 14h20)

GLO-4030 seulement

Examen de 2 heures, 20 %

Pas de documents permis

Travaux pratiques

2 travaux

Total de 20 %

En python ou PyTorch

Projets

Équipe de 1 à 2

GLO-4030 : 25 %

Pour GLO-7030 : 35 %

Trouvez un jeu de données proche de

Vous pouvez utiliser langage et libraire de

Mon projet en 180 s (GLO-7030)

Présentation chronométrée de 3 minutes

14 avril

1 seule acétate, sans animation, format pdf

Présentations orales GLO-7030

Article plus récent que 1erjuin 2018

Uniquement des conférences suivantes :

NIPS, CVPR, ICLR, RSS, ICCV, ECCV,

EMNLP, ACL, NAACL et COLING

Présentation 10 minutes, style conférence

Compte pour 12 %

Présentations orales GLO-7030

72 inscriptions (horaire chargé!)

ȃ ȱscience is either

1,000 classes Ȃ