Introduction au Machine Learning Chloé-AgatheAzencott

Introduction `a l’optimisation 1 1 Probl´ematique 1 1 1 Cadre Un probl`eme d’optimisation consiste, ´etant donn´ee une fonctionf: S → R,`atrouver: 1) son minimum v (resp son maximum) dans S 2) un point x0 ∈ S qui r´ealise ce minimum (resp maximum) i e f(x0)=v Vocabulaire – f est la fonction objectif – v est la valeur optimale

Introduction a l’optimisation` - AESE

2 Introduction a` l’optimisation L’optimisation consiste a` trouver le maximum ou le minimum d’une fonction, c’est-a`-dire la valeur de x qui produit la plus grande (ou la plus petite) valeur de y = f(x) Ici, y = f(x) est appele´e fonction objectif Cette fonction peut eˆtre contrainte, c’est-a`-dire sujette a` une autre fonction

Cours Optimisation - Initiation à loptimisation

Cours Optimisation (S Lazaar) Introduction Exemples Rappels Algorithmes d’Optimisation sans contraintes Optimisation sous contraintes history Introduction

Introduction à loptimisation des bases de données

1 Introduction à l'optimisation du schéma interne Objectifs Assimiler la problématique de la performance en bases de données Connaître les grandes classes de solutions technologiques existantes aux problèmes de performance Connaître et savoir mobiliser les techniques de conception permettant d'optimiser les performances d'une BD 1 1

Introduction to Optimization - CERMICS

Introduction Optimality conditions Optimization problems Example: maximizing a rectangular surface Decision variables: a (height) and b (width) Objective: maximize s(a,b) = a b Constraints: positive lengths: a > 0, b > 0 length of fence (L > 0): 2(a +b) = L b = L 2 −a New objective function f(a) = a L 2

Topic 1: Introduction to Intertemporal Optimization

l T+1 0,a T+1 0,a T+1l T+1 = 0, (15) which means that either the asset holdings (a) must be exhausted on the terminal date, or the shadow price of capital (l t) must be 0 on the terminal date Since u0> 0, the marginal value of capital (l) cannot be 0 and thus the capital stock should optimally be exhausted by the terminal date T +1, i e , a T+

Techniques de lexpression écrite et orale téléchargement

Introduction à l'Optimisation Ce livre d'introduction à l'Optimisation a servi de support écrit pour de nombreux enseignements à Mines ParisTech, à l'université Paris Dauphine, à l'École Centrale Paris et d'autres cours spécialisés Il est couramment utilisé dans des masters uni L'arthrose et sa solution

Introduction au Machine Learning Chloé-AgatheAzencott

Introduction au Machine Learning et enﬁn à ceux auxquels je l’ai enseigné, en particulier les étudiants du cours Data Mining l’optimisation,l

[PDF] optimisation numérique aspects théoriques et pratiques

[PDF] fonction coercive

[PDF] les causes de l'avortement

[PDF] livre d optimisation pdf

[PDF] pdf avortement spontané

[PDF] cours et exercices corrigés d'optimisation pdf

[PDF] ivg médicamenteuse

[PDF] optimisation sous contrainte exercice corrigé

[PDF] role infirmier ivg

[PDF] bible quiz pdf

[PDF] la datation au carbone 14

[PDF] comment mettre en place une gestion des carrières

[PDF] gestion de carrière ppt

[PDF] gestion de carrière en entreprise

[PDF] prévision des ventes théorie et pratique pdf

1

Introduction au Machine Learning

Chloé-Agathe Azencott

Cet ouvrage s"adresse aux étudiantes et étudiants en fin de licence et en master d"informatique ou de

maths appliquées, ainsi qu"aux élèves d"école d"ingénieurs.

aujourd"hui à de nombreux secteurs d"activité de réaliser des progrès spectaculaires grâce à l"exploitation

de grands volumes de données. Le but de cet ouvrage est de vous fournir des bases solides sur lesconcepts et les algorithmesde ce

domaine en plein essor. Il vous aidera à identifier les problèmes qui peuvent être résolus par une approche

machine learning, à les formaliser, à identifier les algorithmes les mieux adaptés à chaque cas, à les mettre

en oeuvre, et enfin à savoir évaluer les résultats obtenus.

Ce document est la version électronique d"un ouvrage publié aux éditions Dunod dans la collection

InfoSup

1, qui contient aussi 86 exercices corrigés.1.https://www .dunod.com/sciences-techniques/introduction-au-machine-learning-0

Préambule

Lemachine learning(apprentissage automatique) est au coeur de la science des données et de l"intelli-

gence artificielle. Que l"on parle de transformation numérique des entreprises, de Big Data ou de straté-

gie nationale ou européenne, le machine learning est devenu incontournable. Ses applications sont nom-

breuses et variées, allant des moteurs de recherche et de la reconnaissance de caractères à la recherche en

génomique, l"analyse des réseaux sociaux, la publicité ciblée, la vision par ordinateur, la traduction auto-

matique ou encore le trading algorithmique.

À l"intersection des statistiques et de l"informatique, le machine learning se préoccupe de la modélisa-

tion des données. Les grands principes de ce domaine ont émergé des statistiques fréquentistes ou bayé-

le machine learning est la science de l"apprentissage automatique d"une fonction prédictive à partir d"un

jeu d"observations de données étiquetées ou non. Ce livre se veut une introduction aux concepts et algorithmes qui fondent le machine learning, et en

propose une vision centrée sur la minimisation d"un risque empirique par rapport à une classe donnée de

fonctions de prédictions. learning et de vous fournir les outils nécessaires à 1. identifier les pr oblèmesqui peuv entêtr er ésoluspar des appr ochesde mac hinelearning ; 2. formaliser ces pr oblèmesen termes de mac hinelearning ; 3. identifier lesalgorithmesclassiqueslesplusappropriéspourcesproblèmesetlesmettreenoeuvre; 4. implémenter ces algorithmes par v ous-mêmeafin d"en compr endreles tenants et aboutissants ; 5.

év alueret compar erde la manièr ela plus objectiv epossible les performances de plusieurs algo-

rithmes de machine learning pour une application particulière.

Public visé :Ce livre s"adresse à des étudiants en informatique ou maths appliquées, niveau L3 ou M1

rithmes utilisés en machine learning. Il se base sur mes cours à CentraleSupélec

2et sur OpenClassrooms3

et suppose les prérequis suivants :

algèbr elinéaire(inversiondematrice,théorèmespectral,décompositionenvaleurspropresetvec-

teurs propres).

notions de pr obabilités(v ariablealéatoir e,distributions, théor èmede Bay es).2.http://tinyurl.com/ma2823-2017

3. https://openc lassrooms.com/paths/data-scientist 2 3 Plan du livre :Celivrecommenceparunevued"ensembledumachinelearningetdesdifférentstypes

de problèmes qu"il permet de résoudre. Il présente comment ces problèmes peuvent être formulés mathé-

matiquement comme des problèmes d"optimisation (chapitre 1 ) et pose en appendice les bases d"optimi-

sation convexe nécessaires à la compréhension des algorithmes présentés par la suite. La majeure partie

de ce livre concerne les problèmes d"apprentissage supervisé; le chapitre 2 détaille plus particulièr ement

leur formulation et introduit les notions d"espace des hypothèses, de risque et perte, et de généralisation.

essentiel de comprendre comment évaluer un modèle sur un jeu de données, et de savoir sélectionner le

meilleur modèle parmi plusieurs possibilités, ce qui est le sujet du chapitre 3

Il est enfin pertinent à ce stade d"aborder l"entraînement de modèles prédictifs supervisés. Le livre

aborde tout d"abord les modèles paramétriques, dans lesquels la fonction modélisant la distribution des

données ou permettant de faire des prédictions a une forme analytique explicite. Les bases sont posées

avec des éléments d"inférence bayésienne (chapitre 4 ), qui seront ensuite appliqués à des modèles d"ap- prentissage supervisé paramétriques (chapitre 5 ). Le chapitre 6 pr ésenteles v ariantesr égulariséesde ces algorithmes. Enfin, le chapitre 7 sur les r éseauxde neur onespr oposede construir edes modèles par amé- triques beaucoup plus complexes et d"aborder les bases du deep learning. 8

de décision, puis les méthodes à ensemble qui permettront d"introduire deux des algorithmes de machine

pitre 9 ). Le chapitre 10 sur les méthodes à noy aux,intr oduitesgr âceaux mac hinesà v ecteursde support,

permettra de voir comment construire des modèles non linéaires via des modèles linéaires dans un espace

de redescription des données.

Enfin, le chapitre

11 pr ésenterala r éductionde dimension, supervisée ou non supervisée, et le c ha- pitre 12

tr aiterad"un des pr oblèmesles plus importants en appr entissagenon supervisé : le c lustering.

Chaque chapitre sera conclu par quelques exercices.

Comment lire ce livre :Ce livre a été conçu pour être lu linéairement. Cependant, après les trois pre-

miers chapitres, il vous sera possible de lire les suivants dans l"ordre qui vous conviendra, à l"exception du

chapitre 6 , qui a été écrit dans la continuité du chapitre 5 . De manière générale, des références vers les sections d"autres chapitres apparaîtront si nécessaire.

Remerciements :Cet ouvrage n"aurait pas vu le jour sans Jean-Philippe Vert, qui m"a fait découvrir le

machine learning, avec qui j"ai enseigné et pratiqué cette discipline pendant plusieurs années, et qui m"a

fait, enfin, l"honneur d"une relecture attentive.

Ce livre doit beaucoup à ceux qui m"ont enseigné le machine learning, et plus particulièrement Pierre

Baldi, Padhraic Smyth, et Max Welling; à ceux avec qui je l"ai pratiqué, notamment les membres du Baldi

Lab à UC Irvine, du MLCB et du département d"inférence empirique de l"Institut Max Planck à Tübingen, et

du CBIO à Mines ParisTech, et bien d"autres encore qu"il serait difficile de tous nommer ici; à ceux avec qui

je l"ai enseigné, Karsten Borgwardt, Yannis Chaouche, Frédéric Guyon, Fabien Moutarde, mais aussi Judith

Abecassis, Eugene Belilovsky, Joseph Boyd, Peter Naylor, Benoît Playe, Mihir Sahasrabudhe, Jiaqian Yu, et

Luc Bertrand; et enfin à ceux auxquels je l"ai enseigné, en particulier les étudiants du cours Data Mining

4 de ce cours à l"automne 2015.

Mes cours sont le résultat de nombreuses sources d"inspirations accumulées au cours des années. Je

remercie tout particulièrement Ethem Alpaydin, David Barber, Christopher M. Bishop, Stephen Boyd, Hal

rani, Lieven Vandenberghe, et Alice Zhang pour leurs ouvrages.

Parce que tout serait différent sans scikit-learn, je remercie chaleureusement tous ses core-devs, et en

particulier Alexandre Gramfort, Olivier Grisel, Gaël Varoquaux et Nelle Varoquaux.

Je remercie aussi Matthew Blaschko, qui m"a poussée à l"eau, et Nikos Paragios, qui l"y a encouragé.

Parce que je n"aurais pas pu écrire ce livre seule, merci à Jean-Luc Blanc des Éditions Dunod, et à tous

ceux qui ont relu tout ou partie de cet ouvrage, en particulier Judith Abecassis, Luc Bertrand, Caroline

Petitjean, Denis Rousselle, Erwan Scornet.

La relecture attentive de Jean-Marie Monier, ainsi que les commentaires d"Antoine Brault, ont permis d"éliminer de nombreuses coquilles et approximations de la deuxième version de ce texte. Merci à Alix Deleporte, enfin, pour ses relectures et son soutien.

Table des matières

1 Présentation du machine learning

1.1 Qu"est-ce que le machine learning?

1.1.1 Pourquoi utiliser le machine learning?

1.2 Types de problèmes de machine learning

1.2.1 Apprentissage supervisé

1.2.2 Apprentissage non supervisé

1.2.3 Apprentissage semi-supervisé

1.2.4 Apprentissage par renforcement

1.3 Ressources pratiques

1.3.1 Implémentations logicielles

1.3.2 Jeux de données

1.4 Notations

2 Apprentissage supervisé

2.1 Formalisation d"un problème d"apprentissage supervisé

2.1.1 Décision

2.1.2 Classification multi-classe

2.2 Espace des hypothèses

2.3 Minimisation du risque empirique

2.4 Fonctions de coût

2.4.1 Fonctions de coût pour la classification binaire

2.4.2 Coûts pour la classification multi-classe

2.4.3 Coûts pour la régression

2.5 Généralisation et sur-apprentissage

2.5.1 Généralisation

2.5.2 Sur-apprentissage

2.5.3 Compromis biais-variance

2.5.4 Régularisation

3 Sélection de modèle et évaluation

3.1 Estimation empirique de l"erreur de généralisation

3.1.1 Jeu de test

3.1.2 Jeu de validation

3.1.3 Validation croisée

3.1.4 Bootstrap

3.2 Critères de performance

3.2.1 Matrice de confusion et critères dérivés

3.2.2 Évaluation de méthodes de classification binaire retournant un score

42
5

6TABLEDESMATIÈRES

3.2.3 Erreurs de régression

3.2.4 Comparaison à des algorithmes naïfs

4 Inférence bayésienne

4.1 Modèles génératifs pour la classification binaire

4.1.1 Inférence et prédiction

4.1.2 Loi de Bayes

4.1.3 Modélisation paramétrique

4.2 Règles de décision

4.2.1 Tests du rapport de vraisemblance

4.2.2 Théorie de la décision bayésienne

4.3 Estimation de densité

4.3.1 Estimation par maximum de vraisemblance

4.3.2 Estimateur de Bayes

4.3.3 Décomposition biais-variance

4.4 Classification naïve bayésienne

4.4.1 Principes

4.4.2 Filtrage bayésien du spam

4.5 Sélection de modèle bayésienne

5 Régressions paramétriques

5.1 Apprentissage supervisé d"un modèle paramétrique

5.1.1 Modèles paramétriques

5.1.2 Estimation par maximum de vraisemblance et méthode des moindres carrés

5.2 Régression linéaire

5.2.1 Formulation

5.2.2 Solution

5.2.3 Théorème de Gauss-Markov

5.3 Régression logistique

5.3.1 Formulation

5.3.2 Solution

5.4 Régression polynomiale

6 Régularisation72

6.1 Qu"est-ce que la régularisation?

6.2 La régression ridge

6.2.1 Formulation de la régression ridge

6.2.2 Solution

6.2.3 Chemin de régularisation

74
quotesdbs_dbs4.pdfusesText_8

[PDF] Introduction au Machine Learning Chloé-AgatheAzencott