[PDF] Arbres de décision Un arbre de décision





Previous PDF Next PDF



Arbres de décision

Un arbre de décision est représenté par une séquence de conditions. ? JouerTennis = (Ciel = ensoleillé et Humidité = normal) ou. (Ciel = couvert).



Arbres de décision

Introduction. Classification supervisée par arbre de décision. Algorithme d'apprentissage d'arbres de décision. Arbres de d´ecision. Cécile Capponi.



Tr. Cours ID3

il est toujours possible de construire un arbre de décision qui classe correctement les exemples d'apprentissage. • Il y a le plus souvent de nombreux arbres de 



Arbres de décision

Classification supervisée par arbre de décision. Algorithme d'apprentissage d'arbres de décision. Arbres de d´ecision. Cécile Capponi Rémi Eyraud



Apprentissage réseaux de neurones et modèles graphiques

http://cedric.cnam.fr/vertigo/Cours/ml2/. Département Informatique Apprentissage avec de arbres de décision : classification régression. Implémentation.



Apprentissage automatique Intérêts des arbres de décision Plan

N. Lachiche 2006. 3. Plan. lReprésentation. lID3. lEspace des hypothèses et biais inductif. lExtensions. N. Lachiche



Décision dans lincertain - Cours 11: Théorie de la Décision dans l

Cours 11: Théorie de la Décision dans l'incertain– (Stéphane Airiau) un arbre de décision est une arborescence représentant la séquence.



Module 7 Arbres de décision

3 janv. 2019 Cet attribut est alors retenu pour la branche en cours puisqu'il permet de classer plus facilement l'ensemble des données `a ce niveau de l' ...



Apprentissage Artificiel et fouille de données - Arbres de décision

2 Arbres de décision. Choix de l'attribut discriminant. Algorithme CART. Algorithme C4.5. Jamal Atif Université Paris Dauphine D'apr`es Céline Hudelot 



Arbres de Décision et Forêts Aléatoires - PSL

Principe général des arbres de décision • Décomposition du problème de classification en une suite de tests correspondant à une partition de l’espace des données en sous-régions homogènes en terme de classe Arbres de décision et Forêts aléatoires Pr Fabien Moutarde CAOR MINES ParisTech PSL Fév 2017 4



8 L'arbre de décision - les avantages et les inconvénients

Ce compromis peut se faire à l’aide d’une méthode de validation croisée testant di?érentes versions élaguées de l’arbre Un élagage judicieux correspond à une valeur du paramètre de complexitécprendantpetiteunecertaineerreurappeléeerreurdevalidationcroiséeouxerror



Module 7 Arbres de d ecision - Université TÉLUQ

7 1Structure d’un arbre de d ecision et d e nitions Un arbre de d ecision (decision tree) est une structure tr es utilis ee en apprentissage machine Son fonctionnement repose sur des heuristiques construites selon des techniques d’apprentissage supervis ees Les arbres de d ecision ont une structure hi erarchique et sont compos es de n



Arbres de Décision - Inria

La construction des arbres de décision à partir de données est une discipline déjà ancienne Les statisticiens en attribuent la paternité à Morgan et Sonquist (1963) qui les premiers ont utilisé les arbres de régression dans un processus de prédiction et d’explication (AID – Automatic Interaction Detection)



Les arbres de décision (decision trees) - Paris Descartes

LINF2275 Arbre de Décision 3 • Principes: 2 phases – Phase 1: construction: sur base d'un ensemble d'apprentissage processus récursif de division (souvent binaire) de l’espace des données en sous-régions de + en + pures en terme de classes (estimé sur base d’un critère) Dans le cas de données numériques 2 approches possibles



Searches related to cours arbre de décision PDF

http://emmanuel chazard 2013-05-30 Arbres de décision 15 Approche par l’exemple Racine (tous les séjours) : p(Y=1)=0 3 Patient transféré p(Y=1)=0 4 Patient non transféré ET mesure le dimanche p(Y=1)=1 Patient non transféré ET mesure autres jours p(Y=1)=0 16 Arbre à 3 feuilles => 3 règles de classification

Quels sont les caractéristiques d'un arbre de décision ?

Les avantages et les inconvénients. Premièrement, les arbres de décision prennent très peu de temps pour traiter les données par rapport aux autres algorithmes. Les étapes de préparation de données comme par exemple la normalisation, la transformation et la mise à l'échelle des données ne sont pas nécessaires.

Quels sont les inconvénients d'un arbre de décision ?

Parlons des inconvénient, dans les arbres de décision, de petits changements dans les données au fil du temps peuvent provoquer un grand changement dans la structure de l'arbre de décision, ce qui peut résulter en instabilité. Le temps d’apprentissage augmente considérablement, proportionnellement à la volumétrie de l'ensemble de données.

Comment créer un arbre de décision optimisé ?

Les algorithmes conçus pour créer des arbres de décision optimisés incluent notamment CART, ASSISTANT, CLS et ID3/4/5. Il est également possible de créer un arbre de décision en générant des règles d'associations, en plaçant la variable cible sur la droite.

Comment sélectionner les variables d’entrée d’un arbre ?

Une des variables d’entrée est sélectionnée à chaque nœud intérieur (ou interne, nœud qui n’est pas terminal) de l’arbre selon une méthode qui dépend de l’algorithme. L’arbre est en général construit en séparant l’ensemble des données en sous-ensembles en fonction de la valeur d’une caractéristique d’entrée. Il est construit de manière récursive.

Arbres de décision

Arbres de décision

n Exemple:

¨ Classification de la

grandeur d'une personne

¨ T= grand, t=moyen à grand,

M= moyen, m= petit à grand, S= petit

¨ But: prédire la grandeur

d'une personne à partir d'une série de questions. n CART: Classification &

Regression Trees

Arbre de décision

3 4

Exemple: Arbre de décision

Jour Ciel Température Humidité Vent Jouer J1 Soleil Chaud Élevé Faible Non J2 Soleil Chaud Élevé Fort Non J3 Couvert Chaud Élevé Faible Oui J4 Pluie Moyen Élevé Faible Oui J5 Pluie Frais Normal Faible Oui J6 Pluie Frais Normal Fort Non J7 Couvert Frais Normal Fort Oui J8 Soleil Moyen Élevé Faible Non J9 Soleil Frais Normal Faible Oui J10 Pluie Moyen Normal Faible Oui J11 Soleil Moyen Normal Fort Oui J12 Couvert Moyen Élevé Fort Oui J13 Couvert Chaud Normal Faible Oui J14 Pluie Moyen Élevé Fort Non

Instancea

ribut 5

Arbre de décision

Ciel Humidité Vent

Ensoleillé Couvert Pluie

Oui

Élevée Basse Fort Faible

Non Oui Non Oui

n Exemple : Est-ce que les conditions sont favorables pour jouer au tennis?

Classifier l'instance suivante:

6

Arbre de décision

n Un arbre de décision est représenté par une séquence de conditions. n JouerTennis =

(Ciel = ensoleillé et Humidité = normal) ou (Ciel = couvert) ou (Ciel = pluie et Vent = faible)

7

Arbre de décision: Apprentissage

n Première possibilité: produire un chemin pour chaque donnée d'entraînement

A1 A2 A3 Sortie + + + 1 + - + 0 + - - 0

A 1 A 1 A 1 A 1 001 8

Arbre de décision: Apprentissage

n Principe:

¨ Étant donné un ensemble d'instances I ¨ Trouver l'attribut qui est le meilleur discriminant sur

l'ensemble d'entraînement.

¨ Cet attribut sera utilisé comme test pour le noeud. ¨ Un noeud enfant est créé pour chacune des valeurs possibles

de l'attribut. ¨ Les exemples d'entraînement sont ensuite assignés à leurs noeuds correspondants ¨ On reprend le processus pour chacun des noeuds.

Comment choisir le meilleur discriminant?

Lequel des deux attributs devrions nous choisir?

9 Genre [39+, 31-][20+, 1--][19+, 16-]

Fumeur

[39+, 31-][39+, 0-][0+, 31-] 10

Arbre de décision: Entropie

n Quel attribut est le meilleur discriminant?

n Calcul de l'entropie: n Calcul du gain d'information n Où Valeurs(A) est l'ensemble des valeurs v possibles pour l'attribut

A et S

v = {s ∈S | A(s) = v} c i ii ppSEntropie 1 2 log)( ∑

AValeursv

v v

SEntropie

S S

SEntropieASGain

11

Algorithme d'entraînement

ID3( Exemples, AttributCible, Attributs ) Créer un nouveau noeud Si tous les exemples sont positifs, le noeud est une feuille positive Si tous les exemples sont négatifs, le noeud est une feuille négative Si attribut est vide, le noeud prend la valeur la plus commune des exemples Sinon A < l'attribut classifie le mieux l'ensemble d'entraînement

question[noeud] < A pour chaque v ∈A Ajouter une branche à noeud pour la valeur v Exemples

v = {e ∈ exemples | A[e] = v} Si Exemples v

est vide noeud devient une feuille avec la valeur la plus commune de AttributCible dans Exemples. sinon ID3(Exemples

v ,AttributCible,Attributs - {A} retourner noeud 1

Exemple: Arbre de décision

n Gain(S,Ciel) = 0.246 n Gain(S,Humidité) = 0.151 n Gain(S,Vent) = 0.048 n Gain(S,Température) = 0.029

Ciel ? ?

Ensoleillé Couvert Pluie

Oui {J1,J2, ,J14} {J1,J2,J8,J9,J11} {J3,J7,J12,J13} {J4,J5,J6,J10,J14} 13

Exemple: Arbre de décision

n Gain(S soleil ,Humidité) = 0.970 n Gain(S soleil ,Vent) = .019 n Gain(S soleil ,Température) = 0.570

Ciel Humidité ?

Ensoleillé Couvert Pluie

Oui {J1,J2, ,J14} {J1,J2,J8,J9,J11} {J3,J7,J12,J13} {J4,J5,J6,J10,J14} Élevée Basse

Non Oui

{J1,J2,J8} {J9,J11} 14

Exemple: Arbre de décision

Ciel Humidité Vent

Ensoleillé Couvert Pluie

Oui {J1,J2, ,J14} {J1,J2,J8,J9,J11} {J3,J7,J12,J13} {J4,J5,J6,J10,J14} Élevée Basse

Non Oui

{J1,J2,J8} {J9,J11} Fort Faible

Non Oui

{J6,J14} {J4,J5,J10} 15

Arbre de décision

n Un autre exemple:

Decision Tree Learning Applet

n Un exemple pratique: ¨ Reconnaissance de la parole: classification des triphones 16

Élagage

n Contrôler la complexité du nombre des branches et des feuilles pour réaliser un arbre de décision.

n Minimiser la taille de l'arbre. n Trouver le nombre optimale k 0 de noeuds. n Une méthode régularisation ou de sélection des modèles 17

Technique d'élagage

n Deux techniques d'élagage ¨ Pré-élagage. ¨ Post-élagage. 18

Pré-élagage

n Arrêter de diviser un noeud quand la pureté des points qui domine est non parfaite mais suffisante.

n Arrêter quand il y a une classe majoritaire dans le noeud. n Utiliser un seuil pour détecter une classe dominantes. n Inconvénients: ¨ Arrêter la construction de l'arbre peut donner un arbre sous optimal. 19

Post élagage

n Finir la construction de l'arbre. n Simplifier l'arbre en remontant des feuilles vers la racine pour trouver ou élaguer. n Utiliser des critères de qualité qui mesure un compromis l'erreur obtenue et la complexité de l'arbre. n Utiliser un ensemble de validation pour mesurer l'erreur à chaque neouds.quotesdbs_dbs22.pdfusesText_28
[PDF] classification par arbre de décision

[PDF] arbre de décision exemple

[PDF] arbre de décision cart

[PDF] construire un arbre de décision

[PDF] arbre de décision définition

[PDF] dénombrement cours 1ere s

[PDF] apollon et daphné résumé

[PDF] apollon et daphné leur histoire

[PDF] expression etre nature

[PDF] tp mise en évidence d'une réaction d'oxydoréduction

[PDF] apollon et daphné peinture

[PDF] apollon et daphné le bernin

[PDF] tp chimie réaction d oxydoréduction

[PDF] vertebres avec quilles

[PDF] arbre de parenté des vertébrés