[PDF] 8. La Vraisemblance que nous allons considérer

View - Download 8. La Vraisemblance

Previous PDF

Next PDF

http://statwww.epfl.ch

8. La Vraisemblance

8.1:

Motivation

8.2:La vraisemblance

8.3:

Vecteur param`etreθ

8.4:

Recette pour inf´erence statistique8.5:

Inf´erence bayesienne

References:

Davison (2003,§§4.1-4.5,

§11.1.1)Exercices:

123, 124, (125, 126), 127, 128, duRecueil d"exercices;

(34, 35), 36-38 duCompl´ements d"exercices.Id´ees principales :

Vraisemblance; estimation de maximum de

vraisemblance; information observ´ee; statistique du rapport de

vraisemblance; th´eor`eme de Bayes; applications.Probabilit´e et Statistique I/II - Chapˆıtre 81

http://statwww.epfl.ch

Petit Vocabulaire Statistique

Mathematics EnglishFran¸caisy= (y1, . . . , yn) (observed) data, sample donn´ees (observ´ees), ´echantillon observ´e

datasetun jeu de donn´ees Y= (Y1, . . . , Yn) random sample ´echantillon al´eatoire F, fprobability model, statistical model loi de probabilit´e,mod`ele statistique L(θ) Likelihood fonction la fonction de vraisemblance ?(θ) Log likelihood fonction log vraisemblance?θmaximum likelihood estimation du maximum estimate/estimator (MLE) de vraisemblance (EMV) J(θ) observed information information observ´ee I(θ) expected (Fisher) information information esp´er´ee W(θ) likelihood ratio statistic statistique du rapport de vraisemblance Probabilit´e et Statistique I/II - Chapˆıtre 82 http://statwww.epfl.ch

8.1 Motivation

La vraisemblance est une des id´ees de base de la statistique. Elle donne un cadre g´en´eral et tr`es puissant pour traiter toutes sortes d"applications, en particulier pour •trouver les estimateurs dont la variance est la plus petite possible dans les grands ´echantillons; et •construire des tests puissants.Probabilit´e et Statistique I/II - Chapˆıtre 83 http://statwww.epfl.ch

Illustration

Quand on lance une pi`ece, des petites asym´etries influencent la probabilit´e d"obtenir une , qui n"est pas forcement 1/2. Soient Y

1,...,Ynles resultats d" essais ind´ependants, alors

Ci-dessous une telle suite pour une pi`ece de 5Fr, de 1996, avecn= 10:

1 1 1 1 1 0 1 1 1 1

Quelles valeurs deθvous semblent les plus et les moins cr´edibles : θ= 0, θ= 0.3, θ= 0.5, θ= 0.7, θ= 0.9, θ= 0.99, θ= 1?

Comment les comparer? Comment trouver lesθs les plus plausibles?Probabilit´e et Statistique I/II - Chapˆıtre 84

http://statwww.epfl.ch

Id´ee de base

Pour une valeur deθpeu cr´edible, la densit´e des donn´ees sera petite : plus cette densit´e est grande, plus cr´edible est leθcorrespondant. Puisque lesy1,...,y10r´esultent d"essais ind´ependants, on a f(y1,...,y10;θ) =10? j=1f(yj;θ) =f(y1;θ)× ··· ×f(y10;θ) =θ5×(1-θ)×θ4 =θ9(1-θ), que nous appelons la vraisemblance

L(θ) (anglais '

likelihood

Voir graphique suivant.

Probabilit´e et Statistique I/II - Chapˆıtre 85 http://statwww.epfl.ch

0.0 0.2 0.4 0.6 0.8 1.0

0.00 0.01 0.02 0.03 0.04

n=10 theta

Likelihood

Probabilit´e et Statistique I/II - Chapˆıtre 86 http://statwww.epfl.ch

Vraisemblance relative

Pour comparer les valeurs deθ, il nous suffit de consid´erer le rapport des valeurs deL(θ) correspondantes:

L(θ1)

L(θ2)=f(y1,...,y10;θ1)

f(y1,...,y10;θ2)=θ91(1-θ1)

θ92(1-θ2)=c

implique queθ1estcfois plus plausible queθ2.

La valeur la plus plausible est

?θ, qui satisfait

θs"appelle

l"estimation du maximum de vraisemblance (anglais maximum likelihood estimate

Alors la

vraisemblance relative

RL(θ) =L(θ)/L(?θ) donne la

plausibilit´e deθpar rapport `a?θ. Probabilit´e et Statistique I/II - Chapˆıtre 87 http://statwww.epfl.ch

Exemple 8.1 (Essais de Bernoulli):

Trouver?θetRL(θ) pour

une suite d"essais de Bernoulli ind´ependants. Le graphique suivant repr´esenteRL(θ), pourn= 10,20,100 et la suite

1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 1 0 1 1

1 1 1 1 1 1 0 1 0 1 0 0 1 1 0 1 1 1 0 1

1 1 1 0 0 1 0 1 1 1 1 1 0 0 1 1 1 1 1 1

1 0 1 0 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 1

1 0 0 0 0 1 0 1 0 0 1 0 0 1 1 1 1 1 1 0Note :

Plusnaugmente, plusRL(θ) se concentre autour de?θ: des valeurs deθ´eloign´ees de?θdeviennent moins cr´edibles par rapport `a Ceci sugg`ere que l"on pourrait construire un IC en prenant lesθtel queRL(θ)≥c. On verra plus tard comment choisirc. Probabilit´e et Statistique I/II - Chapˆıtre 88 http://statwww.epfl.ch

0.0 0.2 0.4 0.6 0.8 1.0

0.0 0.2 0.4 0.6 0.8 1.0

n=10 (black), n=20 (blue), n=100 (red) theta

Relative likelihood

Probabilit´e et Statistique I/II - Chapˆıtre 89 http://statwww.epfl.ch

0.0 0.2 0.4 0.6 0.8 1.0

0.0 0.2 0.4 0.6 0.8 1.0

n=10 (black), n=20 (blue), n=100 (red) theta

Relative likelihood

c=0.1c=0.3 Probabilit´e et Statistique I/II - Chapˆıtre 810 http://statwww.epfl.ch

8.2 La vraisemblance

D´efinition :

Soityun jeu de donn´ees, dont la densit´e de probabilit´e conjointef(y;θ) d´epend d"un param`etreθ, alors la vraisemblance et la log vraisemblance sont

L(θ) =f(y;θ), ?(θ) = logL(θ),

consid´er´ees comme fonction deθ. Siy= (y1,...,yn) est une r´ealisation des variables al´eatoires ind´ependantes deY1,...,Yn, alors

L(θ) =f(y;θ) =n?

j=1f(yj;θ), ?(θ) =n? j=1logf(yj;θ), o`uf(yj;θ) repr´esente la densit´e d"une desyj. Probabilit´e et Statistique I/II - Chapˆıtre 811 http://statwww.epfl.ch

D´efinition :

L"estimation du maximum de vraisemblance

satisfait

L(?θ)≥L(θ) pour toutθ,

ce qui est ´equivalent `a?(?θ)≥?(θ), carL(θ) et?(θ) ont les mˆeme maximums. . La variable al´eatoire correspondante s"appelle l"estimateur du maximum de vraisemblance (EMV) anglais ' maximum likelihood estimator (MLE)

Dans la plupart des cas

?θsatisfait d?(?θ) dθ= 0,d2?(?θ) dθ2<0. Pour ce cours on supposera que la premi`ere de ces ´equationsn"a qu"une solution (pas toujours vrai en r´ealit´e). Dans des cas r´ealistes on utilise des algorithmes num´eriques pour obtenir ?θetd2?(?θ)/dθ2. Probabilit´e et Statistique I/II - Chapˆıtre 812 http://statwww.epfl.ch

D´efinition :

L"information observ´ee

J(θ) et l"

information esp´er´ee (parfois aussi information de Fisher )I(θ) sont

J(θ) =-d2?(θ)

dθ2, I(θ) = E{J(θ)}= E?-d2?(θ) dθ2? Elles mesurent la courbure de-?(θ) : plusJ(θ) etI(θ) sont grandes, plus?(θ) etL(θ) sont concentr´ees.

Exemple 8.2 (Poisson):

Soienty1,...,yniid≂Poiss(θ), calculer

L(θ),?(θ),?θ, var(?θ),J(θ), etI(θ).

Exemple 8.3 (Exponentielle):

Soienty1,...,yniid≂exp(λ),

calculerL(θ),?(θ),?λ, var(?λ),J(λ), etI(λ).

Exemple 8.4 (Poisson regression):

Soientx1,...,xndes

constantes dans (0,xmax), etYj≂Poiss(βxj) des variables ind´ependantes. Comment choisir lesxjpour maximiserI(β)? Probabilit´e et Statistique I/II - Chapˆıtre 813 http://statwww.epfl.ch

Loi limite de l"EMV

Th´eor`eme :

SoientY1,...,Ynun ´echantillon al´eatoire issu d"une densit´e param´etriquef(y;θ), et soit?θl"EMV deθ. Sifsatisfait des 'conditions de r´egularit´e" (voir ci-apr`es), alors J(?θ)1/2(?θ-θ)D-→N(0,1) quandn→ ∞.

Donc pourngrand,

θ.≂N(θ,J(?θ)-1).

Ainsi un IC pourθde niveau (`a peu pr`es) (1-α) est En fait, pourngrand aucun estimateur peut avoir une variance plus petite que celle de l"EMV. L"EMV est alors optimal dans ce sens. Probabilit´e et Statistique I/II - Chapˆıtre 814 http://statwww.epfl.ch

Exemple 8.5 (Essais de Bernoulli):

Trouver ces ICs `a 95% pour

les donn´ees avecn= 10,20,100 (nombre de piles 9, 16, 69).

Exemple 8.6 (Exponentielle):

Calculer un IC `a (1-α) dans

l"Exemple 8.3.

Exercice :

Calculer un IC `a (1-α) dans l"Exemple 8.2.

Exercice :

CalculerL(θ),?(θ),?θ, var(?θ),J(θ), etI(θ) pour un ´echantillon al´eatoirey1,...,ynissu de la densit´e f(y;θ) =θ(1-θ)y-1, y= 1,2,...,0< θ <1.

Calculer un IC pourθ`a (1-α).

Probabilit´e et Statistique I/II - Chapˆıtre 815 http://statwww.epfl.ch

Statistique du Rapport de Vraisemblance

Parfois un IC bas´e sur la loi limite normale de?θn"est pas bon (voir Ex 5.4). Il vaut alors mieux utiliser?(θ) elle-mˆeme.D´efinition : Soit?(θ) la log vraisemblance pour un param`etreθde dimensionp, dont l"EMV est?θ. Alors la statistique de rapport de vraisemblance est

W(θ) = 2?

?(?θ)-log(θ)?

Th´eor`eme :

Soitθ0la valeur deθqui a g´en´er´e les donn´ees, alors sous les conditions de regularit´e donnant `a ?θune loi limite normale,

W(θ0)D-→χ2pquandn→ ∞;

ainsiW(θ0).≂χ2ppourngrand. Probabilit´e et Statistique I/II - Chapˆıtre 816 http://statwww.epfl.ch

Implications du th´eor`eme I

Soitθ0une valeur fix´ee deθ, et supposons que l"on veuille tester l"hypoth`eseθ=θ0. Si l"hypoth`ese est vraie, le th´eor`eme implique que W(θ0).≂χ2p. PlusW(θ0) est grand, plus on doute de l"hypoth`ese. Alors on peut prendreW(θ0) comme statistique de test, dont la valeur estwobs, et P ?W(θ0)≥wobs?.= P?χ2p≥wobs? comme niveau de signification.Exemple 8.7 (Top quark):

On suppose queX≂Poiss(θ), et sous

l"hypoth`ese que le TQ n"existe pas, on aθ= 6.7. On a observ´e x= 17. Est-ce que le TQ existe? Probabilit´e et Statistique I/II - Chapˆıtre 817 http://statwww.epfl.ch

Vraisemblance pour TQ

5 10 15 20 25

-8 -6 -4 -2 0 theta

Log likelihood

Probabilit´e et Statistique I/II - Chapˆıtre 818 http://statwww.epfl.ch

Implications du th´eor`eme II

Soitcp(1-α) le (1-α)-quantile de la loiχ2p. Alors ce th´eor`eme implique qu"un IC pourθ0de niveau (1-α) est l"ensemble

θ: 2?

θ:?(θ)≥?(?θ)-1

2cp(1-α)?

Donc on dessine?(θ) comme fonction deθ, et on prend comme valeur cr´edible `a niveau (1-α) toutθtel que?(θ)≥?(?θ)-1

2cp(1-α).

Souvent on ap= 1, 1-α= 0.95, et doncc1(0.95) = 3.84. Donc l"IC `a 95% est form´e de toutθtel que?(θ)≥?(?θ)-1.92.

Voir le graphique suivant.

Probabilit´e et Statistique I/II - Chapˆıtre 819 http://statwww.epfl.ch

0.0 0.2 0.4 0.6 0.8 1.0

-6 -5 -4 -3 -2 -1 0 n=10 (black), n=20 (blue), n=100 (red) theta

Log likelihood

Level 0.9

Level 0.95

Level 0.99

Probabilit´e et Statistique I/II - Chapˆıtre 820 http://statwww.epfl.ch

Notons

I ?θ1-α=? I

W1-α=?

θ:?(θ)≥?(?θ)-1

2c1(1-α)?

quotesdbs_dbs23.pdfusesText_29

[PDF] Exposé sur L 'IR SALARIAL - cloudfrontnet

[PDF] La fiscalité intérieure au Burkina Faso est régi par les principaux

[PDF] Télécharger en français - Direction Générale des Impôts

[PDF] le guide du retraite - crrae

[PDF] Le calcul des pluies moyennes mensuelles et annuelles sur bassin

[PDF] Pension de vieillesse au Luxembourg - CNAP

[PDF] Taxe professionnelle - Fondation Création d 'Entreprises

[PDF] Limites de fonctions 1 Théorie 2 Calculs

[PDF] Le contrôle de gestion dans la Grande Distribution - DoYouBuzz

[PDF] Exercices - Calcul d intégrales : corrigé Intégration par parties

[PDF] Seconde - Calcul de probabilités - Parfenoff

[PDF] formules de topographie2016AP

[PDF] TD d 'exercices de Géométrie dans l 'espace - Math93

[PDF] Limitation desdébitsd 'eauxpluvialesen - AgroParisTech

[PDF] referentiel indemnisation - Oniam