[PDF] 4 Lois a priori Dans le cas d'une

View - Download 4 Lois a priori

Previous PDF

Next PDF

M1 ISDStatistique Bayésienne

Cours 3

4 Lois a priori

Le choix des lois a priori est une étape fondamentale dans l"analyse bayésienne. Ce choix

peut avoir différentes motivations. Les stratégies sont diverses. Elle peuvent se baser sur des

expériences du passé ou sur un intuition, une idée que le particien a du phénomène aléatoire

qu"il est en train de suivre. Elles peuvent être également motivées par des aspects calculabilité .

Enfin, ces stratégies peuvent également tenir compte du fait qu"on ne sait rien par le truchement

des lois non informatives.

4.1 Lois conjuguées

Une des difficultés de l"approche bayésienne est le calcul de la loi a posteriori. Ce calcul est

facilité lorsque loi a priori et loi a posteriori ont lamême forme. Dans ce cas, on parle de loi a

priori conjuguée. Définition 9- Une familleFde lois surΘest dite conjuguée si, pour toutπappartenant à cette famille, la loiπ(θ/x)appartient également à celle-ci.

Dans ce cas, le praticien induit directement la forme de son estimateur dès qu"il a choisi sa loi a

priori.

Exemples de lois conjuguées

f(x/θ)π(θ)π(θ/x)E(θ/x) N(θ,σ2)N(μ,τ2)N?x/σ2+μ/τ2,[1/σ2+ 1/τ2]-1?x/σ2+μ/τ2 P(θ)G(α,β)G(α+x,β+ 1)(α+x)/(β+ 1)

Une loi conjuguée peut être déterminée en considérant la forme de la vraisemblancef(x|θ)

et en prenant une loi a priori de la même forme que cette dernière vue comme une fonction du paramètre. Les lois a priori conjuguées obtenues par ce procédé sont ditesnaturelles.

Exemples :

11

M1 ISDStatistique Bayésienne

•Considérons une loi Pareto de paramètres(α,a). f(x|θ,a) =θaθ xθ+11[a,+∞[(x). Supposonsaconnu,f(x|θ)?θeθlog(a/x), on pourrait donc prendre une loi a priori de type gamma. •Dans le cas d"une loi binomiale négative de paramètre(n,p),

P(X=x|p) =Cxn+x-1px(1-p)n,0< p <1, x?N.

On voit clairement qu"une loi naturelle conjuguée sera une loi bêta puisque :P(X=x| p)?px(1-p)n.

Etudions maintenant en détail le cas d"une famille de lois très importante : la famille des lois

exponentielles.

4.2 Cas du modèle exponentiel

On rappelle tout d"abord la définition du modèle exponentielle.

Définition 10On appelle famille exponentielle às-paramètres, toute famille de loi de distribu-

tion{Pθ}dont la densité a la forme suivante : f(x|θ) = exp? s? i=1η i(θ)Ti(x)-B(θ)? h(x)(2) oùηi(.)etB(.)sont des fonctions du paramètreθetTi(.)sont des statistiques.

Exemples :

•Loi exponentielle : f(x|θ) =1

θe-x/θ1[0,+∞[(x)

= exp -1

θx-logθ?

1 [0,+∞[(x). Ici,svaut 1,η1(θ) = 1/θ,T1(x) =x,B(θ) = logθeth(x) =1[0,+∞[(x). •Loi binomiale :

P(X=x|θ) =Cxnθx(1-θ)n-x

=Cxnexp{xlogθ+ (n-x)log(1-θ)} =Cxnexp{xlog[θ/(1-θ)] +nlog(1-θ)} On as= 1,η1(θ) = log(θ/(1-θ)),T1(x) =x,B(θ) =nlog(1-θ)eth(x) =Cxn. 12

M1 ISDStatistique Bayésienne

•Loi Gammaf(x|α,β) = (βα/Γ(α))xα-1e-βx. En remarquant que :xα-1e-βx= exp{-βx+ (α-1)logx}ets= 2, on peut écrire :

1(α,β) =-β,η2(α,β) =α-1,T1(x) =x,T2(x) = logx,B(α,β) = log(Γ(α)/βα.

Il est classique d"écrire le modèle exponentiel sous la forme ditecanoniqueen reparamétrisant :

i(θ)≡θi. f(x|θ) = exp? s? i=1θ iTi(x)-A(θ)? h(x).

On a le résultat suivant qui donne la forme deslois naturelles conjuguéesdans le cas du modèle

exponentiel. Proposition 4- Soitf(x|θ)appartenant à une famille exponentielle. Alors une famille de loi a priori conjuguée pourf(x|θ)est donnée par : π(θ|μ,λ) =K(μ,λ)exp(θμ-λA(θ)) oùK(μ,λ)est une constante de normalisation.

Et la loi a posteriori est de la forme :

π(θ|x)?exp((μ+x)θ-(λ+ 1)A(θ)).

Exemple :Considérons le modèle :

P(X=x) =e(θ-β)x

1 +eθ-β, x? {0,1}.

Il s"agit d"une loi logistique. Elle appartient bien à la famille exponentielle.

On a :

P(X=x) = exp[(θ-β)x-log(1 +eθ-β)]

et la représentation :h(x) = 1,θ= [θ β]?,T(x) = [x-x]? etA(θ,β) = log(1 +eθ-β). En appliquant le théorème, on obtient une loi a priori de la forme : π(θ,β|μ1,μ2,λ)?exp{[θ β][μ1μ2]?-λA(θ,β)] =eμ

1θ+μ2β

(1 +eθ-β)λ. On remarquera que cette loi est impropre. La loi a posteriori aura la forme suivante :

π(θ,β|x)?e(μ

1+x)θ+(μ2+x)β

(1 +eθ-β)λ+1. 13

M1 ISDStatistique Bayésienne

Proposition 5- Soitf(x|θ)appartenant à une famille exponentielle. Siθ≂exp{θx0-

λA(θ)}, x0?X,

Alors E

π(μ(θ)) =Eπ[?A(θ)] =x0

oùμ(θ)est la moyenne def(x|θ).

Six1,x2,···,xniid de loif(x|θ),

E

π(μ(θ)|x1,···,xn) =x0+n¯x

λ+n.

La preuve de ce théorème s"appuie sur les propriétés de l"emv.

4.3 Lois impropres

La loi a priori peut être impropre i.e.?

π(θ)dθ= +∞. Ce choix de type de loi n"a donc

plus d"intérêt que calculatoire et s"interprète difficilement. Nous verrons par la suite que la

construction de lois non informative peut conduire à des lois a priori de ce type.

Exemple :Considérons la loi1R

+(x), loi uniforme surR+. Supposonsf(x|λ) =λexp{-λx}. La loi a posteriori est :π(λ|x) =λexp{-λx}/?+∞

0λe-λx.

Le dénominateur est égal àΓ(2)/x2d"oùπ(λ|x) = [x2/Γ(2)]λexp{-λx}, une loi gamma de

paramètre(2,x).

4.4 Lois non informatives

Une loi non informative est une loi qui porte une information sur le paramètre à estimer

dont le poids dans l"inférence est réduit. Certains auteurs la définissent également comme une

loi a priori qui ne contient aucune information surθou encore comme une loi qui ne donne pas davantage de poids à telle ou telle valeur du paramètre. Par exemple, supposonsΘun ensemble fini de tailleq, une loi a priori non informative pourra

être une loi de la forme :

P(θi) = 1/q.

On a équiprobabilité, les valeurs possibles deθse voit attribuer le même poids. La règle de Jeffreys- Une méthode proposée par Jeffreys (1961) permet de fabriquer des

lois a priori non informative. Cette méthode utilise l"information de Fischer :I(θ). L"argument

pourrait être le suivant.I(θ)représente une mesure de la quantité d"information surθcontenue

dans l"observation. PlusI(θ)est grande, plus l"observation apporte de l"information. Il semble alors naturel de favoriser (au sens rendre plus probable suivantπ(θ)), les valeurs deθpour

lesquelsI(θ)est grande; ce qui minimise l"influence de la loi a priori au profit de l"observation.

14

M1 ISDStatistique Bayésienne

Le choix de ce type de loi conduit ainsi souvent à des estimateurs classiques du type maximum de vraisemblance. La règle de Jeffreys consiste donc à considérer des lois a priori de la forme :

π(θ) =C?

I(θ) o`uI(θ) =E?

-∂2∂θ2logf(x|θ)? dans le cas unidimensionnel. Rappels sur l"information de Fisher -Soit unn-échantillon(X1,···,Xn)de loif(x|θ).

On a le résultat suivant. Sous certaines conditions de régularité, l"estimateur du maximum de

vraisemblance ˆθndeθest tel que, pournassez grand,⎷ n(ˆθ-θ)suit une loi normale centrée, de variance1/I(θ). Autre résultat important : l"inégalité de Cràmer-Rao.

Soittn, un estimateur deg(θ), alors :

E(tn-g(θ))2≥(g?(θ) +b?

n(θ))2 nI(θ), oùbn(θ) =E(tn)-g(θ), est le biais. Sig(θ) =θet si l"estimateur est sans biais, on a :

V ar(tn)≥1

nI(θ). Ces résultats illustrent l"idée que l"information de Fisher se compare à une variance. Exemple :Soitf(x|θ) =λexp{-λx}1[0,+∞[(x). On calcule l"information de Fischer : ∂λlogf(x|λ) =1λ-x,∂2∂λ2logf(x|λ) =-1λ2 d"oùπ(λ)?1/λ. Ce type de construction conduit très souvent à des lois impropres, des lois telles que :

π(θ)dθ= +∞.

On appelle également ces lois desquasi a priori. Remarquons que l"on peut normaliser ces lois (à condition de se donner de l"information surθ, ce qui est, dans ce cadre non informatif, certes paradoxale). 15

M1 ISDStatistique Bayésienne

Exemple (suite) :π(λ)?1/λ, si on prendλ?[a,b]; on chercheCtel que :C? b a

π(θ)dθ= 1

et b a

1/λdλ= logb-loga.

Ainsi, on pourra prendre :π(λ) = [log(b/a)]-11[a,b](λ).

Dans le cas multidimensionnel,θ= (θ1,···,θq), on peut considérer des lois de la forme :

π(θ) = [d´etI(θ)]1/2

oùI(θ)est la matrice d"information de Fischer :

I(θ)|i,j=E?

-∂2 ∂θi∂θjlogf(x|θ)? Remarquons que dans le cadre de la théorie du maximum de vraisemblance, le déterminant de cette quantité représente ce qu"on appelle la variance généralisée. Exemple :Dans le cas de la loi de Gauss de paramètres(θ,σ2), f(x|θ,σ2)?1

σexp?

-(x-θ)22σ2?

On a :

logf(x|θ,σ2)? -1

2logσ2-(x-θ)22σ2

∂θlogf(x|θ,σ2) =(x-θ)σ2 2 ∂θ2logf(x|θ,σ2) =-1σ2 2 ∂θ∂σ2logf(x|θ,σ2) =-(x-θ)2(σ2)2 ∂σ2logf(x|θ,σ2) =-12σ2+(x-θ)22(σ2)2 2 ∂(σ2)2logf(x|θ,σ2) =12(σ2)2-(x-θ)2(σ2)3

La matrice d"information de Fisher s"obtient en calculant, l"espérance mathématique des dérivées

secondes.E(x-θ) = 0etE[(x-θ)2] =σ2.

On a donc :

I(θ,σ2) =(

(1/σ20

0 1/2σ2)

Un loi informative est donc de la forme :π(θ)?1/σ2. 16quotesdbs_dbs33.pdfusesText_39

[PDF] fonction logarithme népérien terminale es

[PDF] fonction rationnelle ensemble de définition

[PDF] fonction rationnelle domaine de définition

[PDF] dérivée de ln lnx

[PDF] primitive de x

[PDF] primitive de x^2

[PDF] dérivées successives exercices corrigés

[PDF] dérivée successive

[PDF] dérivées n-ièmes usuelles

[PDF] dérivée nième de sin

[PDF] dérivée nième polynome

[PDF] dérivée n-ième d'une fonction

[PDF] dérivée nième de cos^3

[PDF] derivee nieme de cos(ax)

[PDF] dérivées partielles exercices corrigés