[PDF] Modélisation Statistique (MAP-STA1) - M1-Mathématiques

View - Download Modélisation Statistique (MAP-STA1) - M1-Mathématiques

Previous PDF

Next PDF

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeModélisation Statistique (MAP-STA1)

M1-Mathématiques Appliquées

Cours 2: Estimation par Maximum de Vraisemblance

Christine Keribin

1

Laboratoire de Mathématiques d"Orsay

Université Paris-Sud

2018-2019

1/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeDans le cours 1

I

Modèle dominé

I

Vraisemblance

I

Statistique et estimateur

I Exhaustivité : une statistique exhaustive permet de résumer l"échantillon sans perdre d"information

Dans ce cours :

I définition mathématique de l"information (de Fisher) et ses propriétés I estimateur du maximum de vraisemblance 2/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeSommaire

Information de Fisher

Estimation par Maximum de Vraisemblance

3/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeModèle régulier

Définition

Un modèle paramétrique(X,A,IPθ),θ?Θouvert deRp, et tel queIPθadmette une densité f(.;θ)par rapport à une mesure dominanteν, estrégulie rsi I Le support des lois f(.;θ)est indépendant deθ?Θ I θ?→logf(x;θ)est deux fois continûment différentiable surΘ, pour tout x? X I

Pour tout A? A, l"intégrale?

Af(x;θ)dν(x)est au

moins deux fois dérivable sous le signe d"intégration et

on peut permuter intégration et dérivationExemple: mo dèlede Bernoulli, Gaussien ;Contre-ex : U[0,θ]

4/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeVecteur du score

Soit?θ=logfθDéfinition

Dans un modèle paramétrique dominé, si pour tout x? Xla vraisemblance est différentiable, le vecteur gradient de la log-vraisemblance est le vecteur aléatoire app elé sco re (de

Fisher) et défini par

?θ(X) =(

1?θ(X)

p?θ(X)) )I le score est additif : p ourdeux va riablesaléatoires indépendantesXetYde même loi, ?θ(X,Y) =?θ(X) +?θ(Y) I Dans un modèle régulier, le score est un vecteur aléatoire centré 5/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeInformation de Fisher

Définition

Dans un modèle paramétrique régulier, on appelle

Information de Fisher

au p ointθ?Θ?Rplamatrice de variance du score I n(θ) = IEθ[?θ(X)[?θ(X)]?] =var(?θ(X))où la notation prime ?indique la transposée. C"est une matrice de taillep×p, semi-définie positive. 6/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodePropriétés dans un modèle régulier I

La matrice d"information de Fisher est

additive symétrique semi-définie p ositive e tvérifie I n(θ) = IEθ[?θ(X)[?θ(X)]?] =-IEθ[¨?θ(X)] où ¨?θ(X)est la matrice des dérivées secondes enθde la log-vraisemblance I

On rajoute souvent l"

inversibilité de l"info rmationde Fisher dans la définition d"un modèle régulier.

Exemple

: mo dèlede Bernoulli, Gaussien 7/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeInterprétation de l"information de Fisher Calibre l"information apportée par chaque observation sur l"estimation du paramètre du modèle I

SiX= (X1,...,Xn)est unn-échantillon iid

d"informationIn(θ), alors I n(θ) =nI1(θ) I

L"information de Fisher est liée à la

p récision avec laquelle le paramètre peut être estimé. I L"informationIT(θ)portée par une statistique quelconqueTest inférieure ou égale à celle apportée par l"échantillonX= (X1,...,Xn) I I On ne perd pas d"information en prenant une statistique exhaustive 8/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeBorne Fréchet-Darmois-Cramér-Rao

Théorème (FDCR)

Soit h une fonction différentiable deΘ, un ouvert deRk.

Dans un modèle est

régulier , pour tout estimateur T nde h(θ),sans biais et de ca rréintégrable et tel que h(θ) = IEθ(Tn?θ), on a

var(Tn)≥[h(θ)]?In(θ)-1h(θ)La limite inférieure de la variance des estimateurs sans biais

s"appelle b ornede Cram ér-Rao 9/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeEfficacité

Définition

Un estimateur

sans biais T nestefficace p ourh (θ)s"il atteint la borne de Cramér-Rao, ie pour toutθ?Θ, var(Tn) = [h(θ)]?In(θ)-1h(θ) et il est donc UVMB, optimal parmi les estimateurs sans biais. 10/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeEfficacité mais...

Théorème

La borne de Cramér-Rao n"est atteinte que si

(a)la loi des observations est d"une famille exponentielle : modèle dominé dont la densité de la loi mère peut s"écrire sous la forme f(x;θ) =exp? a(x)α(θ) +β(θ) +c(x)? pour tout x?R (b)et pour l"estimation d"une fonction particulière deθ définie à une transformation affine près h(θ) = IEθ(a(X)).Rem: il p eutne pas exister d"estimateurs efficaces - Il p eut y avoir des estimateurs optimaux (UVMB) non efficaces; il peut ne pas exister d"estimateurs optimaux ... 11/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeSommaire

Information de Fisher

Estimation par Maximum de Vraisemblance

12/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeMéthode du maximum de vraisemblance SoitL(θ;x)la vraisemblance d"un modèle dominé. La valeur

1deθest plus vraisemblable que la valeurθ2, si

L(θ1;x)>L(θ2;x)Définition (EMV)

On appelle

estimation du maximum de vraisemblance, une valeur ?θnmaximisant la vraisemblance

θn?argmaxθ?ΘL(θ;x).

θn=t(x1,...,xn)est une fonction des données, ce qui induit la statistique t(X1,...,Xn)que l"on note (abusivement) avec la même notation : ?θn=t(X1,...,Xn)est appeléEstimateur du Maximum de

Vraisemblance

13/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeCalcul de l"EMV

Remarque

: quand l"échantillon est i. i.d.on utilise plutôt la log-vraisemblance n(θ;x) =logL(θ;x) =n? i=1logfθ(xi) Méthode (pour une vraisemblance régulière) : I Chercher?θnannulant les équations de vraisemblance (ou équations du sco re U n(?θn) :=?n(?θn;x) =?∂∂θ k?n(?θn;x)? k=1,...,dim(θ)=0, I Vérifier que?θnest bien un maximum :Hn(θ) =¨?n(θ;x) est définie négative autour de ?θn.

Exemple

: loi gaussienne, loi de Bernoulli 14/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeEMVpitfalls

I si la vraisemblance n"est pas strictement concave pour toutθ, il peut exister des d"optima locaux I l"EMV n"est pas forcément unique I l"EMV peut ne pas exister I pb de dérivabilité, par ex :U(0,θ) I utilisation d"un schéma numérique si le calcul analytique n"est pas possible mais I SiTest une statistique exhaustive pourθ, alors l"EMV ?θest une fonction deTn I Pour n"importe quelle applicationgdeΘ, si?θest l"EMV deθ, alorsg(?θ)est l"EMV deg(θ). I de bonnes propriétés asymptotiques 15/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeConsistance l"EMV

Proposition

Dans le modèle dominé(IPθ)θ?Θ, soit?θnl"EMV obtenu à partir d"un n-échantillon i.i.d. X i≂fθ?. On suppose I

H1: le modèle estidentifiable

I H2:Θest compact et pour tout x? X,θ→fθ(x) continue I H3: soit h(x) =sups?Θ|logfs(x)|. Pour toutθ?Θ, h?L1(IPθ) alors ?θnest consistant.Rem: ?θnestasymptotiquement sans biais et p eutêtre biaisé

à distance finie

16/23

Modélisation

Statistique

(MAP-STA1)quotesdbs_dbs22.pdfusesText_28

[PDF] Exposé sur L 'IR SALARIAL - cloudfrontnet

[PDF] La fiscalité intérieure au Burkina Faso est régi par les principaux

[PDF] Télécharger en français - Direction Générale des Impôts

[PDF] le guide du retraite - crrae

[PDF] Le calcul des pluies moyennes mensuelles et annuelles sur bassin

[PDF] Pension de vieillesse au Luxembourg - CNAP

[PDF] Taxe professionnelle - Fondation Création d 'Entreprises

[PDF] Limites de fonctions 1 Théorie 2 Calculs

[PDF] Le contrôle de gestion dans la Grande Distribution - DoYouBuzz

[PDF] Exercices - Calcul d intégrales : corrigé Intégration par parties

[PDF] Seconde - Calcul de probabilités - Parfenoff

[PDF] formules de topographie2016AP

[PDF] TD d 'exercices de Géométrie dans l 'espace - Math93

[PDF] Limitation desdébitsd 'eauxpluvialesen - AgroParisTech

[PDF] referentiel indemnisation - Oniam