[PDF] Modélisation Statistique (MAP-STA1) - M1-Mathématiques

View - Download Modélisation Statistique (MAP-STA1) - M1-Mathématiques

Previous PDF

Next PDF

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeModélisation Statistique (MAP-STA1)

M1-Mathématiques Appliquées

Cours 2: Estimation par Maximum de Vraisemblance

Christine Keribin

1

Laboratoire de Mathématiques d"Orsay

Université Paris-Sud

2018-2019

1/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeDans le cours 1

I

Modèle dominé

I

Vraisemblance

I

Statistique et estimateur

I Exhaustivité : une statistique exhaustive permet de résumer l"échantillon sans perdre d"information

Dans ce cours :

I définition mathématique de l"information (de Fisher) et ses propriétés I estimateur du maximum de vraisemblance 2/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeSommaire

Information de Fisher

Estimation par Maximum de Vraisemblance

3/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeModèle régulier

Définition

Un modèle paramétrique(X,A,IPθ),θ?Θouvert deRp, et tel queIPθadmette une densité f(.;θ)par rapport à une mesure dominanteν, estrégulie rsi I Le support des lois f(.;θ)est indépendant deθ?Θ I θ?→logf(x;θ)est deux fois continûment différentiable surΘ, pour tout x? X I

Pour tout A? A, l"intégrale?

Af(x;θ)dν(x)est au

moins deux fois dérivable sous le signe d"intégration et

on peut permuter intégration et dérivationExemple: mo dèlede Bernoulli, Gaussien ;Contre-ex : U[0,θ]

4/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeVecteur du score

Soit?θ=logfθDéfinition

Dans un modèle paramétrique dominé, si pour tout x? Xla vraisemblance est différentiable, le vecteur gradient de la log-vraisemblance est le vecteur aléatoire app elé sco re (de

Fisher) et défini par

?θ(X) =(

1?θ(X)

p?θ(X)) )I le score est additif : p ourdeux va riablesaléatoires indépendantesXetYde même loi, ?θ(X,Y) =?θ(X) +?θ(Y) I Dans un modèle régulier, le score est un vecteur aléatoire centré 5/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeInformation de Fisher

Définition

Dans un modèle paramétrique régulier, on appelle

Information de Fisher

au p ointθ?Θ?Rplamatrice de variance du score I n(θ) = IEθ[?θ(X)[?θ(X)]?] =var(?θ(X))où la notation prime ?indique la transposée. C"est une matrice de taillep×p, semi-définie positive. 6/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodePropriétés dans un modèle régulier I

La matrice d"information de Fisher est

additive symétrique semi-définie p ositive e tvérifie I n(θ) = IEθ[?θ(X)[?θ(X)]?] =-IEθ[¨?θ(X)] où ¨?θ(X)est la matrice des dérivées secondes enθde la log-vraisemblance I

On rajoute souvent l"

inversibilité de l"info rmationde Fisher dans la définition d"un modèle régulier.

Exemple

: mo dèlede Bernoulli, Gaussien 7/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeInterprétation de l"information de Fisher Calibre l"information apportée par chaque observation sur l"estimation du paramètre du modèle I

SiX= (X1,...,Xn)est unn-échantillon iid

d"informationIn(θ), alors I n(θ) =nI1(θ) I

L"information de Fisher est liée à la

p récision avec laquelle le paramètre peut être estimé. I L"informationIT(θ)portée par une statistique quelconqueTest inférieure ou égale à celle apportée par l"échantillonX= (X1,...,Xn) I I On ne perd pas d"information en prenant une statistique exhaustive 8/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeBorne Fréchet-Darmois-Cramér-Rao

Théorème (FDCR)

Soit h une fonction différentiable deΘ, un ouvert deRk.

Dans un modèle est

régulier , pour tout estimateur T nde h(θ),sans biais et de ca rréintégrable et tel que h(θ) = IEθ(Tn?θ), on a

var(Tn)≥[h(θ)]?In(θ)-1h(θ)La limite inférieure de la variance des estimateurs sans biais

s"appelle b ornede Cram ér-Rao 9/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeEfficacité

Définition

Un estimateur

sans biais T nestefficace p ourh (θ)s"il atteint la borne de Cramér-Rao, ie pour toutθ?Θ, var(Tn) = [h(θ)]?In(θ)-1h(θ) et il est donc UVMB, optimal parmi les estimateurs sans biais. 10/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeEfficacité mais...

Théorème

La borne de Cramér-Rao n"est atteinte que si

(a)la loi des observations est d"une famille exponentielle : modèle dominé dont la densité de la loi mère peut s"écrire sous la forme f(x;θ) =exp? a(x)α(θ) +β(θ) +c(x)? pour tout x?R (b)et pour l"estimation d"une fonction particulière deθ définie à une transformation affine près h(θ) = IEθ(a(X)).Rem: il p eutne pas exister d"estimateurs efficaces - Il p eut y avoir des estimateurs optimaux (UVMB) non efficaces; il peut ne pas exister d"estimateurs optimaux ... 11/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeSommaire

Information de Fisher

Estimation par Maximum de Vraisemblance

12/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

Vraisemblance

Définition

Propriétés

Wald et Delta-méthodeMéthode du maximum de vraisemblance SoitL(θ;x)la vraisemblance d"un modèle dominé. La valeur

1deθest plus vraisemblable que la valeurθ2, si

L(θ1;x)>L(θ2;x)Définition (EMV)

On appelle

estimation du maximum de vraisemblance, une valeur ?θnmaximisant la vraisemblance

θn?argmaxθ?ΘL(θ;x).

θn=t(x1,...,xn)est une fonction des données, ce qui induit la statistique t(X1,...,Xn)que l"on note (abusivement) avec la même notation : ?θn=t(X1,...,Xn)est appeléEstimateur du Maximum de

Vraisemblance

13/23

Modélisation

Statistique

(MAP-STA1)

Christine Keribin

Information de

Fisher

Information de Fisher

Efficacité

Estimation par

Maximum de

quotesdbs_dbs13.pdfusesText_19

[PDF] information et création numérique

[PDF] information génétique cours

[PDF] information génétique définition

[PDF] information genetique et division cellulaire

[PDF] information génétique wikipedia

[PDF] informatique 2eme année college

[PDF] informatique 3eme college

[PDF] informatique appliquée cours

[PDF] informatique de gestion pdf s4

[PDF] informatique fondamentale pdf

[PDF] informatique generale et internet

[PDF] informatique s1 smia pdf

[PDF] informe de auditoria de gestion ejemplo

[PDF] informe de auditoria de gestion ejemplos

[PDF] informe de investigacion ejemplo pdf