[PDF] Estimation de la fonction de repartition: revue bibliographique

View - Download Estimation de la fonction de repartition: revue bibliographique

Previous PDF

Next PDF

Journal de la Soci´et´e Franc¸aise de Statistique

Volume 150, num

´ero 2, 2009

Estimation de la fonction de r´epartition : revue bibliographique R

´emi Servien1

Title

Distribution function estimation : a review

R

´esum´e

L"estimation de la fonction de r

´epartition d"une variable al´eatoire est un volet important de l"esti- mation non param

´etrique. De nombreuses m´ethodes ont´et´e propos´ees et´etudi´ees afin de modifier

efficacement l"outil brut qu"est la fonction de r ´epartition empirique. Dans cet article, nous effectuons un point bibliographique sur les diff ´erentes m´ethodes envisag´ees dans le cas de variables al´eatoires r

´eelles.

Mots-cl

´es :Fonction de r´epartition, Estimation non param´etrique, Efficacit´e des estimateurs.

Abstract

The estimation of the distribution function of a real random variable is an important topic in non pa-

rametric estimation. A number of methods have been proposed and studied to improve the efficiency of the raw empirical distribution function in a broad variety of context. The present paper aims at giving an overview of these methods. Keywords :Distribution function, Non parametric estimation, Efficiency of estimators

Mathematics Subject Classification:(62G05)

1Institut de Math´ematiques et de Mod´elisation de Montpellier, UMR CNRS 5149, Equipe de Probabilit´es et

Statistique, Universit

´e Montpellier II, Cc 051 - Place Eug`ene Bataillon, 34095 Montpellier Cedex 5 France rservien@math.univ-montp2.fr Journal de la Soci´et´e Franc¸aise de Statistique,150(2), 84-104, http://smf.emath.fr/Publications/JSFdS/ c

?Soci´et´e Franc¸aise de Statistique et Soci´et´e Math´ematique de France, 2009, ISSN 2102-6238

Servien85

1 Introduction

Un probl

`eme r´ecurrent en statistique est celui de l"estimation d"une densit´efou d"une fonc- tion de r ´epartitionF`a partir d"un´echantillon de variables al´eatoires r´eellesX1,X2,...,Xn ind ´ependantes et de mˆeme loi inconnue. Les fonctionsfetF, tout comme la fonction ca- ract

´eristique, d´ecrivent compl`etement la loi de probabilit´e des observations et en connaˆıtre une

estimation convenable permet de r ´esoudre nombre de probl`emes statistiques. Cette estimation tient donc naturellement une place importante dans l"

´etude de nombreux ph´enom`enes de na-

ture al ´eatoire. Elle peutˆetre men´ee, sous des hypoth`eses restrictives,`a l"aide de techniques param ´etriques comme la m´ethode des moments ou celle du maximum de vraisemblance. Les approches non param ´etriques que nous privil´egions ici sont plus flexibles et constituent toujours un compl ´ement utile, mˆeme lorsque certains mod`eles param´etriques semblent s"imposer. M

ˆeme si les fonctions de r´epartition et de densit´e caract´erisent toutes les deux la loi de

probabilit ´e d"une variable, la densit´e a un net avantage sur le plan visuel. Elle permet d"avoir un aperc¸u tr `es rapide des principales caract´eristiques de la distribution (pics, creux, asym´etries,

...), ce qui explique le volume important de litt´erature qui lui est consacr´e. La fonction de

r

´epartition contient bien sˆur cette information mais de mani`ere moins visible. N´eanmoins c"est

en terme de comportement local de la fonction de r ´epartition que s"explique le plus facilement le comportement des estimateurs fonctionnels (vitesse de convergence, normalit

´e asymptotique) et

c"est finalement par un estimateur de la fonction de r

´epartition que l"on passe pour estimer des

probabilit ´es d"ensembles : la probabilit´e qu"une variable se cantonne dans un intervalle donn´e ou qu"une observation au moins d"un nouvel ´echantillon d´epasse un seuil fix´e. Lorsqu"on veut donner une borne inf ´erieure pour la probabilit´e qu"un param`etreθinconnu appartienne`a un

intervalle de la forme[θn-ε,θn+ε], o`uθnest un estimateur deθ, on a en fait besoin d"un

estimateur de la fonction de r

´epartition deθn.

Il est vrai que l"on peut souvent passer d"un estimateur def`a un estimateur deFpar int´egration

et d"un estimateur deF`a un estimateur defpar d´erivation. N´eanmoins une particularit´e est`a

souligner : c"est l"existence de la fonction de r ´epartition empiriqueFn,fonction de r´epartition de la loi empirique associ ´ee`a l"´echantillon. Il n"y a bien sˆur pas d"´equivalent pour la densit´e, ce qui diff ´erencie la nature de chacun des deux probl`emes d"estimation. Il est important de noter que la fonction de r ´epartition empirique ne fait appel`a aucune structure alg´ebrique ou topolo- gique mais seulement `a des notions ensemblistes et que les techniques d"estimation ne sont pas autre chose que des techniques de r ´egularisation de cette r´ef´erence empirique dont la donn´ee est

´equivalente`a celle de l"´echantillon.

Cette derni

`ere remarque conduit donc`a collecter en premier lieu les principaux r´esultats disponibles sur la fonction de r ´epartition empirique. Ils constituent l"entr´ee en mati`ere de la pr ´esente revue bibliographique. Puis nous passerons dans les sections suivantes`a des estima- teurs introduits plus sp ´ecifiquement pour la fonction de r´epartition. La section 3 sera consacr´ee au lissage local, dont un exemple bien connu est le lissage polyn

ˆomial local. La m´ethode de

lissage local d ´ecrite permet de donner un cadre g´en´eral`a l"estimation de fonctionnelles de la fonction de r ´epartition et de leurs d´eriv´ees. Un cas particulier est la m´ethode du noyau dont l"application `a la fonction de r´epartition est abord´ee dans la section 4. Les estimateurs

a noyau sont, avec les estimateurs splines d´ecrits en section 5, les m´ethodes de lissage les plus

commun ´ement utilis´ees dans les logiciels statistiques. Les sections suivantes abordent des ap- proches plus r ´ecentes : les Support Vector Machines (S.V.M.) dans la section 6, le level-crossing Journal de la Soci´et´e Franc¸aise de Statistique,150(2), 84-104, http://smf.emath.fr/Publications/JSFdS/ c

?Soci´et´e Franc¸aise de Statistique et Soci´et´e Math´ematique de France, 2009, ISSN 2102-6238

86Estimation de la fonction de r´epartition

dans la section 7 et les Syst`emes de Fonctions It´er´ees (I.F.S.) dans la section 8. Nous mention-

nons rapidement en section 9 quelques m ´ethodes d´evelopp´ees pour la densit´e et utilisables par int ´egration, comme celle des fonctions orthogonales, particuli`erement celles des ondelettes. La section 10 traite du cas de la fonction de r ´epartition d"une loi conditionnelle. Enfin, la prise en compte d"un biais ´eventuel sur les donn´ees est abord´ee en section 11.

2 Un estimateur naturel : la fonction de r

´epartition empi-

rique

La fonction de r

´epartition empirique sera not´ee

F n(x) =1 nn i=1I ]-∞,x](Xi) o `u I

A(x) =?1six?A

0sinon.

Afin de passer en revue quelques r

´esultats importants concernant cette fonction, nous notons Z n(x) =⎷ n(Fn(x)-F(x))et d´efinissons les statistiques suivantes D +n= sup x?RZ n(x), D-n= sup x?R(-Zn(x))etDn= sup x?R|Zn(x)|.

Kolmogorov [63] et Smirnov [88] introduisent et

´etudient ces trois statistiques et d´emontrent que leur distribution ne d ´epend pas deF. En outre,`a l"aide des th´eor`emes de Donsker [32] et

Doob [33, 34], il est prouv

´e que les statistiquesD+netD-nont la mˆeme loi et que nous avons les r

´esultats asymptotiques suivants :

lim n→∞P(D-n> λ) = exp(-2λ2), lim n→∞P(Dn> λ) = 2∞? k=1(-1)k+1exp(-2k2λ2). Par la suite, Dvoretzky, Kiefer et Wolfowitz [35] d

´eterminent une borne de la forme

o

`uCest une constante ind´etermin´ee. L"ensemble de cette d´emarche et de ces r´esultats sont

analys

´es dans Hennequin et Tortrat [56]. Pour des propri´et´es li´ees aux statistiques d"ordre et de

rang on pourra consulter le livre de Caperaa et Van Cutsem [20]. De nombreux auteurs essayent ensuite de trouver la meilleure constanteCdans l"in´egalit´e pr ´ec´edente. Devroye et Wise [30], Shorack et Wellner [86] ou Hu [58] font peu`a peu diminuer cette constante. Finalement, Massart [68] d ´emontre qu"il est possible de prendreC= 1pourvu que Journal de la Soci´et´e Franc¸aise de Statistique,150(2), 84-104, http://smf.emath.fr/Publications/JSFdS/ c

?Soci´et´e Franc¸aise de Statistique et Soci´et´e Math´ematique de France, 2009, ISSN 2102-6238

Servien87

Il montre aussi que, quel que soitλ,

et que ces bornes ne peuvent plus ˆetre am´elior´ees, ces in´equations´etant valides queFsoit continue ou pas.

D"autre part, le th

´eor`eme de Glivenko-Cantelli nous donne la convergence uniforme presque s

ˆure deFnversFc"est-`a-dire

sup x?R|Fn(x)-F(x)| →0p.s.

Pour des variables d

´ependantes (plus pr´ecis´ementφ-m´elangeantes), ce r´esultat est am´elior´e plus tard par Collomb, Hassani, Sarda et Vieu [24] en convergence presque compl `ete sous certaines hypoth `eses, notamment l"uniforme continuit´e def. F nest´egalement l"estimateur non param´etrique du maximum de vraisemblance (Kiefer et Wolfowitz [62], Efron et Tibshirani [37]) et, en g ´en´eral, une transform´eet(F)a pour estimateur du maximum de vraisemblancet(Fn). D"autre part, parmi les estimateurs sans biais deF(x), F n(x)est´egalement l"unique estimateur de variance minimale (Yamato [101], Lehmann [66]).

Cette derni

`ere vaut par ailleursF(x)(1-F(x))/n. Yamato [101]´elargit les recherches`a une famille de fonctions englobantFn. Il´etudie les fonctions du type F ?n(x) =1 nn j=1W n(x-Xj) o

`uWnest une fonction de r´epartition connue. Il d´emontre que, en tout point de continuit´exde

F,F?n(x)est asymptotiquement non biais´e et

P[ sup

-∞0(x) =?1six≥0

0sinon.

Il obtient de plus la convergence vers une loi normaleN(0,1)de la distribution de n[Fn(x)-EFn(x)]?F(x)[1-F(x)]. Pour

´evaluer l"´ecart entreFet son estimateur, plusieurs autres crit`eres peuventˆetre utilis´es.

Ainsi, Devroye et Gy

¨orfi [28] choisissent comme crit`ere la variation totaleVqui se d´efinit comme suit entre deux mesures de probabilit

´eμetν

V(μ,ν) = sup

A|μ(A)-ν(A)|,

avec le supremum calcul ´e sur tous les bor´eliensA, et l"entropie relativeItelle que

I(μ,ν) = sup

{Aj}? jμ(Aj)logμ(Aj)

ν(Aj)

Journal de la Soci´et´e Franc¸aise de Statistique,150(2), 84-104, http://smf.emath.fr/Publications/JSFdS/ c

?Soci´et´e Franc¸aise de Statistique et Soci´et´e Math´ematique de France, 2009, ISSN 2102-6238

88Estimation de la fonction de r´epartition

o`u le supremum est pris sur l"ensemble des partitions finies en bor´eliens mesurables{Aj}deR.

Au sens de ces crit

`eres,Fnest un mauvais estimateur. En effet, ils obtiennentV(μ,μn) = 1et

I(μ,μn) =∞pour des mesures non-atomiques. Mais ils d´emontrent ensuite la non-existence

de bons estimateursF?n, de mesure associ´eeμ? n, tels que

V(μ,μ?

n)→0ouI(μ,μ? n)→0, qui rend ces crit `eres non adapt´es.

Aggarwal [2] introduit le probl

`eme consistant`a d´eterminer le meilleur estimateur invariant deF, au sens des transformations monotones, avec la fonction de perte

L(F,a) =?

{F(t)-a(t)}2h(F(t))dF(t). L"

´eventuelle admissibilit´e, c"est-`a-dire la minimisation deL, et minimaxit´e de l"estimateur sont

egalement des questions importantes. Dans le cas particulier de fonction de perte de Cram´er-von

Mises, o

`uh(t) =t-1(1-t)-1,Fnest le meilleur estimateur invariant. Aggarwal [2], Brown [18] et Yu [102] d ´emontrent la non admissibilit´e deFnpourh(t) =tα(1-t)β,α,β≥ -1alors qu"il est admissible pour

L(F,a) =?

{F(t)-a(t)}2F(t)α(1-F(t))βdW(t), fowitz [35] et Phadia [76] prouvent queFnest asymptotiquement minimax pour une grande vari ´et´e de fonctions de pertes. N´eanmoins, pour celle de Kolmogorov-Smirnov, Friedman, Gel- man et Phadia [49] d ´eterminent le meilleur estimateur invariant deF. Celui-ci est une fonction en escalier diff

´erente deFn.

D"autres fonctions en escalier ont

´egalement´et´e´etudi´ees. Ainsi, siFest continue sur[0,1],

nous savons qu"il existe un estimateur˜Fnlin´eaire par morceaux et tel que la distribution de⎷

n[˜Fn(x)-F(x)]converge faiblement vers un pont brownienB(x)connu (Billingsley [14]).

Beran [7] s"appuie sur ce r

´esultat pour d´efinir un nouvel estimateurˆFntel que

Fn(x)sinon,

o `uHest une fonction de r´epartition quelconque sur[0,1]. Il obtient alors que, hormis le cas trivial o `u la distribution de l"´echantillon estH,⎷ n[ˆFn(x)-F(x)]converge versB(x). De plus, il d

´emontre que tout estimateurˆFnr´egulier peutˆetre repr´esent´e comme une convolution d"un

pont brownien avec une autre fonction de r ´epartition deC[0,1]d´ependant uniquement de la densit

´ef.

La fonction de r

´epartition empirique ne tient pas compte d"une´eventuelle information que nous pouvons avoir sur la fonction `a estimer. Modarres [69] utilise une possible sym´etrie pour Journal de la Soci´et´e Franc¸aise de Statistique,150(2), 84-104, http://smf.emath.fr/Publications/JSFdS/ c

?Soci´et´e Franc¸aise de Statistique et Soci´et´e Math´ematique de France, 2009, ISSN 2102-6238

Servien89

b

ˆatir un nouvel estimateur`a partir deFn:

Fs(x) =1

2(Fn(x) + 1-Fn(-x))pourx <0

et d ´emontre que cet estimateur est l"estimateur du maximum de vraisemblance sous une hy- poth `ese de sym´etrie. Il bˆatit ensuite un nouvel estimateurˆFauxen utilisant de l"information amen de conna ˆıtre la fonction de r´epartition empirique de la variableY. En collectant ensuite un zones. En croisant les 2 mod `eles, il obtient l"estimateurˆFhsuivant

Fh(x) =1

quotesdbs_dbs35.pdfusesText_40

[PDF] produit scalaire deux vecteurs

[PDF] produit vectoriel de deux vecteurs dans le plan

[PDF] fonction de répartition d une variable aléatoire discrète

[PDF] multiplication coordonnées vecteurs

[PDF] variance

[PDF] multiplication d'un vecteur par un réel exercices

[PDF] produit vectoriel de deux vecteurs de dimension 2

[PDF] carré d'un vecteur

[PDF] multiplication de deux vecteurs colonnes

[PDF] produit scalaire vecteur 3d

[PDF] le resultat d'une multiplication s'appelle

[PDF] division vocabulaire

[PDF] vocabulaire multiplication

[PDF] loi géométrique probabilité exercices

[PDF] la santé définition