[PDF] Introduction au bootstrap PDF st-m-app-bootstrap.pdf

1 Introduction La motivation du bootstrap 1 (Efron, 1982 ; Efron et Tibshirani, 1993) est d'approcher par simulation (Monte Carlo) la distribution d'un estimateur

An introduction to the bootstrap I Brad Efron, Rob Tibshirani p em Includes bibliographical references This book was typeset by the authors using a PostScript (

[PDF] Introduction au bootstrap

1 Introduction La motivation du bootstrap 1 (Efron, 1982 ; Efron et Tibshirani, 1993) est d'approcher par simulation (Monte Carlo) la distribution d'un estimateur

[PDF] Introduction to the Bootstrap - Harvard Medical School

Tibshirani (1993) (Full details concerning this series are available from the Publishers ) An Introduction to the Bootstrap Bradley Efron Department of Statistics

[PDF] Bootstrap Tutorial

Download Bootstrap: Clicking this, you can download the precompiled and from the others not only in the amount of markup, but also in the presentation of the

[PDF] An Introduction to the Bootstrap

Introduction to the Bootstrap Bradley Efron Department of Statistics Stanford University and Robert J Tibshirani Department of Preventative Medicine and

[PDF] An Introduction To Bootstrap Wwafl - Scrumptious

24 oct 2020 · introduction to bootstrap wwafl is reachable in our digital library an online permission to it is set as public in view of that you can download it

[PDF] An Introduction To Bootstrap - miguelcantonzetinacom

The website features a massive collection of eBooks in categories like, IT industry , computers, technology, etc You can download the books in PDF format,

1Introduction au bootstr ap

Introduction au bootstrap

Résumé

Présentation succincte du principe du bootstrap.

Retour au

plan du cour s

1 Introduction

La motivation dubootstrap1(Efron, 1982; Efron et Tibshirani, 1993) est d"approcher par simulation (Monte Carlo) la distribution d"un estimateur lorsque l"on ne connaît pas la loi de l"échantillon ou, plus souvent lorsque l"on ne peut pas supposer qu"elle est gaussienne. L"objectif est de remplacer des hypothèses probabilistes pas toujours vérifiées ou même invérifiables par des simulations et donc beaucoup de calcul. stituer à la distribution de probabilité inconnueF, dont est issu l"échantillon d"apprentissage, la distribution empiriquebFqui donne un poids1=nà chaque réalisation. Ainsi on obtient un échantillon de taillenditéchantillon bootstrap selon la distribution empiriquebFparntirages aléatoires avec remise parmi les nobservations initiales. Il est facile de construire un grand nombre d"échantillons bootstrap sur lesquels calculer l"estimateur concerné. La loi simulée de cet estimateur est une approximation asymptotiquement convergente sous des hypothèses rai- sonnables

2de la loi de l"estimateur. Cette approximation fournit ainsi des es-

timations du biais, de la variance, donc d"un risque quadratique, et même des intervalles de confiance de l"estimateur sans hypothèse (normalité) sur la vraie

loi.1. Cette appellation est inspirée du baron de Münchhausen (Rudolph Erich Raspe) qui se sortit

de sables mouvants par traction sur sestirants de bottes. En France "bootstrap" est parfois traduit

parà la Cyrano(acte III, scène 13) en référence à ce héros qui prévoyait d"atteindre la lune en se

plaçant sur une plaque de fer et en itérant le jet d"un aimant.

2. Échantillon indépendant de même loi et estimateur indépendant de l"ordre des observations.1.1 Principe duplug-in

Soitx=fx1;:::;xngun échantillon de taillenissue d"une loi incon- nueFsur( ;A). On appelleloi empiriquebFla loi discrète des singletons (x1;:::;xn)affectés des poids1=n: b F=nX i=1 xi:

SoitA2 A,PF(A)est estimée par :

b (P)F(A) =PbF(A) =nX i=1 xi(A) =1n

Cardxi2A:

De manière plus générale, soitun paramètre dont on suppose que c"est une fonction de la loiF. on écrit donc=t(F). Par exemple,=E(F)est un de l"échantillon. Avec le même exemple : b=x=1n n X i=1x i etxest la statistique qui estime. On dit que c"est un estimateur "plug-in" et, plus généralement, DÉFINITION1. - On appelle estimateurplug-ind"un paramètredeF, l"es- timateur obtenu en remplaçant la loiFpar la loi empirique : b =t(bF): comme dans le cas de l"estimation de:b=E(bF) =x:

1.2 Estimation de l"écart-type de la moyenne

SoitXune variable aléatoire réelle de loiF. On pose :

F=EF(X);et2F=VarF(X) =EF[(XF)2];

2Introduction au bootstr ap

Ce qui s"écrit :

X(F;2F):

Soit(X1;:::;Xn)nvariables aléatoires i.i.d. suivant aussi la loiF. PosonsX=1n P n

2F=n. On dit aussi que la statistiqueX(F;2F=n):

Remarquons qu"en moyennant plusieurs valeurs ou observations, on réduit la variance inhérente à une observation. De plus, sous certaines conditions sur la loiFet comme résultat du théorème de la limite centrale,Xconverge en loi vers la loi normale.

L"estimateur plug-in deFest défini par :

b2=cF2=2bF=VarbF(X) =EbF[(XEbF(X))2] =1n n X i=1(XiX)2: L"estimateur plug-in deFest (légèrement) différent de celui du maximum de vraisemblance. L"estimateur plug-in est en général biaisé mais il a l"avantage d"être simple et de pouvoir s"appliquer à tout paramètremême lorsque l"on ne peut pas calculer la vraisemblance du modèle.

2 Estimation bootstrap d"un écart-type

Soit b=s(x)un estimateur quelconque (M.V. ou autre) depour un échan- tillonxdonné. On cherche à apprécier la précision debet donc à estimer son

écart-type.

2.1 Échantillon bootstrap

Avec les mêmes notations,

bFest la distribution empirique d"un échantillon x=fx1;:::;xng. DÉFINITION2. - On appelleéchantillon bootstrapdexun échantillon de taillennoté x =fx1;:::;xngsuivant la loi bF;xest un ré-échantillon dexavec remise.

2.2 Estimation d"un écart-type

DÉFINITION3. - On appelleestimation bootstrapde l"écart-typecF(b)de b, son estimation plug-in :bF(b). Mais, à part dans le cas très élémentaire où, comme dans l"exemple ci-dessus, est une moyenne, il n"y a pas de formule explicite de cet estimateur. Une ap- proximation de l"estimateur bootstrap (ou plug-in) de l"écart-type de best ob- tenue par une simulation (Monte-Carlo) décrite dans l"algorithme ci-dessous. Pour un paramètreet un échantillonxdonnés, on noteb=s(x)l"esti- mation obtenue sur cet échantillon. Uneréplication bootstrapdebest donnée par :b=s(x):ALGORITHME1: Estimation de l"écart-type

Soitxun échantillon etun paramètre.

forb= 1àBdo Sélectionner 1 échantillon bootstrapxb=fxb1;:::;xbng. par tirage avec remise dansx.

Estimer sur cet échantillon :b(b) =s(xb).

end for Calculer l"écart-type de l"échantillon ainsi construit : b2B=1B1B X b=1(b(b)b(:))2 avec b(:) =1B B X b=1(b(b):bBest l"approximation bootstrap de l"estimation plug-in recherchée de l"écart-type de b.

2.3 Estimation du biais

Avec les mêmes notations :

=t(F)etb=s(x);

3Introduction au bootstr ap

le biais d"un estimateur s"exprime comme B

F(b) =EF[s(x)]t(F):

Un estimateur est sans biais siE[b] =. Le biais est aussi une mesure de la précision d"un estimateur et on a vu que, généralement, les estimateurs plug-in

étaient biaisés.

DÉFINITION4. - On appelle estimateur bootstrap du biais, l"estimateur plug-in : cBF(b) =BbF(b) =EbF[s(x)]t(bF): Comme pour l"écart-type, il n"existe généralement pas d"expression analytique

et il faut avoir recours à une approximation par simulation.ALGORITHME2: Estimation bootstrap du biais

Soitxun échantillon etun paramètre.

forb= 1àBdo Sélectionner 1 échantillon bootstrapxb=fxb1;:::;xbng. par tirage avec remise dansx. Estimersurcetéchantillonlaréplicationbootstrapdeb:b(b) =s(xb). end for

ApprocherEbF[s(x)]parb(:) =1B

P B b=1(b(b)

L"approximation bootstrap du biais est :

cBB(b) =b(:)b.3 Compléments En résumé, on peut dire que le bootstrap repose sur une hypothèse très élé- mentaire : bse comporte par rapport àbcommebpar rapport à. La connais- sance de b(distribution, variance, biais...) renseigne alors sur celle deb. Beaucoup d"autres compléments sont à rechercher dans la littérature et en particulier dans Efron et Tibshirani (1993). Il est ainsi possible de définir des intervalles de confiance bootstrap en considérant la distribution et les quan- tiles de bou même encore des tests à partir des versions bootstrap de leur statistique.Le bootstrap rapidement décrit ici est dit "non-paramétrique" car la loi em- piriquebFest une estimation non-paramétrique deF. Dans le cas oùFserait connue à un paramètre près, il existe également une version diteparamétrique du bootstrap. Pour des estimateurs plus compliqués (fonctionnels) comme dans le cas de la régression non-paramétrique par noyau ou spline, il est facile de construire graphiquement une enveloppe bootstrap de l"estimateur à partir de réplications de l"échantillon. Celle-ci fournit généralement une bonne appréciation de la qualité de l"estimateur obtenu. Attention, dans le cas de la régression il est en principe plus justifié de répliquer le tirage sur lesrésidusplutôt que sur les observations. Ce sont les résidus qui sont en effet supposés i.i.d. et qui vérifient donc les hypothèses nécessaires mais cette approche devient très sensible à l"hypothèse sur la validité du modèle. Il est finalement d"usage de considérer un échantillon bootstrap issu des données initiales (Efron et Tibshirani) : z b=f(xb1;yb1);:::;(xbn;ybn)g; c"est ce qui a été choisi dans ce document. Enfin, l"estimation bootstrap est justifiée par des propriétés asymptotiques (convergence en loi) lorsque le nombre de réplications (B) croit conjointement avec la taille de l"échantillon (n). Comme la loi empiriquebFconverge (en loi) vers celle théorique, la distribution du paramètre b=t(bF)converge (en loi) vers celle théorique de=t(bF).quotesdbs_dbs17.pdfusesText_23

[PDF] [PDF] Introduction au bootstrap

[PDF] An Introduction to Bootstrap