[PDF] Insee L'estimateur du taux de

View - Download Insee

Previous PDF

Next PDF

La correction de la non-r

´eponse par imputation

Thomas Deroyon & Cyril Favre-Martinoz

R ´esum´e-L"objectif de cette note m´ethodologique est de d ´ecrire de fac¸on rapide le principe de la correction de la non- r ´eponse par imputation et les m´ethodes les plus fr´equemment utilis

´ees pour la mettre en oeuvre.

I. RAPPELS SUR LES SONDAGES AL´EATOIRES

Les enqu

ˆetes de la statistique publique sont r´ealis´ees sur des parties de la population totale des m

´enages

ou des entreprises, appel

´ees´echantillons, s´electionn´ees

al ´eatoirement. Cette m´ethode pr´esente en effet de bonnes propri ´et´es statistiques. Elle consiste`a associer`a chaque partie sde la population une probabilit´ep(s)d"ˆetre s´electionn´ee, et de choisir la partie de la population qui sera interrog

´ee en

respectant ces probabilit

´es. Le plan de sondage ainsi d´efini

conduit `a associer`a chaque individuide la population une probabilit ´epid"ˆetre interrog´e, appel´ee probabilit´e d"inclusion. Dans ce cadre, si l"on souhaite estimer le total sur la po- pulationUd"une variable d"int´erˆety`a partir de l"´echantillon interrog ´eS, alors l"estimateur par expansion classique, appel´e egalement estimateur de Sen-Horvitz-Thompson, d´efini par

YS=å

i2Sy ip i(1) est un estimateur sans biais sous le plan de sondage. Cela veut dire que sa moyenne sur l"ensemble des

´echantillons

possibles, pond ´er´ee par leur probabilit´e d"ˆetre choisis, SUp(s)ˆYS, est´egale au vrai total deysur la population i2Uyi. De plus, la variance de l"estimateur sous le plan de son- dage, åSUp(s)[ˆYSåi2Uyi]2peutˆetre estim´ee`a partir des donn ´ees disponibles sur l"´echantillonS, plus ou moins ais ´ement suivant la complexit´e du plan de sondage. II. LA NON-R´EPONSE:D´EFINITION ET CONS´EQUENCES

Un individu de l"

´echantillon est non-r´epondant s"il n"a pas et´e possible d"obtenir une information exploitable sur tout ou partie du questionnaire pour cet individu. Si l"ensemble du questionnaire ou une trop grande partie du questionnaire est inexploitable, l"individu est ennon-r´eponse totale: il n"a fourni aucune information r

´eellement utilisable. Si seules

certaines questions sont inexploitables, l"individu est ennon- r

´eponse partielle:

A. Baisse de la pr

´ecision

La pr ´ecision des estimateurs calcul´es sur des´echantillons al ´eatoires est en g´en´eral inversement proportionnelle au nombre d"unit ´es disponibles dans l"´echantillon. Or, la non- r ´eponse fait baisser la taille de l"´echantillon exploitable et diminue de ce fait la pr

´ecision des estimateurs. Ce probl`eme

peut cependant ˆetre en partie trait´e en amont, en anticipant le taux de r ´eponse`a l"enquˆete et en augmentant la taillede l" ´echantillon s´electionn´e. De cette fac¸on, le nombre de r ´epondants`a l"enquˆete sera suffisant pour que les estimateurs satisfassent les objectifs ou les contraintes de pr

´ecision im-

pos

´ees`a l"enquˆete.

B. Biais d"estimation

Le deuxi

`eme probl`eme que pose la non-r´eponse est le plus important : l"estimateur par expansion calcul

´e sur les seuls

r

´epondantsR,åi2Ryip

i, est biais´e. Ce biais a deux origines : Id´efaut de couverture: la somme des poids de sondage 1p isur l"´echantillon est, en moyenne,´egale`a la taille de la populationU. La somme des poids des seuls r ´epondants est, par contre, toujours inf´erieure`a la taille de la population. Ceci tient au fait que chaque unit ´e de l"´echantillon repr´esente un certain nombre d"unit ´es de la population. La non-r´eponse entraˆıne ainsi qu"une partie de la population n"est pas repr

´esent´ee par

l"

´echantillon;

Ibiais de s´election: les r´epondants sont susceptibles de diff ´erer des non-r´epondants. Ainsi, dans une enquˆete comme l"enqu

ˆete sur l"emploi en continu qui a pour

but d"estimer le taux de ch

ˆomage, si les personnes

non-r

´epondantes sont plus souvent des personnes en

emploi, la part des ch

ˆomeurs parmi les r´epondants

sera sup ´erieure`a la part effective dans la population.

L"estimateur du taux de ch

ˆomage1calcul´e sur les

r ´epondants sur-estimera le taux de chˆomage dans la population.

Les diff

´erentes m´ethodes de correction de la non-r´eponse ont pour but de limiter, voire supprimer, le biais qu"introduit la non-r ´eponse. Il existe deux principales familles de m´ethodes : Iles m´ethodes de r´epond´eration, d´ecrites dans la note m ´ethodologique d´ecrivant la correction de la non- r

´eponse par repond´eration

Iles m´ethodes d"imputation, d´ecrites dans la suite de cette note

III. LA CORRECTION DE LA NON-R´EPONSE PAR

IMPUTATION

A. Principe

Le principe des m

´ethodes d"imputation est simple : il

consiste `a remplacer les valeurs manquantes des variables d"int ´erˆet de l"enquˆete par des valeurs plausibles, construites 1. d ´efini comme le nombre de chˆomeurs sur le nombre d"actifs,i.e.la somme du nombre de ch

ˆomeurs et du nombre de personnes en emploi

©Insee

en mobilisant une information externe `a l"enquˆete, en s"ap- puyant sur les r ´eponses donn´ees par les r´epondants`a l"enquˆete ou en combinant informations fournies par les r

´epondants et

donn ´ees ext´erieures. L"estimateur corrig´e de la non-r´eponse du total de la variableysur la populationUest alors´egal`a

YIR=å

i2Ry ip i+å i2SRy ip i(2) avecRl"ensemble des r´epondants etyila valeur imput´ee pour la variabley`a l"individui.

Les valeurs imput

´ees sont construites en supposant qu"il

existe un mod `ele, d´eterministe ou al´eatoire, reliant dans la population les valeurs de la variable d"int

´erˆet aux valeurs

d"autres variables, appel

´ees variables auxiliaires, disponibles

pour les r ´epondants et les non-r´epondants.2On suppose ainsi que les valeurs observ

´ees dans la population sont

issues de ce mod `ele (appel´e parfois aussi superpopulation). Les r ´epondants`a l"enquˆete sont utilis´es pour estimer les param `etres du mod`ele (voir figure 1). Les valeurs imput´ees aux non-r ´epondants sont ensuite obtenues en appliquant le mod `ele avec comme valeurs des variables auxiliaires celles observ ´ees pour les non-r´epondants et comme param`etres du mod `ele ceux estim´es sur les r´epondants.SuperpopulationPopulationUEchantillonSEstimation deqsur les r

´epondantsImputation

deYipar

Yi=f(Xi;ˆq)

pour les non-r

´epondantsY=f(X;q)Non R

´epondantsR

´epondantsCr

´eation de

la population

Upar tirages

dans la loi de superpopulationS

´election de

l"

´echantillonS

selon le plan de sondage initialFig. 1. La correction de la non-r

´eponse par imputation

Sous ce principe g

´en´eral, il existe de nombreuses m´ethodes diff ´erentes d"imputation, que nous allons`a pr´esent lister rapidement.

IV. LES M´ETHODES D"IMPUTATION

A. Classifications des m

´ethodes

Il est possible de distinguer les diff

´erentes m´ethodes

d"imputation existantes suivant deux classifications distinctes.

La premi

`ere classification oppose : Iles m´ethodes d´eterministes: si l"on applique plusieurs fois la m ´ethode d"imputation, la valeur imput´ee est tou- jours la m

ˆeme. Appartiennent`a ce groupe l"imputation

d ´eterministe, lecolddeck, l"imputation par la moyenne,

2. Ces variables sont issues de la base de sondage dans laquelle est

tir ´e l"´echantillon de l"enquˆete, ou de sources administratives appari´ees avec la base de sondage. Il peut ´egalement s"agir de paradonn´ees d´ecrivant le processus de collecte de l"enqu

ˆete.par la m

´ediane, par le ratio, par la r´egression, par la tendance unitaire ou encore par le plus proche voisin; Iles m´ethodes al´eatoires: la valeur imput´ee diff`ere a chaque application de la m´ethode. Rel`event de ce groupe les m

´ethodes d"imputation avec r´esidu et le

hotdeckal´eatoire.

Il est

´egalement possible de classer les m´ethodes d"impu- tation en distinguant : Iles m´ethodes par donneur: la valeur utilis´ee pour l"imputation est la r

´eponse fournie par un r´epondant`a

l"enqu ˆete. Figurent dans ce groupe l"imputation par le plus proche voisin et l"imputation parhotdeck; Iles m´ethodes par valeur pr´edite: la valeur imput´ee n"est pas bas ´ee sur la r´eponse d"un seul r´epondant, mais m ´elange informations externes`a l"enquˆete et r´eponses de plusieurs r

´epondants.

B. Les m

´ethodes d´eterministes

a.L"imputationd

´eterministe

L"imputation d

´eterministe consiste`a exploiter les rela-

tions existant entre variables du questionnaire pour en d ´eduire, de mani`ere certaine ou sous des hypoth`eses rai- sonnables, la valeur `a imputer. Elle permet par exemple d"imputer avec certitude un total non d

´eclar´e mais

dont la ventilation suivant une typologie est renseign

´ee.

Cette m

´ethode ne s"applique que dans peu de cas

et uniquement pour la correction de la non-r

´eponse

partielle. b.Lecolddeck

L"imputation parcolddeckconsiste`a remplacer la

valeur manquante par une valeur issue d"une source externe. Elle est souvent utilis

´ee dans les enquˆetes

aupr `es des entreprises pour imputer l"effectif salari´e d"une entreprise ou le secteur lorsque ceux-ci sont demand ´es au d´ebut d"un questionnaire comme donn´ees de cadrage, en utilisant les valeurs renseign

´ees dans le

r ´epertoire d"entreprises Sirene. Cette m´ethode suppose l"existence d"une source externe fiable, dans laquelle la variable `a imputer est disponible et mesur´ee sur une p ´eriode et suivant une m´ethode et des concepts proches de ceux de l"enqu

ˆete.

g.L"imputationparlamoyenneouparlam

´ediane

Cette m

´ethode consiste`a remplacer la valeur man-

quante par la moyenne ou la m

´ediane des r´eponses`a

cette variable fournies par les r

´epondants. La m´ethode

est en g ´en´eral appliqu´ee en d´ecoupant la population en groupes disjoints, appel

´es classes d"imputation. Les

r ´eponses des r´epondants de chaque classe sont alors utilis ´ees pour construire les valeurs`a imputer aux non- r ´epondants de la classe. L"imputation par la moyenne permet de cr

´eer des imputations qui respectent les

relations lin

´eaires existant entre variables (par exemple

des contraintes comptables) mais les moyennes im- put ´ees sont sensibles aux r´eponses atypiques. A l"in- verse, l"imputation par la m

´ediane est robuste aux

©Insee

r ´eponses atypiques, mais conduit`a des imputations qui ne respectent pas les relations lin

´eaires pouvant exister

entre variables `a imputer. La m´ethode est efficace si les classes d"imputation sont homog `enes en termes de valeurs de la variable d"int

´erˆet.

d.L"imputationparleratio

L"imputation par le ratio n

´ecessite de disposer d"une

variable auxiliaire quantitative pour les r

´epondants et

les non-r ´epondants. Dans ce cas, la m´ethode consiste a calculer le ratio moyen ou m´edian entre la va- riable d"int ´erˆet et la variable auxiliaire observ´e sur les r

´epondants et`a imputer pour remplacer la va-

leur manquante le produit de la valeur de la variable auxiliaire et de l"estimateur du ratio calcul

´e sur les

r ´epondants. La m´ethode est le plus souvent appliqu´ee`a l"int ´erieur de classes d"imputation. Elle est efficace si la variable d"int ´erˆet et la variable auxiliaire sont fortement corr ´el´ees, et si leur ratio est homog`ene`a l"int´erieur des classes d"imputation. e.L"imputationparlar

´egression

L"imputation par la r

´egression est une forme de

g ´en´eralisation de l"imputation par le ratio. Si l"on dis- pose de variables auxiliaires pour les r

´epondants et les

non-r ´epondants, la m´ethode consiste`a estimer sur les r ´epondants un mod`ele de r´egression lin´eaire ou lin´eaire g ´en´eralis´ee, suivant la nature de la variable`a imputer, expliquant la variable `a imputer par les variables auxi- liaires. Les valeurs des variables auxiliaires pour les non-r ´epondants et les param`etres du mod`ele estim´es sur les r ´epondants servent ensuite`a construire des valeurs pr ´edites pour chaque non-r´epondant qui remplacent les valeurs manquantes de la variable d"int

´erˆet. Cette

m ´ethode suppose de disposer d"informations auxiliaires riches et est d"autant plus efficace que la relation est forte entre variable `a imputer et variables auxiliaires et que la forme retenue pour le mod `ele d"imputation est correcte. z.L"imputationparlatendanceunitaire L"imputation par la tendance unitaire s"applique aux enqu ˆetes r´ep´et´ees dans le temps. La valeur imput´ee est obtenue en multipliant la r

´eponse donn´ee par l"en-

treprise ou le m ´enage lors de l"´edition pr´ec´edente de l"enqu ˆete par un facteur d"actualisation, qui peutˆetre calcul ´e sur les r´epondants appartenant`a la mˆeme classe d"imputation que le non-r

´epondant, ou qui peutˆetre le

taux de croissance observ

´e pour le non-r´epondant entre

les deux p ´eriodes pour une variable auxiliaire corr´el´ee a la variable`a imputer. h.L"imputationparleplusprochevoisin La m ´ethode (voir [7]) consiste`a d´efinir une distance entre observations sur la base de variables auxiliaires disponibles sur les r

´epondants et les non-r´epondants.

La valeur imput

´ee est alors la r´eponse donn´ee par le

r ´epondant le plus proche du non-r´epondant sur la base de cette distance. La m

´ethode d´epend fortement du

choix de la distance retenue. La m

´ethode par apparie-

ment sur la valeur pr ´edite (predictive mean matching)est une forme d"imputation par le plus proche voisin qui n ´ecessite deux´etapes. Dans un premier temps, on construit sur les r

´epondants un mod`ele explicatif de la

variable `a imputer en fonction des variables auxiliaires.

Ce mod

`ele est utilis´e pour calculer une valeur pr´edite de la variable d"int

´erˆet pour les r´epondants et les non-

r ´epondants. La distance entre observations est alors calcul ´ee comme le carr´e de la diff´erence entre valeurs pr ´edites de la variable`a imputer. Il est´egalement possible de construire un mod `ele expliquant le fait d" ˆetre r´epondant, pour la variable`a imputer, en fonction des variables auxiliaires. La distance entre observations est alors ´egale au carr´e de l"´ecart entre probabilit´es de r

´eponse pr´edites par le mod`ele.

C. Les m

´ethodes al´eatoires

a.Lesm

´ethodes`

ar

´esidu

Les m ´ethodes`a r´esidu consistent`a partir d"une m´ethodequotesdbs_dbs23.pdfusesText_29

[PDF] INSTRUMEN VALIDASI/VERIFIKASI DOKUMEN KURIKULUM

[PDF] Sujet officiel complet du bac S Histoire-Géographie 2011 - Métropole

[PDF] Sujet du bac S Mathématiques Obligatoire 2017 - Pondichéry

[PDF] Baccalauréat S Nouvelle-Calédonie 14 novembre 2013 - Apmep

[PDF] Sujet corrigé de Mathématiques - Baccalauréat S (Scientifique

[PDF] Sujet officiel complet du bac S Philosophie 2013 - Sujet de bac

[PDF] Sujet officiel complet du bac S Philosophie 2013 - Métropole

[PDF] Corrigé du bac S Physique-Chimie Spécialité 2016 - Asie

[PDF] Corrigé du bac S Physique-Chimie Obligatoire 2015 - Polynésie

[PDF] Sujet du bac S Physique-Chimie Obligatoire 2017 - Pondichéry

[PDF] Correction BAC 2012 Sciences de l 'ingénieur Camper - Gecifnet

[PDF] Corrigé officiel complet du bac S SVT Obligatoire 2011 - Métropole

[PDF] Corrigé du bac S SVT Obligatoire 2015 - Polynésie - Sujet de bac

[PDF] Sujet du bac S SVT Spécialité 2016 - Métropole - Sujet de bac

[PDF] Corrigé du bac S SVT Obligatoire 2016 - Centres - Sujet de bac