[PDF] Limpact du site daide à la recherche demploi Bob Emploi

View - Download Limpact du site daide à la recherche demploi Bob Emploi

Previous PDF

Next PDF

Rapport réalisé par le Centre de Recherche en Economie et Statistiques (CREST) Auteur(e)(s) : Aïcha Ben Dhia1, Bruno Crépon2, Esther Mbih3, Louise Paul-Delvaux4, Bertille Picard5 et Vincent Pons6

Ministğre de l'Education Nationale

Direction de la Jeunesse, de l'Éducation Populaire et de la Vie

Associative

Institut National de la Jeunesse et de l'ducation Populaire

95, avenue de France - 75650 Paris CEDEX 13

www.experimentation.jeunes.gouv.fr 1 MIT

2 CREST/CNRS

3 CREST/CNRS

4 Harvard University

5 Aix-Marseille University, CNRS, EHESS, Centrale Marseille, AMSE

6 Harvard Business School

Date de remise du rapport : 31/01/2020

Cette Ġǀaluation a ĠtĠ financĠe par le Fonds d'Expérimentation pour la Jeunesse dans le cadre

de l'appel ă projets LFSE n°2411 lancé en 2016 par le Ministère chargé de la jeunesse.

Le Fonds d'Expérimentation pour la Jeunesse est destiné à favoriser la réussite scolaire des

Ġlğǀes et amĠliorer l'insertion sociale et professionnelle des jeunes de moins de ǀingt-cinq

ans. Il a pour ambition de tester de nouvelles politiques de jeunesse grâce à la méthodologie

de l'edžpĠrimentation sociale. A cette fin, il impulse et soutient des initiatives innovantes, sur

différents territoires et selon des modalités variables et rigoureusement évaluées. Les

conclusions des évaluations externes guideront les réflexions nationales et locales sur de possibles généralisations ou extensions de dispositifs ă d'autres territoires. engager le Ministère. Ministère de la Ville, de la Jeunesse et des Sports Direction de la Jeunesse, de l'Education Populaire et de la Vie Associative Institut National de la Jeunesse et de l'ducation Populaire Mission Expérimentation et évaluation des politiques publiques

95, avenue de France - 75650 Paris CEDEX 13

Pour plus d'informations sur le dĠroulement des projets, ǀous pouvez consulter sur le site http://www.experimentation.jeunes.gouv.fr/ la note de restitution finale soumise au FEJ par les porteurs de projets.

EVALUATION LFSE

Intitulé du projet : " Bob Emploi »

Mots clés :

Economie du travail, économie comportementale,

évaluation randomisée, innovation digitale, Machine

Learning

Structure porteuse du projet :

Association Bayes Impact

Personne en charge du projet : Paul Duan, Président

Structure porteuse de l'Ġǀaluation :

CREST Personne en charge de l'Ġǀaluation ͗ Bruno CrĠpon, Enseignant-Chercheur, DurĠe d'edžpĠrimentation ͗ Avril 2017 à Février 2019 Date de remise du rapport d'Ġǀaluation ͗ Janvier 2020

RÉSUMÉ(UNEPAGEMAXIMUM)BobEmploiestunsiteinternetgratuitcréépourlesdemandeursd'emploiparl'associationBayesImpact,etsubventionnéparlafondationLaFrances'engage.Lesiteaidelesdemandeursd'emploiàsynthétiserlesinformationssurlemarchédutravaildansleursecteuretbassind'emploi,àélaborerunestratégiederetouràl'emploi(parexemplereconversion,mobilité,ouformation),etàmettreenoeuvrecettestratégie.Lesrecommandationssontpersonnaliséesetadaptéesauxqualificationsetàl'expérienceprofessionnelledechaquedemandeurd'emploi.UneéquipeduCRESTamesurél'impactdeBobEmploi,encollaborationavecBayesImpactetPôleemploi,etgrâceàunessairandomisédegrandeéchelle.Lebutétaitdemesurerl'effetdusiteencomplémentdel'accompagnementdesconseillersPôleemploi. Pourcela,226861d eman deursd'emploide254agencesPôleemploiontétéinclusdansl'échantillonetontétérépartisaléatoiremententrelegroupeinvité(127745individus)etlegroupetémoin(99116individus).Entreleprintempsetl'automne2017,l'ensembledesindividusdugroupeinvitéontétéconviésàunesessiond'informationcollectivesurBobEmploi,puisilsontreçuquatreemailssuccessifslesencourageantàs'inscrireausite.Autermedel'implémentation,27,1%dugroupeinvité(contre0,2%danslegroupetémoin)avaientparticipéàunesessiond'informationcollectiveet/ous'étaientinscritsàBobEmploi.Nousavonsestimél'impactdeBobEmploiencomparantlasituationdesindividusdugroupeinvitéetdugroupetémoin.Nousavonsconsidérétroisdimensions:lecomportementderecherched'emploi;lerecoursauxservicesdePôleemploi;leretouràl'emploietlesindemnitésversées.Nousavonsmesurélecomportementderecherchesixmoisaprèsl'interventionàpartirdesréponsesàun eenquêteadmi nistréesurinter netàl'ensembledel'échantillon. BobEmploien couragelesdemandeursd'emploiànepassefocaliserexclusivementsurlacandidatureauxoffresenlignemaisàfairedavantageappelàleurréseau.Nousobservonsquelaprobabilitédecontacterlesamisprochesaugmentede1.4points depou rcentage enmoyennechezlespersonn esdugr oupeinvité.Enrevanche,iln'yapasd'effetvisiblesurlaprobabilitédecontacterdesrelationspluséloignées,commedesamisd'amisoudesancienscollègues.Parailleurs,l'interventionn'apasd'impactsurletemps(déclaré)passéàlarecherched'emploi,lepérimètregéographiquedelarecherche,lenombreetletypedecandidatureseffectuéesparlesdemandeursd'emploietenregistréesparPôleemploi,etlebien-êtredéclaré.NousmesuronsuneaugmentationdelafréquentationdessitesproposésparPôleemploichezlesindividusdugroupeinvité,parcomparaisonaveclegroupetémoin.Cetteaugmentationatteint4,6pointspourl'EmploiStore.Nosdonnéesnenouspermettentpasdevérifiersiceseffetsrésultentdel'impactdirectdeBobEmploioudesinformationscommuniquéespendantlessessionsd'informationcollectives,sanslienaveclesite.Nousmesuronségalementuneaugmentationdelafréquencedescontactsenpersonneaveclesagentsduservicepublicdel'emploi,quipourraitêtretiréeenpartieparlescontactsoccasionnésparlessessionsd'informationcollectives.Au-delàdesentretiens,iln'yapasd'impactvisiblesurlaparticipationàd'autresateliersousurlesprogrammesd'accompagnementproposésparPôleemploi.Enfin,lesrésultatsintermédiairessurlarecherched'emploietleséchangesavecleservicepublicdel'emploines'accomp agnentpa sd'unretouraccruàl'emploi,mesuréàpartir desdonnées administrativesdePôleemploi.Nousn'observo nsaucu neffetni surl'accèsàl'emploi, mêmetemporaire,nisurlesmontantsd'indemnisation versés.

Remerciements

Nous tenons à exprimer nos remerciements à la Fondation La France s"engage, dont le soutien financier

soutenus dans cette évaluation par Pôle emploi, qui a travaillé avec nous à l"élaboration du design expé-

rimental et des sessions collectives. A cet égard, nous adressons à tous les conseillers qui ont défini avec

recherche qui ont participé à la mise en place des interventions et à l"analyse des données : Pierre-Louis

Tabledesmatières

Notedesynthèse?

I ntroduction??

? LesiteBobEmploi:natureetcontexteduprogramme ?.? Recherched"emploietacquisitiond"information ?.? BobEmploi:objectifseteffetsattendus ? Modalitésd"évaluation ?.? Laméthoded"assignationaléatoire ?.? Protocoledel"évaluation ?.? Naturedel"intervention ?.? Donnéescollectées ? Populationétudiéeetvaliditéinterne ?.? Caractéristiquesdesdeuxgroupes ?.? Participationaudispositif ?.? Répondantsàl"enquête ? Résultatsetenseignements ?.? Méthodologie ?.? Impactsurlecomportementderecherche ?.? ImpactsurlerecoursauxservicesdePôleemploi ?.?.? L"utilisationdessitesd"aideàlarecherched"emploi ?.?.? Lafréquencedesentretiensavecunconseiller ?.? Impactsurleretouràl"emploi ?.? ImpactsurlesindemnitésverséesparPôleemploi ?.? Hétérogénéitéd"impact ?.?.? Principe ?.?.? Hétérogénéitéd"impactspourunpetitnombredesous-populations ?.?.? Desenjeuxspécifiquesliésàlarichessedesdonnées ?.?.? LeGenericMachineLearning(Chernozhukovetal.,????). . . . . . . . . . . . ??

Conclusion??

Références??

Annexes??

A Échantillonnagedesagences

B Testsd"équilibrepourl"assignationaugroupeinvitéetlaparticipation

B.? Équilibreàl"assignationdutraitement

B.? Équilibreentregroupesderépondantsetnon-répondants

C Hétérogénéitéd"impacts

C.? Leproblèmedestestsd"hypothèsesmultiples

C.? Attractivitédesméthodesdemachinelearning. . . . . . . . . . . . . . . . . . . . . . .??

C.? Prédirel"hétérogénéitéd"impactàl"aidedumachinelearning. . . . . . . . . . . . . . .??

C.?.? Stratégiespourrésoudreleproblèmedel"inférencecausale

C.?.? Elasticnet(

C.? Genericmachinelearning:examinerlapertinencedenosprédictionsd"impacts C.? Informationsindividuellesutiliséespourentraînerlesmodèles C.? Résultatsdesestimationsdugenericmachinelearning

D Questionnairedel"enquête

E Présentationdel"indicateurderetouràl"emploi

F Tableauxderégression

F.? Impactsurlecomportementderechercheà?mois

F.? Impactsurlescandidatureseffectuéesà?mois F.? ImpactsurlerecoursauxservicesdePôleemploi-de?à??mois F.? Impactsurl"utilisationdessitesinternetdédiésàlarecherched"emploià?mois F.? ImpactsurlafréquencesdesentretiensetdesateliersavecPôleemploi-de?à??mois

F.? Impactsurleretouràl"emploi

F.?.? Impactsurl"accèsàl"emploi-de?à??mois

F.?.? Analyse d"hétérogénéité - Impact sur le nombre de jours passés en chômage en

?à??mois F.? Impactsurlesindemnitésperçues-de?à??mois

Notedesynthèse

Laquestionetl"intervention

Un des facteurs possibles contribuant au niveau de chômage élevé est l"existence de multiples obs-

optimales.

L"association Bayes Impact s"est portée candidate en ???? de l"appel à projet lancé par la fondationLa

stratégie de retour à l"emploi et à la mettre en oeuvre. Le site établit un diagnostic de la situation de re-

Uneexpériencecontrôlée

que l"accompagnement proposé par Bob Emploi peut avoir sur le bien-être des utilisateurs. Ces di-

mensions d"impact sont mesurées à partir de données d"enquêtes administrées par l"équipe de re-

cherche.

actions déjà déployées par Pôle emploi envers les demandeurs d"emploi. Pour déterminer le degré

-L"impact sur l"accès à l"emploi: à plus long terme, la finalité du site est de faciliter et d"accélérer le

retour à l"emploi. Les indicateurs d"accès à l"emploi, c"est-à-dire le nombre de demandeurs d"emploi

facteurs.

clus dans l"échantillon et ont été répartis aléatoirement entre le groupe invité (?????? personnes) et le

et ses objectifs aux demandeurs d"emploi du groupe invité. Deux leviers ont été utilisés à cette fin. Dans

ploi, d"une durée approximative de ?h??. Cette session, animée par un conseiller Pôle emploi, consistait

à présenter Bob Emploi en insistant sur la façon dont le numérique transforme les moyens de recherche

en moyenne. La présentation visait aussi à rappeler l"implication de Pôle emploi en matière d"accompa-

gnement de recherche d"emploi, ainsi que les différents services numériques proposés, comme ceux de

l"Emploi Store (site internet sur lequel Pôle emploi répertorie tous les sites et applications dédiés à l"em-

des individus du groupe invité (qu"ils aient ou non été présents à une session d"information) ont reçu un

au dispositif est fortement corrélée avec l"âge des individus. Alors même que les jeunes sonta prioriles

utilisateurslesplusactifsetlesplusexpérimentésdestechnologiesdel"information,etetsemblaientêtre?. Lepourcentagedepersonnesayanteffectivementcrééuncomptesurlesiteestquantàluide??,?%danslegroupeinvité.

Résultat

Comme mentionné plus haut, l"objectif de Bob Emploi est de favoriser l"insertion professionnelle des

demandeurs d"emploi en leur proposant des informations personnalisées ainsi que des stratégies de re-

rant les individus du groupe invité, ayant été invités en session (qu"ils s"y soient effectivement rendus ou

Concernant le comportement de recherche, l"impact du site a été mesuré ? mois après l"intervention

proches augmente de ?.?? point en moyenne chez les personnes du groupe invité, ce qui représente une

Bob Emploi atteint ainsi son objectif d"encourager les demandeurs d"emploi à ne pas se focaliser ex-

montre néanmoins que la mobilisation est inchangée lorsque l"on considère les relations plus éloignées

zones géographiques plus porteuses qui auraient pu élargir le champ de recherche des utilisateurs. Les

duréederetouràl"emploi(voirfigure

davantage les sites proposés par Pôle emploi que celles du groupe témoin. Cette augmentation atteint

portaugroupetémoin(voirfigure

formations communiquées pendant les sessions d"information collective sur les services numériques de

Pôleemploi,sanslienavecBobEmploi.

parfois comptabilisés eux-même comme des entretiens dans les bases administratives. Ainsi on détecte

mois suivant l"intervention, il augmente encore de ?,?? point ce qui représente cette fois-ci une hausse

de?,??%(voirfigure délivréesauxdemandeursd"emploi. horizon temporel donné allant de ? à ?? mois après le début de l"expérimentation ?. Ces résultats non si-

Les analyses effectuées à partir des données administratives de Pôle emploi montrent aussi que les

montants d"indemnisation versés demeurent inchangés. Le graphique montr ele cumul mo yenjusqu "à

moyen des indemnités versées au cours des six premiers mois suivant le début de l"intervention s"élève à

nisés sur cette période s"élève en moyenne à ?? jours et est similaire dans les deux groupes. À ?? mois, le

Conclusion

probabilitéderecourirauxservicesdePôleemploi,vialesentretiensavecunconseillerparexemple,mais?. Cesduréescorrespondentauxduréesmoyennesàpartirdeladatedesessioncollective

Toustypesd"emploi(a) Emploistable(b)Cumul

#dejoursenchômage(c) Indemnitésversées(d)Données:Donnéesadministratives

Afin d"approfondir ces résultats, une analyse d"hétérogénéité a été menée. Le but de ce type d"ana-

?.I ntroduction

celui-ci est élevé comme c"est le cas dans de nombreux pays d"Europe. De nombreuses tentatives ont été

menées sans que de réel progrès soient observés. Les stratégies ont été multiples et ont consisté à dyna-

liorer la fréquence et la qualité des appariements. Néanmoins, faute d"évaluations rigoureuses,il n"a pas

de l"évaluation d"une initiative lancée en ???? dont il était attendu des effets importants. L"idée de cette

travail. une stratégie de recherche d"emploi adaptée (

Babcock et al.

). La difficulté de ce processus rend la

recherche coûteuse pour un rendement incertain et peut également dissuader d"investir du temps dans

cette recherche d"emploi ou la rendre mécanique et inefficace. Cela peut se traduire par la persistance

Abebeetal.

).Uneétuderécente

montre aussi que les demandeurs d"emploi ont tendance à répliquer leur effort de recherche, cherchant

par exemple toujours un même type d"emploi alors que l"élargissement de leur champ de recherche leur

Belotetal.

fait que les rendements de la recherche d"emploi ne se matérialisent que dans le futur. Le coût de la re-

mandeurs d"emploi les plus impatients avaient en effet tendance à fournir un effort de recherche réduit

DellaVignaandPaserman

Meyer

Kruegeretal.

De nombreuses études ont montré que les programmes d"accompagnement intensif des chômeurs étaient efficaces et contribuaient a réduire la durée du chômage (

Card et al.

). En France no-

durée du chômage lorsqu"il est offert par le secteur public (Behaghel et al.,???? ). Mais ces programmes

magne a montré que les chances de retour à l"emploi s"améliorent lorsque l"on informe les demandeurs

tainesstratégiederecherche)(

Altmannetal.

dans la stratégie de recherche un écart entre les intentions et les actions (

Abel et al.

). Ainsi, assis- étude récente a porté sur le périmètre de la recherche d"emploi (

Belot et al.

). Dans cette étude, les

auteurs exposent les demandeurs d"emploi à des offres pertinentes mais s"écartant de leur champ usuel

et montrent que d"une part les demandeurs d"emploi candidatent à ces offres mais en plus qu"elles leur

Plusieurs articles récents ont aussi montré les effets positifs et dynamiques engendrés par une amé-

lioration de la capacité des demandeurs d"emploi à signaler leurs compétences sur leur perspectives sur

le marché du travail. Par exemple

P allais

) montre que le simple fait d"avoir été embauché dans le

passé accroît les chances d"être contacté pour un nouvel emploi pour les personnes enregistrées sur la

plate-forme OdesK. D"autres études, en Afrique du Sud, montrent qu"être capable de produire un score

Car- ranzaetal. curriculum vitae et certifier leur compétences (

Abebe et al.

) a un impact durable sur leur insertion

Alganetal.

celle menée par

Carr anzaet al.

) ou bien, en France, (

Cahuc et al.

). Il est possible aussi que le

mécanisme sous-jacent corresponde au fait que les demandeurs d"emploi perçoivent une augmentation

pétences.

conseiller. En effet, grâce à un partenariat avec Pôle emploi, Bayes Impact a accès à un grand nombre de

données qui concernent aussi bien les trajectoires des demandeurs d"emploi que les offres et métiers en

un ensemble de services en ligne dont l"inspiration est proche de celle des études précédemment citées

sur le marché du travail. Par exemple le site

LMI f orall

est un portail de données en lign e,dé veloppéau

chédu travail(IMT) quipeuvent éclairerles choixdes genssur leurcarrière." Ilest souventutilisé pardes

des conseillers du service public de l"emploi ou des agences privées spécialisées dans le retour à l"emploi

fournissent au contraire une information qui est la plupart du temps dépersonnalisée, c"est-à-dire non-

TheMuse

auxÉtats-Unisoffreungrandnombrede ?Denombreuxsitessesontspé-

Bitesize

MyFuture

Notre équipe a effectué une évaluation scientifique indépendante destinée à mesurer l"impact de la

mise à disposition du site Bob Emploi auprès des demandeurs d"emploi. Nous avons conduit pour cela

une évaluation randomisée de l"accès au site Bob Emploi. Il s"agit d"une démarche permettant d"éclairer

d"emploi. Le design expérimental que nous avons suivi a consisté à considérer des demandeurs d"emploi

les données d"enquêtes ne sont disponibles que pour les répondants qui ne représentent en général que

del"ordrede??%del"échantillon.

Les résultats sont dans l"ensemble décevants. Si l"intervention a un impact positif et statistiquement

significatif sur la mobilisation du réseau proche, c"est à peu de chose prés la seule variable sur laquelle

un impact est détecté. On n"observe aucun impact concernant la fréquence des candidatures effectuées

- qu"elles soient spontanées ou non - et sur le périmètre géographique et sectoriel de recherche. Il s"agit

tiondessitesinternethébergésparPôleemploietsurlenombrederendezvousaveclesconseillersseules?.T heMuseJobSearch.

Les résultats ne montrent également aucun impact significatif sur le bien-être et la motivation déclarée

Les études précédemment citées démontrent l"existence de telles frictions entravant la recherche d"em-

et l"approche très générale de Bob Emploi. Les études précédemment citées sont basées sur une analyse

des besoins des demandeurs d"emploi et des obstacles qu"ils ou elles peuvent rencontrer et les interven-

tions conçues vont chacune dans le détail des mécanismes par lesquels ils peuvent affecter la recherche

le site Bob Emploi parmi l"offre d"outils numériques actuellement disponibles en France et dans d"autres

deconclure. ?.L esiteBobEmploi:natureetcontexteduprogramme

R echerched"emploietacquisitiond"information

la recherche académique s"est intéressée aux déterminants de la recherche d"emploi.

Stigler

) sou-

en effet que l"information dont disposent les demandeurs d"emploi sur le montant des indemnités chô-

mage et la distribution des salaires auxquels ils peuvent prétendre affecte leur salaire de réserve et les

Mortensen

sieursétudes,dont

Hannaetal.

commentl"utiliser.quotesdbs_dbs31.pdfusesText_37

[PDF] BULLETIN D INFORMATIONS RECTORALES

[PDF] Note d'enjeux sur la consommation d'espaces. Commune de CELLULE M AI 2012. Contribution à l'élaboration du Plan Local d'urbanisme 1/14

[PDF] PROGRAMME D INTERET GENERAL MAINTIEN A DOMICILE LE CONSEIL DÉPARTEMENTAL DU CHER

[PDF] ASSEMBLEE DE CORSE REUNION DES 7 ET 8 FEVRIER RAPPORT DE MONSIEUR LE PRESIDENT DU CONSEIL EXECUTIF

[PDF] Synthèse sur le bilan de la qualité de l air en Seine-et-Marne en 2007 Point à proximité du trafic

[PDF] GUIDE RELEXION. Préparez votre site Internet

[PDF] Recrutement d un(e) chargé(e) de mission affecté(e) à la Direction des Relations internationales du Ministère de la Fédération Wallonie-Bruxelles

[PDF] Montant de la subvention demandée :

[PDF] Evaluation des politiques publiques et gouvernance forestière: L exemple de la Redevance Forestière Annuelle au Cameroun

[PDF] Pollution de l'air par la circulation et impact sur la sante

[PDF] communication, information, participation des habitants

[PDF] EMMI 91 Le Site Internet

[PDF] Recrutement d un Responsable Administratif et Financier de l Unité de Coordination des Projets C2D Santé

[PDF] Problématique des politiques publiques au Bénin: défis et perspectives. Richard Georges SINSIN

[PDF] LMD Expertise comptable du DCG 2 Droit des sociétés Sup FOUCHER