[PDF] Lapproche réaliste pour lévaluation de programmes et la revue

View - Download Lapproche réaliste pour lévaluation de programmes et la revue

Previous PDF

Next PDF

Tous droits r€serv€s ADMEE-Canada - Universit€ Laval, 2013 Ce document est prot€g€ par la loi sur le droit d'auteur. L'utilisation des d'utilisation que vous pouvez consulter en ligne. l'Universit€ de Montr€al, l'Universit€ Laval et l'Universit€ du Qu€bec " Montr€al. Il a pour mission la promotion et la valorisation de la recherche.

https://www.erudit.org/fr/Document g€n€r€ le 12 oct. 2023 16:15Mesure et €valuation en €ducation

revue syst€matique programmes et la revue syst€matique : de la th€orie " la pratique.

Mesure et

€valuation en €ducation 36
(3), 79...108. https://doi.org/10.7202/1025741ar

R€sum€ de l'article

L'approche r€aliste gagne en popularit€ aupr†s des chercheurs en sciences sociales, notamment aupr†s de ceux dont les objets de recherche sont complexes : programmes, projets ou politiques publiques qui visent "

am€liorer une situation sociale. En effet, l'approche r€aliste a €t€ r€cemment

adapt€e " la pratique de l'€valuation de programmes et " celle de la revue syst€matique. Ces pratiques de recherche ancr€es dans le r€alisme critique semblent mieux adapt€es aux exigences du mouvement de la prise de d€cision ou de l'action fond€e sur les preuves scientifiques. Pourtant, l'approche r€aliste est encore peu utilis€e et connue, particuli†rement parmi les €tudiants et les chercheurs francophones en €valuation. Le premier objectif de cet article est donc de pr€senter, de mani†re didactique, les fondements €pist€mologiques et les concepts cl€s de l'approche r€aliste pour l'€valuation de programmes et la revue syst€matique. Le deuxi†me objectif est d'illustrer, par une €tude de cas ... celui d'une revue r€aliste ..., les apprentissages conceptuels et m€thodologiques pour la pratique de l'€valuation r€aliste. Cette d€marche r€flexive s'inscrit dans un mouvement de partage de connaissances et de pratiques sur l'approche r€aliste.

L"approche réaliste pour l"évaluation

de programmes et la revue systématique: de la théorie à la pratique

Émilie Robert

Valéry Ridde

Université de Montréal

MOTSCLƒS:Žvaluation de programmes, approche rŽaliste, revue systŽmatique, complexitŽ, mŽthode L"approche réaliste gagne en popularité auprès des chercheurs en sciences sociales, notamment auprès de ceux dont les objets de recherche sont complexes : programmes, projets ou politiques publiques qui visent à améliorer une situa- tion sociale. En effet, l"approche réaliste a été récemment adaptée à la pratique de l"évaluation de programmes et à celle de la revue systématique. Ces pratiques de recherche ancrées dans le réalisme critique semblent mieux adaptées aux exigences du mouvement de la prise de décision ou de l"action fondée sur les preuves scientifiques. Pourtant, l"approche réaliste est encore peu utilisée et connue, particulièrement parmi les étudiants et les chercheurs francophones en évaluation. Le premier objectif de cet article est donc de présenter, de manière didactique, les fondements épistémologiques et les concepts clés de l"approche réaliste pour l"évaluation de programmes et la revue systématique. Le deuxième objectif est d"illustrer, par une étude de cas - celui d"une revue réaliste -, les apprentissages conceptuels et méthodologiques pour la pratique de l"évaluation réaliste. Cette démarche réflexive s"inscrit dans un mouvement de partage de connaissances et de pratiques sur l"approche réaliste. KEYWORDS:program evaluation, realist approach, systematic review, com- plexity, method The realist approach is gaining popularity among social scientists, especially among those whose research objects are complex, such as programs, projects and public policies that seek to improve a social situation. Indeed, the realist approach has been adapted to the practice of program evaluation, and more recently of systematic review. Research methods rooted in critical realism seem better adapted to the demands of the movement for evidence-based decision-

79MESUREETƒVALUATIONENƒDUCATION, 2013, VOL. 36, No3, 79-108

and policy-making. However, the realist approach is still rarely known and used, especially among francophone evaluation researchers and students. The first objective of this article is thus to introduce in a didactic way the epistemologi- cal foundations and key concepts of the realist approach to program evaluation and systematic review. The second objective is to illustrate, through a case study of a realistic review, the conceptual and methodological learning about the prac- tice of realistic evaluation. This reflexive approach is part of a movement of sharing knowledge and best practices on the realist approach. PALAVRAS-CHAVE:avaliaão de programas, abordagem realista, revisão sistem‡- tica, complexidade, mŽtodo A abordagem realista está a ganhar popularidade entre os cientistas sociais, especialmente daqueles cujos objetos de investigaç"o s"o complexos: progra- mas, projetos e políticas públicas que visam a melhoria de uma situaç"o social. Com efeito, a abordagem realista foi recentemente adaptada para a prática da avaliaç"o de programas e da revis"o sistemática. Estas práticas de investigaç"o enraizadas no realismo crítico parecem mais adaptadas às exigências do movi- mento de tomada de decis"o ou de aç"o baseada em evidências científicas. No entanto, a abordagem realista é ainda pouco utilizada e conhecida, especial- mente entre estudantes e investigadores francófonos em avaliaç"o. O primeiro objetivo deste artigo é apresentar, de forma didática, os fundamentos episte- mológicos e os conceitos-chave da abordagem realista para a avaliaç"o de pro- gramas e a revis"o sistemática. O segundo objetivo é ilustrar, através de um estudo de caso - o de uma revis"o realista -, as aprendizagens concetuais e meto- dológicas para a prática da avaliaç"o realista. Esta abordagem reflexiva ins- creve-se num movimento de partilha de conhecimentos e de práticas sobre a abordagem realista.

Note des auteurs - Cet article est issu d"une prŽsentation rŽalisŽe en dŽcembre 2012 dans

le cadre d"un sŽminaire mŽthodologique intitulŽ Ç L"approche rŽaliste et ses applications

ˆ la santŽ mondiale È et coordonnŽ par le Programme interuniversitaire de formation en recherche en santŽ mondiale (SantŽ-Cap). La correspondance liŽe ˆ cet article peut tre adressŽe aux auteurs par courriel aux adresses suivantes : [emilie.robert.3@umontreal.ca] ou [valery.ridde@umontreal.ca].

ÉMILIEROBERTETVALÉRYRIDDE80

Introduction

sciences sociales, notamment ceux dont les objets de recherche sont com- plexes : programmes, projets ou politiques publiques qui visent ˆ modifier ou ˆ amŽliorer une situation sociale. En effet, l"approche rŽaliste a ŽtŽ adaptŽe ˆ la pratique de l"Žvaluation de programmes (Pawson & Tilley,

1997), et plus rŽcemment ˆ celle de la revue systŽmatique (Pawson,

Greenhalgh, Harvey, & Walshe, 2005). L"Žvaluation rŽaliste vise ˆ com- prendre, ˆ partir d"observations empiriques, une intervention, en s"intŽ- ressant spŽcifiquement aux mŽcanismes sous-jacents de l"intervention et ˆ ment une dŽmarche Žvaluative qui utilise les Žcrits existants pour com- prendre une famille d"interventions. Une Žvaluation rŽaliste ou une revue rŽaliste n"est pas une stratŽgie de recherche ˆ proprement parler. Il s"agit rŽalisme critique pour comprendre une intervention (Pawson et al., 2005). Ces pratiques de recherche Žvaluative semblent mieux adaptŽes aux exi- gences du mouvement de la prise de dŽcision ou de l"action fondŽe sur les preuves scientifiques (Pawson, 2006). Ainsi, elles s"inscrivent dans une perspective tant formative, en produisant des connaissances permettant d"amŽliorer les interventions, que fondamentale, en contribuant ˆ l"avan- cement des connaissances empiriques et thŽoriques. Pourtant, l"approche rŽaliste est encore peu connue et utilisŽe par les chercheurs, Žvaluateurs et Žtudiants francophones. Une partie de l"expli- cation ˆ cette situation est certainement ˆ trouver dans la complexitŽ de l"approche et la raretŽ des Žcrits en franais la concernant. En effet, les concepts de l"approche rŽaliste sont relativement bien connus ; plusieurs ouvrages (Henry, Julnes, & Mark, 1998 ; Pawson, 2006, 2013 ; Pawson & Tilley, 1997) et articles scientifiques (Pawson, 2002, 2003 ; Pawson et al.,

2005) sont dŽdiŽs ˆ l"Žvaluation rŽaliste ou ˆ la revue rŽaliste.

L"approche rŽaliste pour l"Žvaluation de programmes 81
NŽanmoins, ces concepts sont encore soumis ˆ des interprŽtations diverses ou ˆ des difficultŽs d"opŽrationnalisation (Calnan & Ferlie, 2003 ; Marchal, van Belle, van Olmen, Hoeree, & Kegels, 2012 ; Pawson & Manzano-Santaella, 2012). Sur le plan de la pratique, les articles empi- riques d"Žvaluation rŽaliste se multiplient dans des champs disciplinaires divers, et les revues rŽalistes commencent ˆ se dŽvelopper. Bien que leurs vŽes, rares sont ceux qui font l"exercice scientifique systŽmatique de mettre en perspective les concepts et la pratique de l"Žvaluation et de la revue rŽa- listes. Quant au dŽfi linguistique, seulement deux articles ont ŽtŽ recensŽs en langue franaise. Le premier est un chapitre de livre Žcrit par Blaise, pertinence de l"Žvaluation rŽaliste pour l"Žtude des inŽgalitŽs sociales de santŽ, face aux mŽthodes expŽrimentales. Toutefois, les auteurs ne met- tent pas en relation les concepts de l"approche rŽaliste avec la pratique de l"Žvaluation de programme. Le second est un article dans lequel sont mis Guichard, Blaise, & Van Holmen, 2011), sans nŽcessairement proposer des pistes de solution. Bien que ces deux Žcrits prŽsentent les concepts fon- damentaux de l"approche rŽaliste, ils n"adoptent pas une dŽmarche didac- tique qui permettrait d"en clarifier les concepts. Le prŽsent article tente de dŽpasser ces limites en jetant un pont entre la thŽorie et la pratique, ˆ partir de l"Žtude d"un cas concret d"une revue est consacrŽe ˆ l"explication didactique des concepts clŽs de l"approche rŽaliste. La seconde partie rend compte des dŽfis liŽs ˆ leur opŽrationna- lisation.É

MILIEROBERTETVALÉRYRIDDE82

L"approche rŽaliste pour l"Žvaluation de programmes 83
Sur le plan théorique : les concepts clés de l"approche réaliste ventions sociales, puisque c"est dans cette perspective que s"inscrivent l"Žva- luation de programmes et la revue rŽalistes. Ensuite, l"approche rŽaliste sera situŽe par rapport aux autres traditions ŽpistŽmologiques, et la vision de la causalitŽ selon le rŽalisme critique sera explicitŽe. Enfin, il sera ques- tion de l"approche rŽaliste pour l"Žvaluation de programmes et la revue systŽmatique en tant qu"approche fondŽe sur les thŽories. Comprendre et analyser les interventions sociales et complexes Çsociaux È, aux interactions sociales entre plusieurs individus ou groupes d"individus, ou encore aux interventions sociales. Plante (1994) propose une dŽfinition du terme Ç programme È :

ENCADRƒ 1

L"exemple d"une revue réaliste sur les politiques d"exemption des paiements directs des soins en Afrique sub-saharienne Dans le cadre d"un projet doctoral en santŽ publique, nous avons entre- pris une revue rŽaliste des politiques d"exemption du paiement direct des soins (PEP) dans les pays d"Afrique subsaharienne. Ces politiques permettent aux usagers de bŽnŽficier de soins de santŽ moderne gratuits au moment o ils reoivent les services. Elles peuvent concerner cer- taines catŽgories de population, comme les femmes ou les enfants, ou certains services, notamment les soins de santŽ primaire. Les PEP ont ŽtŽ payeur en vigueur depuis la fin des annŽes 1980. Selon ce principe, tout usager des services de santŽ doit payer tout ou partie des soins et/ou des vŽ dans ce contexte Žtait la grande difficultŽ pour les populations les plus pauvres d"accŽder aux soins, Žtant donnŽ le cožt des services. On a ainsi parlŽ de dŽpenses catastrophiques de santŽ, qui sont des dŽpenses engagŽes par les usagers pour se soigner et qui les entrainent dans la pauvretŽ. Nous avons publiŽ le protocole de recherche de cette revue en anglais (Robert, Ridde, Marchal, & Fournier, 2012). Il s"agissait de notre

ÉMILIEROBERTETVALÉRYRIDDE84

ensemble cohŽrent, organisŽ et structurŽ d"objectifs, de moyens et de per- sonnes qui l"animent .... [Il] est sous le contr™le d"une ou de plusieurs per- sonnes responsables de la qualitŽ de sa formulation et de son fonctionnement. [Il] est mis en place pour transformer des choses ou l"Žtat d"une chose. Les personnes dont il s"agit sont des acteurs sociaux qui agissent dans un environnement avec lequel ils sont en interaction. Steckler, & Glanz, 1988) illustre l"imbrication des diffŽrents niveaux qui constituent le monde social. Ainsi, l"individu se trouve au centre d"une multitude de couches sociales (famille, institution, communautŽ, sociŽtŽ). ensemble d"occasions favorables et d"obstacles ˆ l"action. Il en est de mme pour les interventions sociales puisque celles-ci s"intŽressent ˆ ces phŽno- L"approche rŽaliste pour l"Žvaluation de programmes 85
La complexitŽ, considŽrŽe comme un paradigme Žmergent de la monde qui a longtemps prŽdominŽ (Morin & Le Moigne, 1999). Pawson (2013) propose une Çcheck-listÈ de la complexitŽ des interventions sociales. Les ŽlŽments de cette Çcheck-listÈ sont dŽfinis dans le tableau 1 et illustrŽs avec l"exemple des politiques d"exemption des paiements directs en Afrique sub-saharienne (PEP).

Tableau 1

La " check-list de la complexité » et l"exemple des PEP [adapté de Pawson (2013) et Ridde, Robert, Guichard,

Blaise, & Van Holmen (2011)]

VolontésCe sont les individus - ˆ travers leurs dŽcisions et leurs volontŽs - qui font qu"une intervention va fonctionner ou non. Leurs choix sont motivŽs par plusieurs raisons qui n"appartiennent pas nŽces- sairement ˆ l"intervention. Les usagers décident de recourir ou non aux services de santé moderne gratuits mis en place par les PEP. Ce choix peut être motivé par la gravité de la maladie, la confiance dans le système de santé, etc. implique une multitude d"acteurs et d"institutions. Les PEP ont un nombre important de composantes incluant les modali- tés de financement, les mesures d"accompagnement, les mesures de suivi et d"évaluation, etc. Elles impliquent autant le personnel soignant que le personnel administratif à tous les échelons de la pyramide sanitaire. ContextesUne intervention est ench‰ssŽe dans plusieurs niveaux de contextes Les PEP sont mises en oeuvre à plusieurs échelons de la pyramide sani- taire. Elles interviennent dans des contextes ruraux ou urbains, de grande ou de relative pauvreté, caractérisés par un climat social plus ou moins serein et des traditions sociales et culturelles diverses. TempsUne intervention est un processus qui se dŽroule dans le temps. L"histoire de l"intervention influence ce processus. L"instauration des PEP a contribué à augmenter la fréquentation des services de santé. Étant donné les délais de remboursement des actes réalisés gratuitement sur le plan des formations sanitaires, cela a entraîné des ruptures de stock de médicaments, ce qui a contraint cer- tains agents de santé à faire payer les médicaments censément gratuits.

ÉMILIEROBERTETVALÉRYRIDDE86

RésultatsUne intervention produit un ensemble d"effets, attendus ou non, dont la mesure et l"interprŽtation sont difficiles. Les PEP produisent des effets en termes d"utilisation des services, de dépenses de santé, de rapidité de recours aux soins, etc. Ces effets sont hétérogènes selon les pays, les régions, les populations concernées, etc. Leur interprétation en est difficile : ainsi, la variation des effets en ter- mes d"utilisation des services peut s"expliquer par la restauration, dans certaines formations sanitaires, du paiement des soins, ou bien par les relations entre les soignants et la population qui favorisent ou limitent le recours aux soins, ou encore par les caractéristiques des populations couvertes par les formations sanitaires (éloignement géographique, niveau d"éducation, connaissances des modalités des PEP, etc.). interventions visant des rŽsultats similaires existent, et brouillent les pistes de l"Žvaluation. Les PEP existent en parallèle à de nombreux programmes visant à améliorer l"accès aux soins, tels que les mutuelles, le financement basé sur la performance, les programmes de transfert d"argent, etc. Leurs interactions modifient leurs comportements, leurs mentalitŽs, Les PEP sont des systèmes dans lesquels les usagers, les agents de santé, les membres des comités de gestion interagissent. Ces interac- tions influencent les comportements de ces acteurs et leurs façons de penser. Par exemple, les abus des usagers (stockage de médicaments, mensonges des mères sur l"âge des enfants pour bénéficier de la gratuité des soins aux enfants de moins de cinq ans, etc.) peuvent contribuer à affaiblir le soutien des agents de santé aux PEP, miner les relations entre les patients et les soignants, inciter les agents de santé à réintro- duire le paiement des soins, etc. Ces actions contribuent à transformer les PEP. La complexitŽ qui caractŽrise ce type d"interventions - dŽcrit souvent comme une Ç bo"te noire È (Weiss, 1970) - est ce que l"Žvaluation de pro- prendre. Le réalisme critique, une branche du post-positivisme Guba et Lincoln (1994) distinguent trois courants (ou paradigmes) de la philosophie des sciences : le positivisme, le post-positivisme et le constructivisme (voir tableau 2). Cette classification peut tre considŽrŽe comme idŽale, au sens wŽbŽrien du terme, dans la mesure o ces visions se situent sur un continuum et qu"il existe des nuances et des branches spŽ- cifiques ˆ chacune d"elles. Toutefois, ce tableau reste utile ˆ des fins pŽda- gogiques.

Tableau 2

Le réalisme critique dans la philosophie des sciences [adapté de Guba & Lincoln (1994)] OntologieRéalisme 'naÔf"Réalisme 'critique"Relativisme La réalité existeLa réalité existe maisLa réalité est une et peut être elle ne peut êtreconstruction locale, appréhendée.appréhendée que despécifique et sociale. manière imparfaite. ÉpistémologieObjectivitéObjectivitŽ compriseSubjectivité Les découvertescomme un 'gardien / Les découvertes sont vraies/exactes.agent de rŽgulation"sont créées.quotesdbs_dbs35.pdfusesText_40

[PDF] fonction affine coefficient directeur ordonnée ? l'origine

[PDF] réalisme et impressionnisme

[PDF] comment reconnaitre un tableau realiste

[PDF] l'impressionnisme en peinture

[PDF] réassurance facultative obligatoire

[PDF] spallanzani biographie

[PDF] frise chronologique mouvements artistiques

[PDF] frise chronologique littéraire vierge

[PDF] chronologie de la littérature française pdf

[PDF] frise chronologique mouvements littéraires 19eme siecle

[PDF] rebondissement théâtre

[PDF] formes et genres de l humanisme

[PDF] rebondissement anglais

[PDF] rebondissement synonyme

[PDF] le rebondissement dans la nouvelle