Next PDF List

4L'analyse des politiquespubliquesSteve Jacob et Christine Rothmayrl'evaluation de politiques ou de programmes publics est traditionnellement presentee comme une pratique an cree theoriquement et methodologiquement dans de nombreuses disciplines, dont 1'economie, lapsychologie et la sociologie.

Son lieu de naissance precis reste toutefoisplus difficileadeterminer, meme si certains auteurs n'hesitent pasaaffirmer que "la science politique est probablement Ie lieu de naissancede l'evaluation» (Schneider,1986,p.222;notre traduction).

Dans ce chapitre, nous n'avons pas la pretention de trancher definitivement ce debat.Nous nous attarderons davantage a decrire la parente entre l'evaluationet 1'analyse des politiques publiques, un champ de la science politiqueactuellement en pleine expansion.Plusieurs elements rapprochent en effet revaluation et 1'analyse despolitiques publiques.Primo,il s'agit de processus centres sur 1'examen de!'intervention de 1'Etat, et plus particulierement des ministeres et desorganismes qui Ie composent, par ses actions concretes et ses realisationsobservables.

Ces etudes apprehendent leur sujet par 1'angle d'un objetpolitique commun qui, bien souvent, est Ie secteur de 1'activite gouvernementa Ie (par exemple, emploi, economie, environnement ).Secunda,l' evaluation et 1'analyse des politiques alimentent Ie repertoire des70THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEconnaissances et des savoirs mobilisables par les decideurs et les gestionnaires.

II s'agit donc ici de la constitution d'un savoir davantage orientevers la resolution de problemes que vers la production de savoirs fondamentaux.

Les chercheurs et les evaluateurs developpent un langagecommun en vue de "dire la verite aux decideurs'», ce qui les place parfoisen position de conseiller du prince (Duran,1997).Tertia,les travauxd'evaluation et d'analyse des politiques accordent une place importanteau jeu des acteurs dans l'etude des processus, afin de prendre en consideration les enjeux de pouvoir comme nous allons Iefaire dans ce chapitre.En regIe generale, tous les acteurs qui se trouvent dans Ie perimetre de lapolitique ou du programme considere font 1'objet d'une attention particuliere, qu'ils relevent du secteur public (parlementaires, ministres, gestionnaires, etc.) ou du secteur prive (groupes d'interets, ONG, societecivile, etc.).Mais il existe egalement des elements de dissemblance entre 1'evaluation et 1'analyse des politiques, comme 1'atteste Ie scepticisme de Breweret deLeon(1983)a l' egard des travaux evaluatifs, dont les standards theoriques sont eleves mais qui, selon ces auteurs, se concretisent difficilement.La principale difference reside dans le jugement de valeur porte par l' evaluateur sur la politique ou Ie programme qu'il etudie.Ace sujet, VincentLemieux (2006a) considere que "1'analyse des politiques sert a decrire ouaexpliquer comment se realisent les politiques dans leurs differentesphases, alors que l' evaluation de programmes vise plutot a juger si lesprogrammes sont conformesades valeurs prescrites ou preSUmeeS».

Etce jugement n'est pas sans consequences sur les programmes, les decideursou les gestionnaires au sein des ministeres et organismes.

C'est a ce titreque "1'evaluation peut etre consideree comme un processus politique,c'est-a.-dire comme un ensemble de relations de pouvoir entre les acteursconCerneS» (Lemieux, 2006e).

En eifet, l'evaluation, comme les autresetapes des politiques publiques que nous decrirons ici, ne peut etre apprehendee sans prendre en consideration Ie fait qu'elle est une activite politique qui s'appuie sur une demarche methodologique rigoureuse.

Pourparvenir a.ses conclusions etases recommandations, et lorsque celles-cisont retenues, l'evaluateur initie un processus d'apprentissage et de changement plus ou moins important du programme evalue.

Nous reviendrons1.Notre traduction du celebre"speaking truth to power»de Wildavsky(1979).L'ANALYSE DES POLITlQUES PUBLIQUES ,.71un peu plus tard sur les differentes formes d'utilisation de la demarcheevaluative, qui ne se cantonnent pas a la description de constats, mais quiont par la suite aupres des decideurs et des gestionnaires des repercussionsqui, dans certains cas, peuvent entrainer l'abolition du programme.Afin d' etablir des liens entre I'evaluation et l'analyse des politiquespubliques, nous allons structurer notre explication autour du cycle de lapolitique.

Les grilles d'analyse sequentielles qui decoulent des travaux deLasswell(1956)et de Jones(1970)permettent de comparer une politiqueou un programme public a un organisme vivant dont la croissance estrythmee par des etapes successives allant de sa naissance jusqu' a sa mortou sa renaissance.

Une grille sequentielle regroupe donc, de fa<;:onordonnee, les etapes qui structurent Ie developpement d'une politique oud'un programme public.

Les differentes etapes du cycle de la politiquevarient selon les auteurs.

Dans ce chapitre, nous nous concentrerons surcinq etapes :1.La prise en compte de l'emergence et de !'identification d'un problemepermet de comprendre comment un probleme prive devient un probleme social, et donc d'apprehender les origines d'une eventuelleintervention publique par l' etude des controverses.2.La mise a l'agenda est l'etape au cours de laquelle un decideur (parlementaire, elu, gestionnaire), qualifie d'entrepreneur politique, s'implique activement dans Ia promotion des interets qui se sont construitsprecedemment, et ceia en vue de convaincre de Ia pertinence politiquede l'action de I'Etat en Ia matiere.

Cette implication resulte bien souventde la mobilisation d'acteurs, de ressources et de strategies variees (Cobbet Rochefort,1993).3·La formulation et 1'adoption d'une politique ou d'un programmeimpliquent 1'operationnalisation et 1'appreciation de differentes possibilites envisageables pour resoudre Ie probleme a 1'origine d'une intervention publique.4.

La mise en ceuvre a traita1'application des decisions adoptees precedemment.

Au cours de cette <:'tape,il arrive que des adaptations et desajustements soient necessaires pour parvenir a concretiser les intentions des decideurs (Pressman et Wildavsky,1973).5.revaluation et la terminaison s'interrogent sur l' evolution et la perennite des politiques et des programmes publics. revaluation n'etant pasunefin en soi, l'etude de la terminaison pennet d'observer l'utilisation72¢THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEde ses conclusions et recommandations quantal'apprentissage,alacontinuite oua1'abolition du programme, et Ie suivi qui en est donne(deLeon,1987),FICURE 4.1les etapes du cycle de la politique publiqueEmergence etMiseaFormulationMise enidedtification ~I'agenda~ et adoptionceuvreEvaluation~ Terminaisondu problemede la politiqueIISource: Inspire de Muller,2003,p.24Cette schematisation du cycle d'une politique publique est une fiction,tant pour les analystes des politiques publiques que pour les evaluateurs.Les analystes savent que, bien souvent, ces sequences s'intercalent, sechevauchent, voire se superposent (Sabatier,1997).De leur cote, les evaluateurs savent que l'evaluation n'intervient pas uniquementala fin ducycle des politiques en vue de Ie boucler.l'evaluation viseaproduire unsavoir sur Ie fonctionnement et les effets d'une politique en1'apprecianta1'aune de plusieurs criteres comme 1'opportunite, la pertinence, l'efficaciteet l'efficience, Ces connaissances serventapiloter la conduite de l'actionpublique.De ce point de vue, et contrairementala vision suggeree par 1'analysesequentielle des politiques, il est illusoire et artificiel de considerer quel' evaluation n'a lieu qu'apres l' etape de la mise en ceuvre.

En tant qu'instrument de pilotage, il est possible de mobiliser l' evaluation au cours dechacune des phases d'une politique ou d'un programme.

Dne evaluationex antepeut en effet aLimenter les etapes de l'emergence d'un probleme,de la miseal'agenda ou de la formulation d'une politique, puisque, s'ils'agit par exemple de grands projets environnementaux ou d'infrastructure, ses resultats ec1airent les decideurs sur leur faisabilite et les impactsqui en sont attendus.

Au moment de la mise en ceuvre d'une politique, lesdecideurs ou les gestionnaires publics peuvent commander une evaluationconcomitante afin de documenter Ieprocessus de la mise en ceuvre et d'yapporter des adaptations.

Enfin, apres quelques annees de mise en ceuvred'une politique, certains souhaitent identifier, mesurer et analyser leseffets de 1'action publique au moyen d'une evaluationex post(il s'agit duL'ANALYSE DES POLITIQUES PUBLIQUES "73type d' evaluation dont il est Ie plus souvent fait mention dans lalitterature).La litterature en administration publique nous enseigne que l' evaluation n'est qu'un instrument de pilotage parmi d'autres (par exemple,verification, suivi, audit ) et qu'il n'est pas toujours evident de les distinguer avec precision.

Ainsi, avec la montee en puissance du paradigmemanagerial, centre sur la performance, l' evaluation apparait davantagecomme un instrument de gestion qu'un outil de contr6le (Segsworth,2004).

Neanmoins, Ie principal element qui permet de distinguer l'evaluation des autres instruments de pilotage de 1'action publique reside dans1'attention qu'elle porte aux effets d'une politique ou d'un programme,c'est-a-dire aux changements (positifs ou negatifs, souhaites ou inattendus ) engendres aupres des acteurs.

De ce point de vue, les autresinstruments de pilotage ne disposent pas des outils methodologiques leurpermettant d'identifier et d'isoler avec precision les effets imputables a1'intervention publique.

Enfin, 1'evaluation peut entrainer un questionnement et donc une remise en cause de la pertinence ou de 1'opportunitedes decisions prealables.Cependant, malgre les limites traditionnellement enoncees a 1'encontrede cette approche sequentielle, il nous apparait tout de meme utile derattacher cette schematisation au processus d' evaluation.

En effet, il noussemble opportun d'utiliser ce cycle pour analyser et comprendre lademarche evaluative.

Cette deconstruction analytique permet d'isoler lesmoments des du processus et de se concentrer sur les interactions entreles differents acteurs de l' evaluation (commanditaires, evaluateur, evalues).

Au-dela de cette schematisation, nous nous attarderons egalementsur les principales theories d'analyse des politiques publiques qui nousaident a mieux comprendre Ie deroulement du processus evaluatif.

A ceteffet, la litterature sur 1'analyse des politiques enrich it la comprehensionde la pratique evaluative.

Dans ce chapitre, nous allons nous appuyer surI'analyse des politiques publiques pour mieux definir la pratique de l' evaluation et presenter les principaux enseignements theoriques relatifs achacune des phases definies ci-dessus.

Cela nous permettra de mettre enevidence les facteurs cles que les evaluateurs doivent avoir a 1'esprit poursurmonter les ecueils qui jalonnent Ie processus evaluatif.74¢THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMELajustification de I'evaluation: emergence et identification du problemeDans une dimension centree sur la resolution des problemes, l' emergenced'une politique ou d'un programme resulte d'une volonte de changementen vue d'ameliorer une situation vecue par certains membres de la collectivite (par exemple, ehOmage, delinquanee, pollution ).

Pour eela, ilest indispensable que la situation problematique a laquelle sont confrontesles benetieiaires pressentis d'une intervention publique soit erigee enprobleme eolleetif ou public, c'est-a-dire que celle-ci soit sortie de la sphereconfidentielle ou privee dans laquelle elle se trouve a 1'origine (Garraud,1990).L'evaluation est parfois presente dans tette vision "traditionnelle»de l' emergence d'une politique, puisqu'illui arrive d'alimenter cette premiere etape du cycle de la politique.

Dans certains cas, l'evaluation attire1'attention du public sur un probleme specifique et s'avere done etre unedes sources potentielles d'information qui permettent d'identifier unprobleme autour duquel une demande, voire une revendication sociale,pourra eventuellement se structurer.

En 1'absenee de eette mobilisationet de cette reconnaissance soeiale de la situation privee problematique,celle-ci ne sera pas thematisee politiquement et ne donnera pas lieu a uneintervention publique (Knoepfelet al.,2001).

L'intervention publiqueresulterait donc d'un processus structure en dilferentes etapes: 1'identification d'un probleme(naming),la designation des causes et des responsabilites(blaming)et la revendication d'un changement(claiming)(CobbetRoss,1997).En prenant en consideration tous ces elements, il est entenduque la fa<;:ondont Ie debat va s'organiser influeneera considerablement lasuite des operations.

De ce point de vue, les analystes de politiques observent couramment que la structuration du debat oriente Ie registre dessolutions dans lequel puiseront ensuite les deeideurs.La realisation d'une evaluation n'est possible que si des aeteurs enmanifestent Ie desir.

La necessite, et parfois meme 1'urgenee, d'une evaluation resulte de 1'apparition de problemes serieux dans Ie fonctionnement d'un programme ou de deficits de mise en ceuvre dans une politique,qui s'observent sous la forme de dysfonctionnements de la gestionpublique.

Dans ce cas, la crise devient un revelateur montrant l'urgenced'entreprendre une evaluation en vue d'alimenter Ie debat a 1'aide dedonnees probantes(evidence-based policy)ou de faire taire une polemiqueou une controverse publiques.Acet egard, les decideurs ou gestionnairesL'ANALYSE DES POLITIQUES PUBLIQUES75con frontes a une crise insistent sur la necessite de faire toute la lumiereavec transparence sur ce phenomene (Jacob, 2006); l'evaluation externeconstitue alors une voie commode, puisqu'elle permet de s'appuyer surl'analyse d'une tierce partie (l'evaluateur) presentee comme neutre,experte et impartiale.Dans d'autres cas, la realisation d'une evaluation est prevue par Iedecideur lui-meme, qui peut adopter une clause evaluative.

Les clausesd' evaluation sont des dispositions que Ielegislateur insere dans une loi etqui rendent obligatoire la realisation d'une evaluation dans un delai plusou moins impose.

Une telle clause peut etre plus ou moins detaillee, allantde la simple intention d' evaluation a la mention des conditions pratiquesde la demarche evaluative.

Ces clauses permettent aux evaluateurs d'anticiper les attentes du commanditaire et favorisent un travail preparatoireen matiere de collecte des donnees, d' elaboration d' instruments de mesureetde suivi, ainsi que de planification de l'exercice.Le type de raisonnement a des consequences sur les objectifs de l'evaluation (notamment sur !'implication, la collaboration, voire la conflictualite) a toutes les etapes ulterieures: au cours de la definition du mandat, aumoment de !'implication des acteurs pendant la realisation de l' evaluationet, bien sur, lors de I'utilisation, au moment du suivi, des conclusions etdes recommandations.

Sil'evaluation est "imposee»,elle apparait commeun instrument de contr61e aux yeux de ceux qui sont presentes com meetant les responsables de la situation denoncee initialement.

Ils auront peur,se mefieront de I'exercice et tenteront d'en freiner la progression. On peutaussi denoncer la partialite ou l'instrumentalisation politique des resultatsproduits.

En conclusion, a l'issue de cette premiere etape, il est indispensable que l'evaluateur s'interroge sur I'origine de son mandat (d'Ollvient-il?qui I'a defini?)afin d'anticiper la suite du processus.Lacommande de "evaluation: misea"agendaDe nombreux auteurs considerent que la phase de la mise a l'agenda estcruciale pour la formulation et la mise en O;?uvreulterieures des politiqueset des programmes publics (Kingdon,1984;Baumgartner et Jones,1993).Leurs explications s'appuient sur deux raisons principales.

En premierlieu, la phase de miseal'agenda apparait comme un filtre qui permet dedeterminer quels sont les enjeux qui figureront, ou non, sur l'agenda76.•THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEpolitique.

Les analystes de politiques ont demontre qu'il ne suffit pas dese demander quels sont les acteurs qui parviennent a faire emerger unenjeu sur 1'agenda politique pour comprendre ce processus.

En eifet, lesanalyses s'enrichissent lorsque l'on prend en consideration1es acteurs quiont Iepouvoir d'entraver l'inscription d'un probleme a 1'agenda (Bachrachet Baratz,1963).En second lieu, 1esana1ystes qui se concentrent sur cetteetape insistent sur l'importance d' etudier la maniere dont un problemeou un enjeu est (re)configure au cours de cette etape du cycle de la politique.Ace stade, la definition et la traduction d'un probleme dependentdes interets et des valeurs des acteurs impliques et se repercutent sur ladefinition des objectifs de la politique a venir et sur Ie type de solutionsqui seront finalement retenues (Stone,1989;Cobb et Rochefort,1993).Ces travaux peuvent alimenter les reflexions sur la decision d'entreprendre, ou non, une demarche evaluative.

Dans cette perspective, lacommande d'une evaluation ne se limite pas a ses aspects "technocratiques»,mais revet une dimension politique importante.Tout d'abord, la decision d' evaluer un programme ou de se concentrersur une de ses dimensions precises est determinee par la fonction occupeepar Ie commanditaire potentiel et par ses interets, mais aussi par sesconnaissances sur Ie programme concerne.

C'est a cette etape qu'ondetermine si cette evaluation repondaun besoin general et qu'on endefinit les objectifs specifiques.

Les n~ponses aux questions "Pourquoientreprendre une evaluation?» et "Quels sont Ies objectifs poursuivis parIe commanditaire? » dependent fortement des acteurs qui initient l'exercice et de leur capacite d'inscrire la necessite d'une evaluation a 1'agendaadministratif.

Dans une perspective pluraliste, nous pouvons imaginerque Ie "jeu evaluatif» est ouvert a tout Ie monde (Dahl,1961).Ce point devue est d'ailleurs renforce par les theoriciens de l' evaluation qui plaidentpour la prise en compte d'un eventail d'interets elargi (Patton, 2000;Fetterman,2001)et qui encouragent la democratisation de Ia demarcheevaluative (House et Howe, 2000).

Cependant, les responsabilites et lesprerogatives ne sont pas les memes pour toutes les parties prenantes enpresence.

La capacite pour un acteur d'entreprendre ou non une evaluation est inf1uencee par la maniere dont Ia pratique est institutionnaliseeaupres des organes parlementaires, gouvernementaux ou administratifs(Jacob, 2005), ou par l'existence plus ou moins systematisee de clausesevaluatives.L'ANALYSE DES POLlTIQUES PUBLIQUES •.77Dans la pratique, la decision d'entreprendre une evaluation provientbien souvent des fonctionnaires responsables de la mise en ceuvre de lapolitique ou du programme, des gestionnaires publics ou des institutionsgouvernementales de verification et de controle (Segsworth,2002).Lesfonctionnaires de premiere ligne peuvent egalement concourir ala prisede conscience du besoin d'evaluer une politique ou un programme, memesi leur influence reste limitee, puisque leurs capacites decisionnelles sontpeu developpees.

Lorsqu'un programme ou une politique est l'objet d'unecontroverse, il arrive que les decideurs (parlementaires, ministres, hautsfonctionnaires ), les groupes d'interets ou meme les citoyens fassentpression pour conduire une evaluation (Jacob,2007,p.185-190).Toutefois,cela represente plut6t 1'exception que la regIe.Par ailleurs, les motivations qui amenent les acteurs a entamer uneevaluation ne sont pas toujours transp