[PDF] compresser un pdf trop lourd en ligne
[PDF] compresseur abac
[PDF] compresseur abac 100 hp2
[PDF] compresseur abac 100l
[PDF] compresseur abac 500l
[PDF] compresseur abac 50l
[PDF] compresseur abac pdf
[PDF] compresseur airmaster lt 24
[PDF] compresseur ammoniac
[PDF] comprimer la laine de verre pour la couper
[PDF] comptabilisation des salaires pdf
[PDF] comptabilisation des salaires selon le syscoa pdf
[PDF] comptabilité 1
[PDF] comptabilité 1 année bac
[PDF] comptabilité 1 bac bilan
L'ÉVALUATION : NÉCESSITÉ OU GADGET ?
par Sylvie TROSA L'évaluation est désormais une obligation constitutionnelle. La consécration institutionnelle de l'évaluation depuis le 23 juillet
2008 devrait ouvrir la voie à des pratiques riches et diversifiées. L'évalua-
tion est désormais constitutionnelle : l'article 47-2 de la Constitution prévoit explicitement que " la Cour des comptes assiste le Parlement dans le contrôle de l'action du Gouvernement. Celle-ci assiste désormais le Parlement et le Gouvernement dans le contrôle de l'exécution des lois de finances et de l'application des lois de financement de la sécurité sociale mais aussi dans l'évaluation des politiques publiques. Par ses rapports publics, elle contribue à l'information des citoyens ».
Nul ne peut ignorer la loi.
L'Assemblée nationale consacre désormais une semaine par mois au contrôle et à l'évaluation des activités gouvernementales ou des politiques publiques, pratique qui est en cours d'expérimentation. Par-delà le changement constitutionnel, les bases de l'évaluation sont inscrites dans la modernisation de l'État depuis 2006. En effet la LOLF prévoyait en créant des programmes que ceux-ci soient évalués. Elle supposait aussi que chaque programme soit déroulé selon ce que l'on appelle communément la chaîne des résultats, c'est-à-dire la nécessité de mettre de la cohérence entre les finalités, les objectifs à atteindre, et la façon de mesurer et d'évaluer les résultats ainsi que d'instituer une réflexion sur la meilleure stratégie de mise en oeuvre. Elle était aussi sous-tendue par une forte volonté de responsabilisation des fonctionnaires, donc par une déconcentration forte des moyens vers les unités responsables de leurs résultats et de leur gestion. Ce sont là les prémisses nécessaires d'une " culture de l'évaluation » afin que les fonctionnaires se préoccupent non pas seulement de leur acti- vité mais aussi de ce qu'elle apporte aux citoyens et à la société dans son ensemble. C'est ainsi que cela s'est passé dans d'autres pays MF_EPPAAP_02_Trosa.fm Page 1 Vendredi, 23. octobre 2009 9:17 09
2Évaluer les politiques publiques pour améliorer l'action publique
de l'OCDE. En France, nous ne sommes pas encore à ce niveau de changement des esprits et des pratiques. Espérons que l'esprit de la LOLF s'incarnera de plus en plus. De même la révision générale des politiques publiques, comme l'indique son intitulé même, suppose une évaluation régulière et systématique des politiques publiques. Ce nouveau contexte donne d'autant plus d'actualité aux travaux de ce livre qui se veut un panorama international présentant les enjeux et les acquis de l'évaluation afin de montrer la vivacité de cette pratique.
Les convergences internationales.
Des conclusions communes se dégagent de l'ensemble des textes. La première convergence, la plus fondamentale, se trouve dans ce que l'on attend de l'évaluation. S'agit-il de blâmer, de repérer les prin- cipaux dysfonctionnements ou bien d'améliorer tant la performance au quotidien que les politiques publiques, dans un souci constructif ? Ce projet peut paraître plus modeste et moins médiatique, mais ne poursuit pas la même finalité. Ceci pourrait se nommer l'" évaluation- compréhension », ce qui ne signifie pas l'évaluation indulgence, ni l'évaluation capturée par des intérêts particuliers. Il est nécessaire de définir précisément le sens qu'on donne à l'évaluation avant de s'y lancer. Cherche-t-on une évaluation qui se veut jugement ? Cherche- t-on une évaluation dont le but est de comprendre les phénomènes observés et notamment les écarts entre les objectifs et les résultats ? Cette dernière acception ne suppose pas nécessairement de jugement direct sur les services et les personnes, mais sur les modalités de mise en oeuvre, les stratégies, les systèmes d'incitation, la logique des acteurs, la pertinence des objectifs au regard des résultats, etc. En fait, le mot évaluation est moins chargé de l'idée de " jugement de valeur » dans d'autres langues que la nôtre. L'évaluation se rapproche ainsi de la prospective : comprendre ce qui s'est passé - ou se passe - pour répondre à des questions importantes pour l'avenir et pour l'action. En ce sens, il n'y a pas adéquation totale entre l'évaluation des performances (qu'il est en général assez facile d'attribuer à un orga- nisme public) et l'évaluation des impacts, car les impacts ne sont jamais ou rarement le fait d'un seul acteur : ils ne lui sont pas imputables. N'est imputable que ce que sur quoi l'on a des leviers MF_EPPAAP_02_Trosa.fm Page 2 Vendredi, 23. octobre 2009 9:17 09
L'évaluation : nécessité ou gadget ?3
d'action (ou moyens d'action) effectifs. Cette distinction est plus claire à l'étranger que dans nombre de débats français, notamment autour de la LOLF. Il a en effet été demandé simultanément aux minis- tères de fixer des indicateurs socio-économiques (donc ne relevant pas de leur seule responsabilité) et de pouvoir s'en montrer responsables (cf. la contribution de Maurice Baslé). Il manque ici une jonction que les autres pays appellent chaîne de résultats ou logique d'intervention, qui explique comment l'on passe des objectifs généraux à des actions concrètes et grâce à quels leviers d'action. Cela pourrait aller sans dire, mais il a fallu vingt ans au Royaume-Uni pour parvenir à analyser non seulement les services délivrés par les administrations mais aussi leur contribution aux impacts réels des politiques publiques. Pour prendre l'exemple le plus caricatural, il a fallu faire accepter aux ministres, au ministère des Finances et aux fonctionnaires le fait que l'on ne peut ni rendre le ministère de l'Emploi responsable du taux de chômage ni s'abstenir d'analyser sa performance en la matière. De plus cette attitude positive est moins évidente à tenir qu'il n'y paraît. Un évaluateur qui va sur le terrain pourra être légitimement choqué par ce qui dysfonctionne et en faire état. Repérer qui travaille mal est plus simple que de comprendre les mécanismes qui font que des situations apparemment aberrantes perdurent, ou encore de comprendre et de mettre en valeur ce qui marche bien. L'évaluation doit aussi valoriser ce qui est positif. Une telle analyse suppose plus de distance, de temps et de travail et une approche systémique. La deuxième convergence réside dans le fait que l'évaluation ne peut se faire sans la collaboration des évalués et des parties prenantes pour obtenir les informations pertinentes et connaître les jeux d'intérêt existants autour de la politique mise en oeuvre. Plus fondamentale- ment, l'évaluation doit gérer non seulement des faits mais aussi des perceptions (cf. la contribution de Nicoletta Stame). Si les perceptions n'évoluent pas, les conclusions de l'évaluation resteront lettre morte (" On ne change pas l'État par décret »). On entend souvent dire, pour discréditer l'évaluation, qu'il y aurait autant de points de vue que d'experts. Mais avoir une diversité d'analyse n'est pas en soi antidé- mocratique, au contraire. L'important est de trouver des modes de dialogue non antagonistes qui permettent de rechercher des solutions plutôt que d'affirmer des positions. Par ailleurs, l'évaluation doit MF_EPPAAP_02_Trosa.fm Page 3 Vendredi, 23. octobre 2009 9:17 09
4Évaluer les politiques publiques pour améliorer l'action publique
atteindre une dimension aussi objective que possible. Il n'y a donc pas d'évaluation sans faire confiance à la connaissance, tout en sachant que cette dernière n'est jamais monolithique, que la vérité n'est pas unique ! Là réside l'équilibre difficile, mais en même temps productif, de l'évaluation. Car la production de conclusions aussi fondées que possible permet l'apprentissage de ces conclusions par les acteurs responsables de la politique. L'évaluation est donc un travail de conci- liation entre la production de données objectives et les " représen- tations » des acteurs sociaux. Ni l'un ni l'autre ne suffisent pourtant. Car, lorsque des préjugés sont fortement établis, il est nécessaire de les comprendre avant de fonder les arguments qui permettront de les démonter. La problématique de l'évaluation est l'antithèse de la culture du rapport. L'évaluation cherche à développer ce que l'on appelle parfois " l'apprentissage collectif ». Pour y parvenir, il faut utiliser les chiffres et les études pour faire évoluer les modes de travail des partenaires de la politique mise en oeuvre avant même que le rapport d'évaluation ne soit remis. L'évaluation est alors une sorte de propédeutique à la décision. Ceci n'équivaut pas à une recherche de consensus à tout prix, l'évaluation ne diminue pas la nécessité de l'arbitrage et de la construction d'un intérêt général. La troisième convergence est celle de la nécessité d'approches pluridisciplinaires. Cette conclusion commune aux textes réunis dans cet ouvrage ne relève pas d'un tropisme oecuménique mais du fait que la vie elle-même, les comportements humains sont mus par des considérations de différents niveaux et ne sont pas unilatéraux : considérations économiques, protection de son intérêt propre, mais aussi valeurs qui nous dépassent, paradigmes non formulés, cultures, symboliques qui nous meuvent, normes sociales... L'interdisciplinarité n'est donc pas un acte de bonne volonté entre les disciplines mais un fait lié à la compréhension du caractère multi- forme tant des motivations humaines que des problèmes à résoudre (même une évaluation de la comptabilité publique mettra en évidence des valeurs et des choix implicites, que l'on pense au décalque de la notion de juste valeur utilisée dans le privé). Le temps des gadgets à la mode est donc révolu : les analyses coûts- avantages, les "random control trials », etc., ont leur place, mais pas toute la place. MF_EPPAAP_02_Trosa.fm Page 4 Vendredi, 23. octobre 2009 9:17 09
L'évaluation : nécessité ou gadget ?5
De plus, la volonté de comprendre nécessite que la conduite des évaluations ne soit pas de la compétence d'un seul corps ou d'une seule spécialité ou technicité et que les disciplines appelées à y contri- buer soient différentes selon les questions à résoudre. Par exemple, savoir pourquoi l'argent injecté dans les ZEP n'améliore pas les résul- tats des élèves demande de l'analyse sociologique, des enquêtes auprès de tous les intéressés (enfants, parents, professeurs, élus) et une aptitude à évaluer les modalités pédagogiques. On est loin de l'image du haut fonctionnaire qui, parce qu'il a été recruté selon des critères très sélectifs, est supposé être omniscient. Comment savoir alors quelles disciplines sont nécessaires ? Pour faire ces choix, il faut faire appel à toutes les techniques d'analyse des politiques publiques qui en font émerger les composantes et permettent ainsi de dégager les méthodes pour les évaluer. Pour raccourcir les délais d'appel à ces compétences diverses au bon moment selon les besoins, une bonne façon de procéder est de passer un marché pluriannuel incluant une série d'experts par domaines de compétences, à qui le maître d'ouvrage peut ensuite faire appel très rapidement de gré à gré.
L'évaluation et les pratiques connexes.
Les disciplines qui contribuent à cerner les résultats de l'action publique doivent se conjuguer et non s'ignorer, tel est l'un des messages forts de cet ouvrage. La première question, presqu'obligatoire, est de savoir ce qu'est l'évaluation comparée aux autres disciplines existantes. Le texte d'Annie Fouquet nous permet de clarifier ce que chaque discipline apporte à l'autre. Tentons des définitions simples et qui ne dévalorisent aucune pratique existante à ce jour. Il s'agit ici de traiter, en tentant de ne pas céder au jargon, essentiellement de trois activités : le pilotage de la performance, les audits de performance et l'évaluation. Ces activités se recouvrent en partie, mais elles sont cependant identifiables, ne serait- ce que par les différentes communautés professionnelles qui s'y recon- naissent. Chacune multiplie ses formes d'exercice et se cherche en évoluant. Il peut arriver de ce fait que des praticiens de deux professions MF_EPPAAP_02_Trosa.fm Page 5 Vendredi, 23. octobre 2009 9:17 09
6Évaluer les politiques publiques pour améliorer l'action publique
définissent leurs activités réciproques de façon contradictoire, qu'un même mot recouvre des réalités différentes, ou même qu'on ne sache pas encore nommer certaines pratiques nouvelles. Le pilotage de la performance vise l'amélioration continue de la politique examinée, en comparant les objectifs et les résultats atteints. Les systèmes comptables jouent à cet égard un rôle décisif. Le pilotage de la performance (performance monitoring) est une extension des systèmes d'information de suivi. Cette activité porte une attention particulière aux résultats obtenus, par exemple grâce à des tableaux de bord traditionnellement élaborés par les contrôleurs de gestion, et qui se concentrent sur les produits et services délivrés par les organisa- tions publiques. L'audit de performance recherche et identifie des dysfonctionne- ments des organisations et en examine les causes, avec notamment le souci de savoir qui est l'auteur de la performance ou de la non perfor- mance, en vue d'apprécier le fonctionnement des institutions concer- nées. Pour autant que des questions sur les résultats réels de l'action publique soient soulevées par les travaux, l'audit de performance se contente généralement d'hypothèses explicatives plutôt que d'analyses approfondies, faute de temps et d'équipes à même de les réaliser. L'évaluation se préoccupe moins de juger les institutions que d'améliorer les politiques. Elle peut cependant aller jusqu'à ques- tionner la raison d'être des actions publiques qu'elle examine. Elle étend ses analyses aux impacts avec une réelle exigence méthodolo- gique. L'évaluation des politiques publiques (Policy and program evaluation) prend son origine dans la recherche en sciences sociales et dans son application à la (re)définition des politiques et des programmes publics. Ces trois disciplines ne sont pas opposées mais complémentaires. Le pilotage est nécessaire car faute de continuité de chiffres et de données, audit et évaluation sont obligés de reconstruire " l'histoire » de la mise en oeuvre des actions publiques, ce qu'elles ont beaucoup de peine à faire rétrospectivement. La qualité des mécanismes de suivi et de gestion est donc essentielle. L'audit de performance et l'évaluation des politiques sont aussi complémentaires dans le sens où le premier cherche à imputer les problèmes identifiés aux institu- tions qui en sont responsables tandis que la seconde analyse des MF_EPPAAP_02_Trosa.fm Page 6 Vendredi, 23. octobre 2009 9:17 09
L'évaluation : nécessité ou gadget ?7
impacts qui relèvent le plus souvent d'une responsabilité partagée. Si c'est le cas, ceci suppose un apprentissage collectif et la création d'un savoir commun entre les différents acteurs responsables d'une même politique. Le rythme des activités crée à l'évidence une différence. L'audit de performance et l'évaluation des politiques sont réalisés occasionnelle- ment ou à des intervalles de temps de plusieurs années. Ils ont de ce fait la possibilité de réaliser des analyses plus difficiles, d'envisager des remises en cause plus profondes et de conduire à des réformes plus substantielles, toutes choses qu'il est moins facile de faire dans une démarche d'amélioration en continu. À l'inverse, le pilotage de la performance a un meilleur potentiel de mobilisation des acteurs, une capacité d'alerte avancée et une congruence avec la temporalité courte des mandats électoraux, toutes choses qu'on ne peut pas attendre d'un exercice qui intervient tous les cinq ans ou même plus rarement. C'est pour cela que les différentes disciplines qui ont trait aux résultats devraient travailler ensemble. Or, comme on le sait, rapprocher des milieux professionnels est l'exercice le plus difficile car chacun craint de perdre son territoire.
Quand peut-on vraiment parler d'évaluation ?
La définition de l'évaluation ne fait pas encore l'objet d'un consensus, probablement en raison de l'histoire des pays. Ce livre permet de savoir que chacun est d'accord pour y voir l'analyse de l'efficience (ratio moyens/résultats), de l'efficacité (degré d'atteinte des objectifs) et de la pertinence (qu'est-ce que de bons ou de mauvais résultats nous apprennent sur la pertinence des objectifs, voire sur leur nécessaire reformulation). Le texte d'Annie Fouquet est une aide précieuse à la compréhension des concepts et des enjeux de l'évaluation. Pour autant, la communauté internationale parle en réalité de la même chose en employant des mots différents, ce qui ne peut qu'induire des quiproquos. Ainsi Peter van der Knaap voit-il avant tout dans l'évaluation des études, basées sur une méthodologie rigoureuse, qui donnent des indications sur les résultats obtenus mais n'entrent pas dans l'explication des processus qui y ont mené, de leurs causes éventuelles ni de la question fondamentale " aurait-on MF_EPPAAP_02_Trosa.fm Page 7 Vendredi, 23. octobre 2009 9:17 09
8Évaluer les politiques publiques pour améliorer l'action publique
pu faire autrement ? ». Ces questions relèvent, selon lui, de l'audit de performance. En France, les définitions sont exactement inverses : le constat des données et les hypothès es sur leur existence relèvent de l'audit tandis que l'évaluation est la démarche la plus large et la plus englobante. Gageons que des débats internationaux, organisés par les sociétés d'évaluation notamment, permettront de lever ces ambi- guïtés. Cette confusion entre les différentes méthodes soulève pour- tant un point important car dans la vision des audits de performance menés par les cours des comptes, il est affirmé qu'elles seules peuvent poser des questions de remise en cause fondamentales des politiques tandis que les ministères, attachés à ce qu'ils ont créé, seraient voués à des évaluations relevant plus de l'amélioration des dispositifs et processus. Ce partage des rôles est-il exact et fructueux ? Il y a là, semble-t-il, matière à conduire une évaluation des différentes pratiques évaluatives. Pour autant, il existe un point commun entre les auteurs : l'évalua- tion commence avec la question du " pourquoi ». Pourquoi les choses fonctionnent ou ne fonctionnent pas ? Pourquoi les résultats que l'on attendait n'ont pas été atteints ? Pourquoi le réel échappe à nos prévisions ? Pourquoi la rationalité des objectifs et des chiffres ne résume qu'une petite part de la richesse des pratiques des fonctionnaires ? Certes, de nombreux débats méthodologiques montrent la difficulté d'une " preuve » scientifique de la raison d'être de ce " pourquoi ». Le texte de Jan-Eric Furubo le montre bien. Mais, parfois il faut être aussi humble que les sciences exactes et acce pter que, même si l'on ne peutquotesdbs_dbs18.pdfusesText_24
Politiques Publiques - Free