[PDF] Pour une évaluation de cinquième génération

View - Download Pour une évaluation de cinquième génération

Previous PDF

Next PDF

C-18-2005

Pour une évaluation

de cinquième génération

Jean-Marc Fontan, ARUC-ÉS, UQÀM

Élaine Lachance, Professionnelle de recherche

Décembre 2005

Cahiers de l'ARUC-ÉS

Cahier N° C-18-2005

" Pour une évaluation de cinquième génération »

Jean-Marc Fontan, ARUC-ÉS, UQÀM

Élaine Lachance, Professionnelle de recherche

ISBN 2-89276-389-4

Dépôt Légal: Décembre 2005

Bibliothèque Nationale du Québec

Bibliothèque Nationale du Canada

i

Table des matières

1. Les quatre générations cumulatives de l'évaluation.................................................p.3

1.1 Éléments d'histoire de l'évaluation......................................................................p.3

1.2 Le caractère politique de l'évaluation..................................................................p.7

1.2.1 La nature de l'évaluation....................................................................................p.7

1.2.2 Le contexte de l'évaluation .................................................................................p.9

2. Renouveler l'approche évaluative ?..........................................................................p.12

2.1 Des constats de recherche ..................................................................................p.14

3. Pour une 5

e

3.1 Première dimension : sortir de l'évaluation spontanée et dépasser le bilan .....p.18

3.2 Deuxième dimension : internalisation de la pratique.........................................p.18

3.3 Troisième dimension : s'approprier culturellement l'évaluation.......................p.19

1

Présentation

Les organisations de la société civile, plus particulièrement celles du mouvement associatif

s'identifiant par sa nature communautaire, expriment de plus en plus d'attentes auprès des universitaires pour renouveler les méthodes d'évaluation des interventions qu'elles réalisent. Ce besoin est directement lié aux pressions exercées par leurs " partenaires

financiers ». Les ministères et agences publiques veulent mieux connaître l'impact auprès

des populations visées des investissements réalisés dans les ressources communautaires externes. Il est demandé aux chercheurs universitaires deux choses. Premièrement, le mouvement communautaire aimerait que les chercheurs soient en mesure d'adapter la " méthode évaluative » aux caractéristiques et aux besoins spécifiques de leurs organisations. La phrase clé qui revient est celle-ci : aidez-nous à construire de nouveaux indicateurs qualitatifs qui puissent mieux refléter notre intervention. Deuxièmement, il est aussi demandé aux chercheurs des pistes de solutions pour aider le mouvement à régler les problèmes découlant d'une contractualisation mettant en scène des acteurs aux pouvoirs inégaux. Une autre phrase clé souvent utilisée par les leaders du mouvement est celle-ci :

aidez-nous à nous faire reconnaître " à part entière par l'État ». En d'autres mots,

indiquez-nous comment, par l'évaluation, il est possible de démontrer toute la légitimité, la

nécessité et l'utilité d'un mode d'intervention qui est partiellement reconnu par l'État.

Cet article présente des éléments de solution à ces deux demandes. Pour y répondre, nous

avons développé une réflexion au CRISES et à l'ARUC-économie sociale. Cette réflexion

s'est structurée à même un plan de travail souple qui a permis à une vingtaine de personnes

dans au moins quatre projets de mettre à jour la méthode évaluative. L'article présente les

résultats de ce petit programme de travail et surtout, il propose un nouveau paradigme évaluatif que nous avons appelé " évaluation de cinquième génération ». 2 Dans un premier temps, un état de la situation est posé sur le concept d'évaluation et son

évolution. Dans un deuxième, sont présentés un ensemble de constats et de dimensions à

partir desquels il nous a été possible de dessiner les contours d'une innovation sociale

qualifiée " d'évaluation de cinquième génération ». En conclusion, nous présentons une

courte réflexion sur le rôle des universitaires dans la généralisation de l'usage sociale de

cette innovation. 3

1 - Les quatre générations cumulatives de l'évaluation

1

1.1 Éléments d'histoire de l'évaluation

Nous avons retenu deux versions très différentes de l'histoire de l'évaluation. La première

comporte six stades d'évolution (Madaus, Stufflebeam et Scriven, 1989). Une telle perspective plutôt superficielle repose sur l'évaluation pratiquée en éducation, domaine dans lequel l'évaluation a essentiellement été mise au point. En ce sens, l'histoire de

l'évaluation en général peut être associée, au moins jusqu'en 1970, à celle de l'évaluation

en éducation. Selon la deuxième perspective, " l'âge adulte » de l'évaluation se subdivise

en quatre générations distinctes et chacune possède une " signification spécifique » (Guba

et Lincoln, 1989). Selon Madaus, Stufflebeam et Scriven, les importantes transformations sociales engendrées par la Révolution industrielle ont suscité un besoin pressant de redéfinir les programmes

sociaux et d'éducation de l'époque. En cet Âge de réforme (1800-1900), les évaluations ont

souvent pris la forme de Commissions royales ou présidentielles d'enquête.

Il y a ensuite eu un Âge d'efficacité et de tests (1900-1930), lors duquel la notion de gestion

scientifique en éducation et dans l'industrie s'est imposée. L'évaluation était alors

envisagée sous l'angle de la standardisation, de la systématisation et, surtout, de l'efficacité.

Au cours des trente années suivantes, l'évaluation a connu deux phases : l'Âge tylérien (1930-1946) et l'Âge de l'innocence (1946-1957), qui ont entraîné un développement accru de l'évaluation elle-même et de ses dimensions techniques. 1

Cette section reprend des éléments d'une recherche réalisée par Élaine Lachance (à Montréal)

et Katryn Church (à Toronto) sous la direction d'Eric Shragge et Jean-Marc Fontan. 4

À la fin des années 1950 et au début des années 1960, l'évaluation s'est transformée. L'Âge

de l'expansion (1958-1972) marque l'" apparition de profonds changements conférant à l'évaluation un statut d'industrie et de profession ». Cela a ouvert la voie à la dernière phase, l'Âge de la professionnalisation (1973- aujourd'hui). Nous constatons que, depuis deux siècles, l'évaluation, en éducation et ailleurs, a subi de profondes transformations : apparue sous forme d'enquête publique, elle constitue maintenant une discipline autonome dotée de règles et de méthodes précises. Guba et Lincoln (1989) offrent une perspective plus globale sur l'évolution de l'évaluation.

Chaque génération se caractérise par une notion spécifique de ce que l'évaluation devrait

donner, que ce soient des mesures, des descriptions, etc., et du rôle joué par l'évaluateur en

ce sens.

Selon ces auteurs , la première génération (de 1895 à 1930 environ), serait une période dite

de mesure. La fonction de l'évaluation est de mesurer le succès au moyen de divers tests.

Le rôle de l'évaluateur est technique, il s'agit pour lui d'utiliser les instruments existants ou

d'en créer de nouveaux pour mesurer toutes les variables possibles

La deuxième génération (de 1930 à 1967 environ), déplace les préoccupations de la mesure

à la description de ce qui est évalué. La première génération permettait d'observer un écart

entre les objectifs visés et les résultats atteints sans avoir développé d'outils de collecte

d'information pour comprendre les raisons qui expliquent l'écart observé. La fonction de

l'évaluation de deuxième génération est d'expliquer les écarts observés entre les objectifs

visés et les résultats obtenus. Le rôle de l'évaluateur consiste à décrire les forces et la

faiblesses de l'objet qui est évalué. 5

La troisième génération (de 1967 à 1979 environ), constitue une première reconnaissance

de la valeur subjective de l'acte d'évaluer. Au delà de la technique de mesure et de la description de la réalité, il demeure le fait que l'évaluation permet de poser un jugement dont la construction est socialement orientée. La fonction de l'évaluation consiste alors à

dégager un jugement neutre sur l'objet évalué. En apprécier l'efficacité relative de l'objet

évalué il est alors demandé d'établir des critères d'efficacité et de juger si oui ou non l'objet

répond aux critères identifiés. Le rôle de l'évaluateur consiste à se prononcer sur la valeur

et les mérites de l'objet évalué. La quatrième génération (de 1979 à 2000 environ), constitue un approfondissement du saut

qualitatif permis par la génération précédente. S'il y a jugement, est-il possible de négocier

les termes de réalisation de ce jugement. Au delà de la technique de mesure, de la

description de la réalité et du jugement, il est clair que l'évaluation d'un objet met en scène

des acteurs ayant des intérêts différents. Dès lors, l'évaluation demande qu'une convention

soit négociée entre les parties pour que les intérêts de chacun soient respectés. dont la

construction est socialement orientée. La fonction de l'évaluation consiste alors à dégager

un jugement collectif sur l'objet évalué. Apprécier l'efficacité de l'objet évalué demande

que les acteurs soient impliqués dans le processus évaluatif. Le rôle de l'évaluateur relève

de la médiation. Il doit agir en tant que négociateur et chercheur.

Selon Guba et Lincoln, " chaque génération a représenté un pas vers l'avant, tant dans la

portée de ce que renfermait l'armature de l'évaluation que dans son degré de raffinement. La collecte de données auprès d'individus n'est devenue systématiquement possible

qu'après la mise au point des instruments appropriés caractérisant la première génération.

Mais l'évaluation en serait demeurée là si la deuxième génération n'avait pas entrepris

d'évaluer également les nombreux facteurs non humains présents : les programmes, les outils matériels, les techniques pédagogiques, les modes d'organisation et les

" traitements » en général. La troisième génération a fait en sorte que l'évaluation débouche

sur une appréciation, tant des mérites intrinsèques de ces facteurs que de leur valeur extrinsèque ou en contexte » (1989, p. 31). Toutefois, ils estiment également que ces trois 6 premières générations comportent " au moins trois défauts importants : une tendance au managérialisme, une incapacité d'accepter le pluralisme des valeurs et une dépendance trop forte à l'égard du paradigme scientifique de l'enquête » (1989, pp. 31-32). C'est

précisément à cause de cela qu'eux et d'autres ont élaboré un nouveau cadre : l'évaluation

de quatrième génération. Si ces deux versions de l'histoire de l'évaluation comportent une information utile, elles peuvent aussi aboutir à des conclusions fausses. D'abord, une telle évolution n'est pas

linéaire, c'est-à-dire qu'elle ne se résume pas au remplacement d'une génération par une

autre. Par exemple, des tests tels que le GSAT et le GRE sont représentatifs de l'évaluation

de première génération (la mesure). Aux États-Unis, ils servent encore à l'établissement

d'un classement pour les élèves, les enseignants et les écoles, et il ne semble pas du tout

que leur légitimité soit remise en question. Ainsi apparaît une coexistence de différentes

générations d'évaluation. En outre, des éléments de générations antérieures sont souvent

présents dans la génération suivante, ce qui lui confère un certain caractère cumulatif. Les

deux versions donnent également l'impression que l'évaluation a atteint " l'âge adulte »,

comme le disent Guba et Lincoln, mais c'est inexact. Il existe de nombreux cadres

d'évaluation " de quatrième génération » fondés sur la négociation : celui de Guba et

Lincoln, bien sûr, mais aussi l'évaluation axée sur l'utilisation, de Patton (1978), et l'évaluation de l'" empowerment », de Fetterman (1996), entre autres. De chaque nouvelle

expérience tentée en matière d'évaluation découlent de légères modifications apportées à

ces cadres et donc à l'orientation de chacun d'eux. Ceux qui ont conçu ou utilisé un cadre peuvent aussi constater qu'il a ses limites ou que des problèmes en résultent, et qu'ainsi un nouveau cadre est nécessaire. 7 Nous estimons que c'est actuellement le cas et qu'une évaluation de cinquième génération est présentement en définition (Bouchard et Fontan, 1998). Le nouveau paradigme a pour caractéristiques essentielles : d'être intégré à la définition puis à la gestion courante de tout projet ; d'être utilisé à des fins stratégiques ; de tenir compte du fait que tout objet fait partie intégrante d'un système social ; de proposer une évaluation de nature participative, politique et éthique.

À l'instar de la quatrième génération, cette nouvelle génération se fonde sur la négociation,

mais cette dernière se déroule ici dans un contexte différent : les discussions ne portent pas

sur l'objet et la méthode de l'évaluation, mais plutôt sur les valeurs mises de l'avant par chacune des parties. Dans un tel contexte, la pertinence sociale des initiatives prises peut

être reconnue et intégrée dans la conception même de l'évaluation. En d'autres termes, on

passe clairement d'une évaluation fondée sur le rendement d'un organisme à une évaluation

reposant sur la reconnaissance de sa raison d'être et sur l'appui donné à celle-ci par le milieu.

1.2 Le caractère politique de l'évaluation

L'évaluation est un processus à caractère fortement politique (Fontan, 2001). Quelle en est la cause ? Est-ce la nature même de l'évaluation qui la rend politique ou est-ce le contexte dans lequel elle est effectuée ? La plupart des spécialistes dans le domaine estiment que ce

sont ces deux aspects qui donnent à l'évaluation son caractère intrinsèquement politique.

1.2.1 La nature de l'évaluation

Si l'évaluation a connu une évolution au cours des vingt dernières années, elle demeure tout

de même étroitement liée à son caractère scientifique. Pourtant, comme le rappellent Guba

et Lincoln, la science est aussi un " acte politique » : " la science, en ne s'attaquant qu'à certaines questions, maintient ou renforce le statu quo ; elle ne pose que les questions ayant 8 été formulées par ses propres théories et ne prend jamais en compte les formulations proposées par ses sujets. Nous affirmons que la science traditionnelle est donc une force agissant pour l'assujettissement, la dépendance et le maintien du statu quo » (1989, p. 125). De plus, les chercheurs affirment que les scientifiques ne sont pas du tout des guides impartiaux en ce qui concerne les processus de recherche et " ont le pouvoir de définir les

problèmes qu'ils étudieront et de choisir les moyens qui seront utilisés à cette fin » (1989,

p. 125). Cela est également vrai dans le domaine de l'évaluation : " la définition des problèmes et les méthodes à utiliser relèvent souvent au départ des clients et des responsables du financement, mais les évaluateurs ont tout de même une grande latitude

pour contribuer à déterminer les questions jugées appropriées, les sources des données

recherchées et les moyens qui seront utilisés à cette fin ». Très souvent, les responsables du

financement vont choisir des évaluateurs " dont la définition des problèmes, des stratégies

et des méthodes est en accord » avec leurs valeurs (1989, p. 124). Comme l'a déjà dit Lecomte, ces valeurs ne sont pas neutres ; elles s'inscrivent dans un cadre idéologique particulier. Campbell et Ng expriment une critique encore plus virulente lorsqu'elles disent que " l'évaluation des programmes est un des moyens utilisés par l'administration des ressources financières étatiques pour faire en sorte que les intérêts du groupe dominant

soient vivement (ré)affirmés aux dépens de ceux d'un groupe dominé » (1988, p. 42). Cela

quotesdbs_dbs6.pdfusesText_12

[PDF] evaluation 6eme 2017

[PDF] evaluation 6eme francais

[PDF] evaluation 6eme histoire

[PDF] évaluation 6ème mathématiques

[PDF] evaluation 6eme present indicatif

[PDF] evaluation 6eme svt unité des etres vivants

[PDF] évaluation alternance jour nuit cm1

[PDF] évaluation anglais ce2 se présenter

[PDF] evaluation anglais cm1 date

[PDF] evaluation anglais cm1 les nombres

[PDF] evaluation anglais cm1 se présenter

[PDF] evaluation bilan 3am page 186

[PDF] évaluation candide avec correction

[PDF] evaluation ce2 geographie la france

[PDF] evaluation chevalier et chateau fort cm1