[PDF] La culture dévaluation à lère du big data : Faut-il un nouveau

View - Download La culture dévaluation à lère du big data : Faut-il un nouveau

Previous PDF

Next PDF

La culture d'évaluation à l'ère du big data

Faut-il un nouveau

paradigme en matière d'évaluation pour la 4 e

Révolution industrielle ?

Le présen t article aborde les mu tations

considérables qui toucheront à la pratique et à la " culture d'évaluation » en Afrique dans le cadre de la 4! Révolution industrielle (4IR). Le catalyseur de la 4IR sera l'évolution rapide de six technologies " transformatrices », et parmi elles, cinq o"riront de grande s possibilités pour la pratique de l'évaluation, mais aussi d'importants défis. Alors que la cultu re d'éval uation se transformera, la question essentielle est : comment cette transformation sera-t-elle gérée ? L'évaluation demeurera-t-elle une force majeure dans le nouvel

écosystème du big data ?

eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

Michael Bamberger, Consultant indépendant d'évaluation

La culture d'évaluation

P our commenc er, il serait utile de définir l e concep t de " culture d'éval uation ».

Mayne (2008) entend par

culture évaluative un e culture organisationnelle qui recherche délibérément des informations sur sa performance en vue de s'en servir pour apprendre à mieux gérer et fournir ses programmes et services, et améliorer ainsi sa performance. Une organisation dotée d'une forte culture d'évaluation s'engage dans l' autoréflexion, l'autocritique et l'apprentissage fondé sur des données probantes, et encourage l'expérimentation et le cha ngement. Mayne présente

également les moyens nécessaires pour

développer une culture évaluati ve, en se conce ntrant sur le leadership, les structures d'appui organisation nel et l'apprentissage.

S'il en ressort un cadr e utile, il faut

reconnaître que les évaluations ont de nombreux objectifs, sont conduites par di

érents types d'organisation et à divers

niveaux (allant de petits projets villageois

à un programme d'évaluation de l'e

cacité des objectifs de développement durable [ODD] sur une durée de 15 ans dans le monde). Les organisations qui conduisent des évaluat ions peuvent avoir des mandats di!érents.

Les évaluations sont également conduites

pour des besoins multiples, lesquels sont classés selon les priorités des organismes intéressés. Selon une classificatio n qui est largemen t utilisée, il existe trois types d'évaluation : l'évaluation évolutive (concevoir et tester des approch es novatrices de résolution de pro blèmes, en particulier dans le but de cerner les programmes qui s'opèrent dans de s contextes complexes) ; l'évaluation formative (aider les cadres supérieurs et les planificateurs à améliorer la conception et la mise en oeuvre d'une intervention en cours ou à tirer des en seigneme nts pour amélior er les actions futures) ; et l'évaluation sommative (évaluer le mérite, la valeur et l'importance de tout un programme). Les évaluations peuvent toutefois avoir d'autres objectifs 1

La conception de l'évaluation est un autre

volet important. Il existe au moins dix types de conception de l'évaluation, qui ont chacun u ne méthodologie uniq ue, avec des hypothèses di

érentes sur des

considérations générales telles que la nature des données d'appui et l'existence ou non de " faits » objectifs qui restent constants d'un observateur à un autre (épistémologie et ontologie). L'encadré 1 dresse la liste de ce s divers types de conception. Cette liste comprend le s conceptions actuelles et nouvelles, et les conceptions adaptées à la nouvelle

Messages clés

]La quatrième Révolution industrielle est en train de me#re au point de nouvelles technologies de l'information qui peuvent sensiblement améliorer le mode de collecte et d'analyse de données par les évaluateurs. ]Toutefois, ces technologies s'annoncent inéluctablement transformatrices et la " culture d'évaluation » devra relever le défi de les intégrer et de s'adapter. 75
eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

réalité imposée par la 4 e

Révolution

industrielle 2 (4IR). Il exi ste cepen dant un contin uum, certaines conceptions actuelles ayant commencé à faire face à ces nouvelles réalités.

Compte tenu des divergences importances

qui existen t entre bon nombre de ces méthodes, de la diversité des objectifs des évaluations et de la variété des organismes qui les com mandent, les mettent en oeuvre et les utili sent, on se pose la question de savoir s'il existe une " culture d'évaluation » uni que et intégrée ou plusieurs " cultures d'évaluation ». Pour le compte de la présente étude, ce e question est importante, car la 4IR et l'importance croissante des nouvelles technologies de l'information auront des implications sur les di

érents types d'évaluation e

ectués par diverses organisations.

De nombreuses approches

d'évaluation se concentrent sur la continuité et résistent au changement

Les demandes d'approches d'évaluation

standardisées, qui sont largement appliquées et évoluent lentement au fil du temps , constit uent un élément important de ce qu'il convient d'appeler l'" évaluation traditionnelle » - il s'agit des approches utilisées par de nombreuses agences onusiennes et d 'organismes multilatéraux de développement et qui sont enseignées dans le cadre de bon ENCADRÉ 1. CATÉGORIES DE CONCEPTION DES ÉVALUATIONS

Les conceptions actuelles de

l'évaluation [qui peuvent toutes

être adaptées à la 4IR]

Conceptions de l'évaluation évoluant

dans le cadre de la 4IR

1. Conceptions expérimentales9. É val uat io n t ena nt com pte de s c omp le xit és

2. Conceptions quasi expérimentales10. Concept ions de l'évaluation axées sur

la science des donnéesBig data ; données géospatiales, Internet des objets, réseau x sociaux, données générées à travers des smartphones ]Big data ; données géospatiales, Internet des objets, réseaux sociaux, donné es générées à travers des smartphones ]Smart data analyti cs (analytique des données intelligentes) : tableaux de bord, plateformes de données intégrées, analytique prédictive, expérimentation digitale, apprentissage statistique (machine learning), intelligence arti!cielle

3. Conceptions statistiques (économétriques)

4. Évaluations basées sur la théorie

5. Évaluation basée sur des cas - y compris

l'analyse qualitative comparative

6. Évaluation participative et qualitative

7. É val uat ion te nan t com pte du ge nre

8. Synthèse et examen

Source : Bamberger & Mabry (2020) ; adaptation à partir de Stern et al. (2012), Vaessen, Raimondo & Bamberger (2016), et Salganik (2018),

avec ajout d'autres catégories. 76
eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

nombre de programmes de formation en évaluation. La continuité subit l'impact d'un certain nombre de facteurs.

Considérations méthodologiques : La

théorie sur l'évaluation traditionn elle soutient que le meilleur moyen d'évaluer le lien de causalité et l'impact consiste

à obtenir une mesure de référence des

indicateurs de résultats, puis à reproduire cette mesure en u tilisant le même

échantillon et les mêmes indicateur s

à l'ac hèvement du projet. Idéalement,

les mêmes do nnées devraient ê tre collectées pour un groupe de comparaison correspondant. Cette méthodologie demande le recours à de s indicat eurs identiques d'une période donnée à une autre. Les organismes censés évaluer tous les programmes devront souvent investir d'importantes ressources dans la mise au point et le test d'instruments de mesure, ainsi que dans la sélection de l'échantillon.

Par conséque nt, l'utilisation continue

des mêmes in struments en vue de la comparabilité des résultats est encouragée.

Un crit ique peut y voir une menta lité

conservatrice et donc rétive à l'introduction de nouveaux instruments et indicateurs en vue d'ajuster des changements.

Considérations d'ordre organisationnel et

institutionnel : De nombreux organismes e ectuent un grand nombre d'évaluations de programmes semblables et ont besoin d'une approche normalisée qui réduit le temps et le coût tout en assurant la qualité.

Par exemple, ces entités qui travaillent à

l'échelle mondiale ou régionale doivent e ectuer des évaluations périodiques de leurs programmes pays ou, parfois, évaluer chacun de leurs prêts ou investissements individuels. Les évaluations sont souvent sous-traitées à des consultants et, par conséquent, des méthodes, procédure s de passation des marchés et termes de référence standardisées sont nécessaires.

La transp arence est une priorité

pour certains o rganismes nationaux d'évaluation. Dans des cas particuliers où les évaluations servent à appuyer les décisions du gouvernement concernant l'allocation de ressources aux di

érents

États ou communaut és, il i mporte de

trouver un consensus au tour de la méthodologie et de faire en sorte que les parties prenantes y accèdent.

Comme on le verra plus loin, ces facteurs

méthodologiques et organisationnels ne perme ent pas à de nombreux évaluateurs de se hâter d'adopter de nouveaux outils et techn iques de collecte et d'analyse de donnée s qui soient poten tiellement puissants et sont mis à disposition par la 4IR.

La culture d'évaluation

à l'ère de la 4IR : La nécessité

d'un nouveau paradigme en matière d'évaluation

Une étude d e la Banque africa ine de

développement datant de 2019, intitulée " Libérer le potentiel de la 4

ème

révolution industrielle en Afrique » a i dentif ié six technolo gies potentiellement transformatrices qui changeront significativement les modèles du développement économique de l'Afrique.

Il s'agit de l'intelligence a rtificiel le,

de l'Inte rnet des objets (IdO), du big data, de la blockchain, des drones et de l'impression en 3D. Au-delà des innovations importantes que ces technologies sont déjà en train d'introduire dans l'industrie et le commerce, elles ont commencé à influer sur la conception, la mise en oeuvre et le suivi de programmes de développement.

Toutes ces technologi es sont en train

d'accroître sensiblement le volume des di

érents types de données nécessaires

à la c onceptio n, l'exécution et le suivi

de progra mmes de développement socioéconomique, et sont susceptibles de réduire les coûts d'accès et d'analyse de ces données. Leurs avantages incluent un ciblage plus précis de produits et services par rapport aux utilisateurs concernés et une détection rapide de problèmes liés 77
eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

à la réalisation des résultats a

endus de l'exécution de projets.

L'essor rapide de ces technologies de

l'information et la portée croissante de leurs applications ont des répercussions

énormes sur les évaluat ions du

développement. Trois principaux défis sont à relever : ]Comment évaluer les e ffets de ces nouvelles technologies de l'information sur le dével oppement social et

économique (qui en profite, qui en est

exclu ou pourrait même en pâtir ?) ; ]Comment évaluer les effe ts de ces technologies sur les politiques et programmes de développement ; et ]Comment évaluer le cadre dans lequel ces nouvelles technologies peuvent être intégrées dans la conception et la mise en oeuvre des évaluations du développement, dans quelle mesure et à quel degré.

Les première s impressions laissent

penser que ces types de question s concernant l'évaluation attirent peu d'a ention dans de nombreux débats sur la 4IR. Par exemple, l'étude de la Banque susmentionnée se concentre sur l'analyse de rentabilisation de la promotion de ces nouvelles technologies, sans pour autant aborder ni la façon d'évaluer l'e cacité et les e ffets de ces technologies, ni le s répercussions ina endues. Les sections suivantes montrent que les implications de ces nouvelles technologies de l'information sont si profondes qu'elles imposent un changement de paradigme dans le cadre de la culture d'évaluation.

Les problèmes auxquels la plupart

des approches d'évaluation actuelles sont confrontées et que la 4IR pourrait aggraver

Les évaluate urs sont conscients des

problèmes méthodologiques, économiques et organi sationnels qui se posent déjà

à l'év aluation actuelle des programmes

de dével oppement. Bon nombre de ces problèmes s'aggraveront pour l'évaluation

à l' ère de la 4IR, et d'autres encore se

poseront. Parmi les problèmes actuels liés à l'évaluation qui continueront à se poser à l'ère de la 4IR figurent :

Le coût de la collecte de données : Pour un

grand nombre d'évaluations, la collecte de données induit le coût le plus important. Chaque entretien crée un coût considérable et, par conséquent, l'évaluateur est amené à réduire la taille de l'échantillon ou à exclure les groupes di cilement accessibles (tels que les personnes vivant dans des zones reculées). Lorsque la taille de l'échantillon est réduite, la précision statistique de l'analyse en pâtit et il devi ent souve nt difficile de comparer différents groupes de la population (ménages dirigés par un homme ou une femme, tranches d'âge, types de production agricole, etc.).

L'analyse contextuelle : Divers facteurs

(économiques, politiques, écologiques, etc.) a ectent les résultats de programmes dans la zone de projet. Des projets similaires peuvent avoir des ré sultats très di

érents sous l'e

et de ces facteurs contextuels, mais l'évaluation de ceux-ci sera toujours limitée par le coût de la collecte de données.

La suppression de la complexité : Si les

évaluateurs et les autres parties prenantes

ont l'habitude de juger leurs programmes complexes 3 , trè s peu d'évaluat ions peuvent corriger ce e complexité de façon systématique. Cela se justifie en partie par le grand volume des données nécessaires pour une analyse de la complexité, mais également par la nécessité persistante de tenir compte de l'analyse systémique - qui passe parfois par l'utilisation de la modélisation dynamique et des données en temps réel, qui ne peuvent pas être toujours obtenues au moyen de méthodes d'évaluation conventionnelle. L'évaluation des ODD est un exemple en la matière, 79
eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

qui requiert idéalement qu'un accent soit mis sur la complexité et le recours à l'analyse systémique, mais cela n'est pas toujours possible.

Les données sur la durabilité et le s

données longitudinales : La majorité des programmes sont conçus pour continuer

à fonctionner et à fournir des services

sur une péri ode relativ ement longue.

Toutefois, pour des raisons budgétaires

et organi sationnelles, la plupart des

évaluations ne couvrent que la période

d'exécution d'un programme et, pe ut-

être aussi, une ou deux années aprè s

son démarra ge. Ainsi, dans la plupart des cas, il n'existe aucune information sur la viab ilité du programme et de ses avantag es. Par ailleurs, très peu d'évaluations peuvent collecter des informations sur les années précédant le début du projet.

Nous soutiendro ns que les nouvelles

technologies de l'information charriées par la 4IR o!rent de nouveaux moyens de résoudre ces questions.

Certes, tous les problèmes susmentionnés

continueront d'exister, mais de nombreux programmes de l'ère de la 4IR feront face à de nouveaux défis en matière d'évaluation.

Par exemple :

]De nombreux programmes deviennent de plus en plus vastes et complexes. ]Ils seront p lus dynamiques et

évolueront rapidement.

]Le secteur privé sera reconnu comme un partenaire majeur du développement, tandis que les partenariats public-privé joueront un rôle encore plus important pour le développement. ]D'importants volumes de données seront de plus en plus produits avec une vitesse accrue, à partir de sources multiples et diverses (les images par satellite ou drones, le num érique, l'audiovisuel, le texte, etc.) ; ces données devront être collectées et traitées. ]Il faudra relever les grands défis en matière de développement, tels que le changement climatique, la questi on des réfugié s et les migrations non réglementées. ]Les ODD ont 17 cibles ambitieuses, complexes et corrélées ; comme indiqué précédemment, ces cibles créent des défis majeurs pour les évaluateurs. ]Les gouverne ments, les bailleurs de fonds, la société civ ile et l es autres parties prenantes for mulent des demandes croissantes conce rnant l'obligation de rendre compte des interventions e ectuées dans le secteur public et la possibilité d'accéder aux informations y a

érentes.

]Les nouvelle s technologies de l'information deviennent accessibles

à toute organisation ou à tout individu

ayant accès à un ordinateur et jouissant d'un certain niveau d'expertise ; par conséquent, les gouvernements et les bailleurs de fonds n'auront plus le monopole de l'information sur leurs programmes. ]Les pressions en faveur de l'inclusion sociale et de la partici pation d es populations persisteront.

Possibilités o

ertes par la 4IR : Le big data et la science des données o rent de nouveaux outils puissants susceptibles de renforcer l'évaluation du développement Tout en révélant les défis liés à la pratique évaluative, la 4IR pr ésente également des possibilités. L'une d'elles est le big data. Il est souvent défini comme un ensemble de données trop vaste pour être traité sur un ordinateur normal de bureau. Ces données sont produites très rapidement, en grandes quantités et 80
eVALUation Matters Premier trimestre 2020

La culture d'évaluation à l'ère du big data : Faut-il un nouveau paradigme en matière d'évaluation pour la 4e Révolution industrielle ?

de divers types, et souvent en continu sur de longues périodes. Certes, un second article 4 traitera davantage du big data, mais quelques- uns de ses avantages extraordinaires pour l'évaluation du développement à l'ère de la 4IR sont présentés ci-après : ]La collecte des données est rapide et peuquotesdbs_dbs24.pdfusesText_30

[PDF] cours de terminologie médicale pdf

[PDF] l'âge industriel 4ème quizz

[PDF] paragraphe argumenté sur l age industriel 4eme

[PDF] age de l'univers selon le coran

[PDF] age de la galaxie

[PDF] estimer numériquement l'âge de l'univers en milliards d'années

[PDF] age de la voie lactée

[PDF] age de l'univers en année lumière

[PDF] vitesse du son dans un fluide

[PDF] age de l'univers et de la terre

[PDF] variable quantitative continue graphique

[PDF] variable qualitative nominale

[PDF] variable dichotomique définition

[PDF] sujet caplp economie gestion

[PDF] exposé sur le sport pdf