[PDF] Évaluateurs évalués : évaluation diagnostique des compétences en

View - Download Évaluateurs évalués : évaluation diagnostique des compétences en

Previous PDF

Next PDF

Tous droits r€serv€s ADMEE-Canada - Universit€ Laval, 2016 Ce document est prot€g€ par la loi sur le droit d'auteur. L'utilisation des d'utilisation que vous pouvez consulter en ligne. l'Universit€ de Montr€al, l'Universit€ Laval et l'Universit€ du Qu€bec " Montr€al. Il a pour mission la promotion et la valorisation de la recherche.

https://www.erudit.org/fr/Document g€n€r€ le 25 oct. 2023 16:30Mesure et €valuation en €ducation

en €valuation des correcteurs d'une €preuve d'expression

Dominique Casanova et Marc Demeuse

diagnostique des comp€tences en €valuation des correcteurs d'une €preuve d'expression €crite " forts enjeux.

Mesure et €valuation en €ducation

39
(3),

59...94. https://doi.org/10.7202/1040137ar

R€sum€ de l'article

compare deux m€thodes pour la d€termination des profils de s€v€rit€

s€v€rit€ des correcteurs aux diff€rents points de c€sure pour am€liorer la fid€lit€

Évaluateurs évalués :

évaluation diagnostique des compétences

en évaluationdes correcteurs d"une épreuve d"expression écrite à forts enjeux

Dominique Casanova

Chambre de commerce et d"industrie de rŽgion Paris ële-de-France

Marc Demeuse

UniversitŽ de Mons

MOTSCLƒS: Žvaluation diagnostique, management de la qualitŽ, accompagne-

ment des Žvaluateurs, Test d"Žvaluation de franais (TEF)Les Žvaluateurs constituent un maillon essentiel des dispositifs d"Žvaluation des

maintenir la qualitŽ des Žvaluations ˆ un niveau satisfaisant. Cet article compare deux mŽthodes pour la dŽtermination des profils de sŽvŽritŽ d"Žvaluateurs d"une des tests et la seconde s"appuie sur la thŽorie de rŽponse aux items, par la mise en mŽthodes montrent l"utilitŽ de tenir compte de la sŽvŽritŽ des correcteurs aux dif- fŽrents points de c n"explique qu"une part limitŽe de la variance d"erreur. Ces informations permettent Žgalement de dresser des profils d"Žvaluation individuels des correcteurs, qui peu- vre d"actions de remŽdiation ciblŽes. KEYWORDS:diagnosis assessment, quality management, raters monitoring,

French Proficiency Test (TEF)

Raters are a key element of language proficiency assessment systems. They ought to be monitored closely to keep the quality of assessments at a high level. This article compares two methods in order to determine the raters" severity profiles using real rating data, for a writing test of French as a foreign language. The first method makes use of the Classical Test Theory while the second is based on the Item Response Theory using the multif aceted Rasch Model (MFRM). The 59MESUREETƒVALUATIONENƒDUCATION, 2016, VOL. 39, No3, 59-96 MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page59 concurring results of both methods show that in order to improve the reliability of a test, it is important to take into account a rater"s severity at each cut-off score, even if this consideration only explains a moderate portion of the error variance. This information also allows for drawing up the raters" individual evaluation pro- files, which could prove useful for more focused training activities. Palabras-chave: avaliaão diagn—stica, gestão da qualidade, apoio dos avali- adores, Teste de Avaliaão Francs (TEF) Os avaliadores são um elemento chave dos dispositivos de avaliaão de competn- cias lingu"sticas e devem receber apoio cont"nuo para manter a qualidade das avaliaões a um n"vel satisfat—rio. Este artigo compara dois mŽtodos para a deter- minaão de perfis de avaliadores de um teste de expressão escrita em francs como l"ngua estrangeira, a partir dos seus dados de produão. O primeiro mŽtodo ins- creve-se no quadro da teoria cl‡ssica dos testes e o segundo apoia-se na teoria de resposta aos itens para a implementaão de um modelo multifacetado de Rasch. Os resultados concordantes dos dois mŽtodos mostram a utilidade de considerar a severidade dos corretores em cada nota m"nima para melhorar a fiabilidade do teste, mesmo se esta œltima explique apenas uma pequena parte da vari‰ncia do erro. Estas informaões tambŽm ajudam a desenvolver os perfis de avaliaão indi- viduais dos corretores, que podem ser œteis para atividades de formaão mais foca- das.

Note des auteurs : La correspondance liŽe ˆ cet article peut tre adressŽe ˆ Dominique

Casanova et ˆ Marc Demeuse aux adresses courriel suivantes : [dcasanova@cci-paris- idf.fr] et [marc.demeuse@umons.ac.be].

DOMINIQUECASANOVAETMARCDEMEUSE60

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page60

Introduction

L"Žvaluation diagnostique concerne en gŽnŽral les apprenants, dont il pagner dans leurs apprentissages. Cependant, une ambition similaire peut gner dans leur pratique et pour amŽliorer la qualitŽ du dispositif d"Žva- luation. Cette ambition prend toute son importance dans le cas d"Žvalua- tions ˆ grande Žchelle de compŽtences complexes (p. ex., les compŽtences d"expression Žcrite et d"expression orale) pour lesquelles plusieurs Žva- luateurs sont mobilisŽs et dont il faut assurer la fidŽlitŽ des rŽsultats, un territoire ou ˆ des Žtudes. (Eckes, 2011). Ils peuvent conduire ˆ la prŽsence d"une variance non dŽsi- rŽe dans la distribution des scores et menacer la qualitŽ du dispositif. Si cer- caractŽristiques potentiellement plus stables, comme la sŽvŽritŽ des cor- recteurs ou la difficultŽ relative des t‰ches, peuvent tre mises en Žviden- ce par des expŽrimentations ad hoc ou par des analyses de donnŽes de pro- duction et prises en considŽration dans le dispositif d"Žvaluation afin de limiter l"erreur de mesure (Casanova & Demeuse, 2011). Le courant docimologique a montrŽ ˆ de multiples reprises (Laugier & Weinberg, 1938 et PiŽron, 1963, citŽs dans Cardinet, 1986) la variabili- tŽ des rŽsultats constatŽs quand des Žchantillons identiques de copies Žtaient confiŽs ˆ diffŽrents correcteurs. Des Žtudes rŽcentes concernant le baccalaurŽat franais (Merle, 1996 ; Suchaut, 2008) tŽmoignent de la per- litŽ des dispositifs d"Žvaluation de l"expression Žcrite ou orale se sont concentrŽes sur les correcteurs, en raison de la subjectivitŽ que comporte tout jugement humain et de leur sensibilitŽ possible ˆ des variables extŽ- rieures au contexte de l"Žvaluation (Engelhard, 1994 ; Leclercq, Nicaise & Demeuse, 2004 ; Artus & Demeuse, 2008). Les correcteurs constituent en effet un maillon essentiel du dispositif d"Žvaluation d"une Žpreuve d"ex-

ƒvaluateurs ŽvaluŽs

61
MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page61 pression et peuvent tre sujets ˆ des variations dans leurs jugements (manque de consistance interne) ou Žvaluer diffŽremment un mme ensemble de productions (diffŽrence de sŽvŽritŽ, sensibilitŽ ˆ des effets parasites). Cette variabilitŽ des correcteurs justifie que leurs jugements fassent frŽquemment l"objet d"analyse, que ce soit pour la mise en Žvidence de diffŽrents profils de correcteurs (McNamara & Adams, 1991), pour le suivi des Žcarts de sŽvŽritŽ (Eckes, 2005) ou pour le contr™le de la fidŽlitŽ intraŽvaluateurs et interŽvaluateurs (Weigle, 1998). Nos travaux de 2011 ont montrŽ l"intŽrt de tenir compte du niveau de sŽvŽritŽ des correcteurs pour constituer des jurys de correcteurs dits Ç Žqui- librŽs È afin de renforcer la fidŽlitŽ d"une Žpreuve d"expression Žcrite. Cependant, un simple indice de sŽvŽritŽ ne saurait rendre compte de la s"avŽrer inopŽrant si, pour un niveau donnŽ parmi les niveaux ŽvaluŽs, les correcteurs constituant le jury prŽsentent une mme tendance marquŽe ˆ suffisamment d"informations pour les accompagner de faon pertinente. Dans cet article, nous montrerons comment dŽterminer des profils de sŽvŽritŽ plus prŽcis des correcteurs ˆ partir d"une analyse des donnŽes d"Žvaluation pour renforcer la fidŽlitŽ de l"Žpreuve d"expression Žcrite du Test d"Žvaluation de franais (TEF) du Centre de langue franaise de la Chambre de commerce et d"industrie de rŽgion Paris ële-de-France (Noël- Jothy & Sampsonis, 2006) et pour amŽliorer l"accompagnement individuel des correcteurs en ciblant leurs particularitŽs. Deux mŽthodes ont ŽtŽ utilisŽes ˆ cet effet, dans un contexte o chaque mŽthode s"appuie sur les diffŽrences entre les scores attribuŽs par les cor- recteurs ˆ un ensemble de copies pour dŽterminer des indices rendant de Rasch (Linacre, 1989 ; Eckes, 2011). Les rŽsultats des deux mŽthodes sont comparŽs, puis leurs avantages et inconvŽnients sont exposŽs.D

OMINIQUECASANOVAETMARCDEMEUSE62

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page62 Contexte : l"épreuve d"expression écrite du TEF

DŽroulement

L"Žpreuve d"expression Žcrite est constituŽe de deux t‰ches standardi- sŽes indŽpendantes, qui placent les candidats dans deux situations de com- munication diffŽrentes. Chaque t‰che comporte un sujet qui prŽcise le type de production attendu et fournit des ŽlŽments de contexte (support dŽclen- cheur) permettant au candidat de mener ˆ bien la t‰che. Elle est organisŽe collectivement dans une salle d"un centre agrŽŽ. La durŽe totale de la passation est de 1 heure, pendant laquelle les candidats rŽpondent aux deux sujets. (La durŽe passŽe sur chaque t‰che est laissŽe raconter une histoireen imaginant la fin d"un article de presse insolite, alors que, dans la seconde situation, le candidat doit exposer son point de vue et argumenteren rŽponse ˆ une affirmation lue dans la presse. Ë l"issue de la passation, le centre agrŽŽ remet les copies d"expression Žcrite au Centre de langue franaise, o sont ŽvaluŽes toutes les copies.

Correction

La correction des copies de l"Žpreuve d"expression Žcrite est assurŽe par une Žquipe de correcteurs du Centre de langue franaise. Chaque copie moyen d"une grille d"Žvaluation analytique (voir section suivante). En cas d"Žcart important entre les rŽsultats des deux correcteurs, le responsable corrections ˆ retenir pour l"Žtablissement des rŽsultats 1

DŽtermination du score et du niveau

Une grille unique d"Žvaluation est utilisŽe pour la correction des copies, quels que soient les sujets traitŽs par les candidats pour la rŽalisation des deux t‰ches standardisŽes. Les productions sont ŽvaluŽes par les correc- teurs selon: deux productions.

ƒvaluateurs ŽvaluŽs

63
MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page63 niveau correspondant ˆ l"absence de donnŽes observables pertinentes et les six niveaux principaux spŽcifiŽs dans le Cadre europŽen commun de rŽfŽrence pour les langues [CECR]) et sont graduŽs en un nombre variable d"Žchelons selon les niveaux. Cette Žchelle permet au correcteur de rŽdui- re la subjectivitŽ de son jugement Ç en ajoutant ˆ la simple impression une europŽen appelle le jugement guidŽ. Cette approche suppose, entre autres, notes ou les diffŽrents rŽsultats et une formation ˆ l"application d"une norme È (Conseil de l"Europe, 2005, p. 143). L"annexe A prŽsente l"Žchel- le globale des niveaux communs de compŽtences en production Žcrite gŽnŽ- rale du CECR (Conseil de l"Europe, 2005), qui fournit une description de la compŽtence associŽe ˆ chacun des niveaux A1 ˆ C2. l"expression d"un score total sur une Žchelle allant de 0 ˆ 450 points 2 . Des points de cŽsure prŽŽtablis sur cette Žchelle dŽterminent, sur la base du score total, le niveau global de compŽtence du candidat, exprimŽ sur l"Žchelle de niveaux du CECR (de A1 ˆ C2).

Management des correcteurs de l"épreuve

d"expression écrite du TEF offre des possibilitŽs supplŽmentaires pour le suivi des correcteurs. Ce nou- correcteurs des jurys au format numŽrique, donnŽes qui peuvent tre exploitŽes pour la dŽfinition de diffŽrents profils d"Žvaluation. Cela a conduit le Centre de langue franaise ˆ revoir son processus de manage- ment des correcteurs. SŽlection et formation initiale des correcteurs citoyennetŽ, etc.), le Centre de langue franaise doit veiller ˆ la perfor- mance de l"Žquipe de correcteurs. Par ailleurs, pour des raisons Žcono- miques, les nouveaux correcteurs doivent pouvoir tre intŽgrŽs le plus rapi- dement possible au sein de l"Žquipe, ce qui laisse un temps limitŽ auD

OMINIQUECASANOVAETMARCDEMEUSE64

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page64 dŽveloppement des compŽtences. C"est pourquoi le processus de sŽlection occupe une place centrale. Il s"agit de repŽrer des Ç talents È et de les ame- ner rapidement ˆ une activitŽ opŽrationnelle en conditions rŽelles.

Processus de sŽlection

Le processus de sŽlection des correcteurs de l"Žpreuve d"expression Žcrite du TEF a pour objectif de choisir des professionnels de l"Žvalua- tiques, pŽdagogiques et interculturelles qui les rendent capables: - de conna"tre et d"utiliser adŽquatement le rŽfŽrentiel de niveaux de compŽtence du TEF et le Cadre europŽen commun de rŽfŽrence pour les langues (CECR); - de conna"tre et d"utiliser adŽquatement la grille d"Žvaluation de l"Žpreuve d"expression Žcrite du TEF; - d"apprŽcier une production Žcrite et de lui attribuer un niveau. Le profil attendu est celui de spŽcialistes de l"enseignement du fran- public variŽ (en niveaux et en contextes d"apprentissage). Les candidats-correcteurs sont prŽsŽlectionnŽs sur la base de leur cur- riculum vit¾ et se voient proposer un test de sŽlection en ligne. Le test consiste ˆ Žvaluer quatre productions Žcrites de faon holistique (c.-ˆ-d. attribuer un niveau global en regard de l"Žchelle des niveaux du CECR) et ˆ justifier ces Žvaluations. Les productions sont reprŽsentatives des per- formances des candidats au TEF et ont fait au prŽalable l"objet d"un cali- brage (Žvaluation par plusieurs correcteurs et arbitrage final par le res- ponsable pŽdagogique du TEF). La sŽlection est effectuŽe au regard des niveaux de compŽtence attribuŽs et de la pertinence des justifications. Formation et intŽgration des nouveaux correcteurs sŽance de formation en prŽsentiel, puis une sŽance de standardisation ˆ distance. Une fois sŽlectionnŽs, les nouveaux correcteurs assistent d"abord ˆ une demi-journŽe de formation pratique axŽe sur les Žchelles du CECR correspondant ˆ cette Žpreuve et sur la grille d"Žvaluation du TEF. Cette formation les sensibilise aux biais de l"Žvaluation et leur permet de

ƒvaluateurs ŽvaluŽs

65
MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page65 s"entra"ner ˆ Žvaluer des Žpreuves en bŽnŽficiant de corrigŽs et de com- mentaires personnalisŽs. L"accent est Žgalement mis sur les enjeux liŽs aux contextes d"utilisation du TEF. L"objectif de cette formation est princi- palement de garantir une comprŽhension partagŽe du construit ŽvaluŽ et de la grille d"Žvaluation. Ë l"issue de cette formation, les nouveaux cor- recteurs se voient remettre le Guide du correcteur, qui dŽtaille les procŽ- Ils suivent ensuite une sŽance de standardisation, qui consiste ˆ Žvaluer

12 copies selon la procŽdure suivante :

sont comparŽes aux Žvaluations calibrŽes du Centre de langue fran- aise. Ils se voient proposer une restitution personnalisŽe compre- nant des grilles corrigŽes ainsi que des commentaires sur les copies ŽvaluŽes. L"accent est mis sur les Žcarts d"Žvaluation constatŽs. - Ë l"issue de l"Žvaluation des six copies suivantes, si leurs Žvaluations sont conformes, ils pourront intŽgrer le groupe de correcteurs. Au contraire, si leurs Žvaluations comportent encore des Žcarts signifi- catifs, ils ne se verront pas confier de corrections. Un entretien indi- viduel leur est accordŽ afin de justifier cette dŽcision et de fournir des conseils de remŽdiation. Ils pourront alors se prŽsenter ˆ une Cette activitŽ permet un nouveau filtre en n"intŽgrant dans le groupe de correcteurs que des personnes dont les Žvaluations sont a priori proches de celles du Centre de langue franaise, ce qui n"empche pas la prŽsence de diffŽrences de sŽvŽritŽ entre ces nouveaux correcteurs, mais leur impact devrait s"avŽrer limitŽ. Suivi des profils et accompagnement des correcteurs Jusqu"ˆ prŽsent, l"accompagnement des correcteurs consistait en des activitŽs collectives de standardisation et en des remŽdiations individuelles lorsque des Žcarts rŽcurrents de notation Žtaient constatŽs. Pour limiter l"importance de la variation due aux correcteurs, il est en effet conseillŽ (Lumley & McNamara, 1995). ËdŽfaut de faire dispara"tre les diffŽrences de sŽvŽritŽ entre correcteurs (McNamara, 1996) 3 , ces sŽances contribuent ˆ l"amŽlioration de la consistance individuelle 4 et renforcent la validitŽ des

Žvaluations.D

OMINIQUECASANOVAETMARCDEMEUSE66

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page66 Les activitŽs collectives, qui sont l"occasion de prŽciser le construit du test, ne ciblent cependant pas les difficultŽs propres ˆ chaque correcteur et peuvent avoir parfois un effet dŽstabilisateur. Ainsi, un correcteur qui de performance concernŽs, pourra chercher ˆ modifier globalement ses reprŽsentations des niveaux et ˆ modifier, parfois seulement pour un temps, son profil d"Žvaluateur, ce qui pourra conduire ˆ un manque de consis- tance de ses Žvaluations ou dŽsŽquilibrer les jurys auxquels il participera.

Objectifs du suivi des profils des correcteurs

gement de la qualitŽ du dispositif d"Žvaluation, qui vise une amŽlioration continue de la validitŽ et de la fidŽlitŽ des Žvaluations. Nos travaux menŽs en 2011 ont montrŽ que les diffŽrences de sŽvŽritŽ entre correcteurs pou- vaient constituer une part importante de l"erreur de mesure et qu"une dans la stratŽgie d"appariement des correcteurs pour constituer des jurys dits Ç ŽquilibrŽsÈ. L"objectif premier du suivi des profils des correcteurs Žtait donc, jus- qu"ˆ prŽsent, de caractŽriser le niveau de sŽvŽritŽ de chacun des correc- favoriser 5 (paires de correcteurs dont le niveau de sŽvŽritŽ se compense ou paires de correcteurs de sŽvŽritŽ neutre). Cette catŽgorisation n"est toute- fois pertinente que si les correcteurs font preuve de constance dans la sŽvŽ- ritŽ avec laquelle ils Žvaluent les copies des candidats. Or, des fluctuations

positif d"Žvaluation (sŽvŽritŽ diffŽrentielle selon la t‰che traitŽe ou les cri-

niveaux de performance). Le dispositif de suivi du profil des correcteurs est donc en cours de rŽvision pour collecter, au fil des corrections, des informations sur la consistance des Žvaluations et pour procŽder ˆ des remŽdiations indivi- duelles.

ƒvaluateurs ŽvaluŽs

67
MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page67

Organisation du suivi

Lorsqu"un nouveau correcteur rejoint le groupe, un tableau de suivi des autres correcteurs des jurys auxquels il participe. Des rŽgulations indi- viduelles ad hoc peuvent alors intervenir afin d"ajuster sa ma"trise du construit et de la grille d"Žvaluation. Elles sont mentionnŽes dans le tableau de suivi. Un premier bilan des interventions du nouveau correcteur est rŽalisŽ faon trimestrielle pour l"ensemble des correcteurs sur la base des don- nŽes de correction. L"accompagnement individuel s"effectue sur la base des donnŽes trai- tŽes trimestriellement et du tableau de suivi. Un entretien est organisŽ avec

ˆ la sŽvŽritŽ ou ˆ la gŽnŽrositŽ ˆ un ou plusieurs endroits de l"Žchelle de

niveaux ou montrant un manque de consistance manifeste dans ses Žva- luations. Modèles de mesure pour le suivi des profils des correcteurs

DonnŽes de production

Description de l"Žchantillon

L"Žchantillon ˆ notre disposition est constituŽ des corrections de 2561 copies de candidats ayant passŽ le test au cours du premier semestre de l"annŽe 2015, chaque copie Žtant ŽvaluŽe individuellement par deux cor- recteurs parmi un ensemble de 23. La corrŽlation entre ces deux sŽries de scores est de 0,825, tandis que l"estimation de l"erreur de mesure de la cor- rection 6 (EMC) est de 32 points. (Les scores sont attribuŽs sur une Žchel- le allant de 0 ˆ 450 points.) Chaque correcteur a corrigŽ plusieurs copies (entre 33 et 751) et a ŽtŽ associŽ en jury ˆ plusieurs correcteurs (entre 3 et

17). Le brassage des jurys et le niveau d"activitŽ sont importants pour dis-

poser d"un jeu de donnŽes suffisamment interreliŽes dans les analyses de profils, qui s"appuient sur les diffŽrences entre correcteurs.D

OMINIQUECASANOVAETMARCDEMEUSE68

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page68 L"annexe B dŽcrit les caractŽristiques biographiques des correcteurs :

20 des 23 correcteurs sont des femmes. Ils sont d"‰ge variŽ : 6 correcteurs

ont entre 25 et 30 ans ; 10 entre 31 et 40 ans ; et 7 entre 41 et 50 ans. Un cor- recteur est titulaire d"un doctorat, 18 correcteurs ont fait des Žtudes de niveau Master 2 ; 3 de niveau Master 1 ; et 1 de niveau licence 3. Concer - nant leur expŽrience en correction, 9 correcteurs ont moins d"une annŽe d"expŽrience en correction pour le TEF ; 11 ont entre 1 et 3 annŽes d"ex- pŽrience ; et 3 correcteurs ont entre 5 et 11 annŽes d"expŽrience. Le tableau 1 prŽsente la rŽpartition des candidats par niveaux de com- pŽtence du CECR. La plupart des candidats passent l"Žpreuve d"expression Žcrite dans le cadre d"un projet d"immigration au Canada ou au QuŽbec ou encore d"un projet d"Žtudes en France. La plupart du temps, le niveau minimal exigŽ correspond au B2, ce qui explique le nombre limitŽ de copies de niveau infŽrieur.

ƒvaluateurs ŽvaluŽs

69

Structure factorielle de la grille de correction

Comme nous l"avons expliquŽ dans la partie Contexte, la grille d"Žva- nous regrouperons sous la rubrique COMA; regrouperons sous la rubrique COMB ; et deux productions, sous la rubrique LING. Une analyse factorielle a ŽtŽ menŽe ˆ partir des donnŽes de l"Žchan- tillon (scores moyennŽs) au moyen de la librairie psychdu logiciel R. L"analyse des valeurs propres (voir Figure 1) montre la prŽsence d"une dimension prŽpondŽrante, qui explique ˆ elle seule 87 % de la variance.

Tableau 1

RŽpartition des candidats ˆ l"Žpreuve d"expression Žcrite du TEF sur l"Žchelle globale de niveaux de compŽtence du Cadre europŽen commun de rŽfŽrence (CECR) MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page69 dŽrer une composante dans le cadre d"une analyse en composantes prin- cipales (ce qui lŽgitime l"utilisation d"un score unique pour restituer la per- formance des candidats) et trois facteurs dans le cadre d"une analyse de la grille). Une analyse factorielle pour une solution ˆ trois facteurs, menŽe avec la mŽthode de maximum de vraisemblance et une rotation oblique (obli- min), permet de retrouver la structure de la grille : le premier facteur section B. (Les rŽsultats de cette analyse factorielle sont prŽsentŽs dans saturation est de 0,75 sur le premier facteur. Ces trois facteurs permettent d"expliquer 94 % de la variance. Lorsque nous cherchons une solution ˆ

OMINIQUECASANOVAETMARCDEMEUSE70

Figure 1 : Diagramme en Žboulis des valeurs propres MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page70 Au vu de ces rŽsultats, il semble peu pertinent d"analyser le profil des structure logique de la grille (COMA, COMB et LING). Analyses basŽes sur la thŽorie classique des tests La thŽorie classique des tests offre un cadre intŽressant pour le traite- ment et l"analyse des donnŽes de production, qui conserve la richesse des donnŽes et qui permet de s"appuyer sur des sorties graphiques pour faci- Tendance gŽnŽrale ˆ la gŽnŽrositŽ Le principe de cette mŽthode revient ˆ considŽrer, pour chaque cor- recteur, les diffŽrences entre son Žvaluation et celle de l"autre correcteur du jury, sur l"ensemble des copies qu"il a traitŽes. La moyenne divisŽe par

2 de ces diffŽrences constitue un indice de la gŽnŽrositŽ du correcteur.

Ainsi, pour un correcteur gŽnŽreux, la moyenne des diffŽrences de scores, dont la significativitŽ pourra tre testŽe, devrait tre positive. Toutefois, ces valeurs sont directement dŽpendantes de la constitution des jurys, qui doivent tre suffisamment variŽs pour disposer de donnŽes croisŽes entre correcteurs. cette moyenne des diffŽrences de scores. Il est donc nŽcessaire de procŽ- der ˆ une correction itŽrative des indices de gŽnŽrositŽ des correcteurs. nŽcessaire de calculer, pour chaque correcteur, la diffŽrence de moyenne entre les scores qu"il a attribuŽs, ajustŽs au moyen de son indice de gŽnŽ- rositŽ (score ajustŽ = score - indice de gŽnŽrositŽ), et les scores ajustŽs des secondes corrections, ce qui aboutit ˆ la dŽtermination de nouveaux indices. Le cycle d"itŽration prend fin lorsque la variation de l"Žcart-type de l"ensemble des diffŽrences des scores ajustŽs devient infŽrieure ˆ un cri- valeur de l"Žcart-type minimal). L"indice de gŽnŽrositŽ Žtant essentielle- ment dŽterminŽ par des moyennes portant sur le mme Žchantillon (le nombre de copies corrigŽes par le correcteur), une erreur de mesure peut lui tre associŽe (erreur type de la moyenne).

ƒvaluateurs ŽvaluŽs

71
MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page71 Si la tendance ˆ la gŽnŽrositŽ des correcteurs Žtait la seule variable interfŽrant avec l"acte d"Žvaluation, alors les scores ajustŽs des deux cor- recteurs devraient tre identiques, ce qui n"est en gŽnŽral pas le cas. La moyenne des diffŽrences entre les scores ajustŽs d"un correcteur donnŽ et ceux des secondes corrections correspondantes est nulle, mais son Žcart- type constitue un indice de Ç l"imprŽvisibilitŽ È (ˆ dŽfaut de trouver d"autres variables explicatives) du correcteur. Prise en considŽration des dimensions de la grille d"Žvaluation Un indice de gŽnŽrositŽ peut tre exprimŽ pour chacune des dimen- sions de la grille d"Žvaluation en appliquant le mme algorithme non plus reprŽsentant chacune des dimensions. Cela permettra de dŽterminer, pour certains correcteurs, des tendances diffŽrentielles ˆ la gŽnŽrositŽ selon la dimension considŽrŽe. Prise en considŽration du niveau des performances Rien ne garantit que les correcteurs aient une tendance uniforme ˆ la gŽnŽrositŽ tout au long de l"Žchelle des scores. De mme, en dŽpit de la formation et de l"accompagnement reus, les correcteurs n"ont pas nŽces- sairement tous la mme reprŽsentation des degrŽs de performance atten- dus ˆ un niveau donnŽ du CECR. Il semble donc opportun de dŽterminer des indices de gŽnŽrositŽ (sur l"ensemble de la compŽtence et sur chacune des dimensions de la grille) pour chacun des niveaux du CECR. Pour cela, nous procŽdons comme prŽcŽdemment, mais en sŽlectionnant, pour chaque correcteur et chacun des niveaux du CECR, les copies dont la moyenne des scores des deux corrections (en rŽalitŽ, la moyenne des scores ajustŽs ˆ partir des indices de sŽvŽritŽ globale) correspond au niveau considŽrŽ. Ces indices peuvent Žgalement tre dŽterminŽs pour chacune des dimensions de la grille d"Žva- Une autre possibilitŽ est de s"intŽresser non pas aux niveaux mais aux de points de cŽsure dŽmarquant les niveaux de performance. Pour cela, nous procŽderons de faon similaire en associant la moyenne des scores au point de cŽsure le plus proche sur l"Žchelle des scores.D

OMINIQUECASANOVAETMARCDEMEUSE72

MeE_INT_v39n3-2016_v14_07•07-29-02_V30 N2_INT 17-04-03 09:49 Page72 Analyses basŽes sur la thŽorie de rŽponse aux items La thŽorie de rŽponse aux items fournit un autre moyen de dŽcrire les effet d"analyser des donnŽes en tenant compte simultanŽment de diffŽ- rentes variables (les facettes) et d"interactions entre ces variables. Ils font lors des analyses de rŽponse aux items.quotesdbs_dbs1.pdfusesText_1

[PDF] évaluation diagnostique 6ème français 2017

[PDF] évaluation diagnostique 6ème maths

[PDF] evaluation diagnostique cap maths sciences

[PDF] évaluation diagnostique ce1 2017

[PDF] évaluation diagnostique ce1 lecture compréhension

[PDF] évaluation diagnostique ce1 rentrée 2017

[PDF] évaluation diagnostique ce2 rentrée 2017

[PDF] évaluation diagnostique cm1 2016

[PDF] évaluation diagnostique cm1 cenicienta

[PDF] évaluation diagnostique cm1 début d'année

[PDF] évaluation diagnostique cm1 début d'année 2016

[PDF] évaluation diagnostique cm1 lecture compréhension

[PDF] évaluation diagnostique cm1 nouveaux programmes

[PDF] evaluation diagnostique cm2 2015

[PDF] évaluation diagnostique cm2 début d année 2015