[PDF] Mesure et évaluation en éducation - Le réalisme avec degrés de

View - Download Mesure et évaluation en éducation - Le réalisme avec degrés de

Previous PDF

Next PDF

Tous droits r€serv€s ADMEE-Canada - Universit€ Laval, 2015 This document is protected by copyright law. Use of the services of 'rudit (including reproduction) is subject to its terms and conditions, which can be viewed online. This article is disseminated and preserved by 'rudit. 'rudit is a non-profit inter-university consortium of the Universit€ de Montr€al, promote and disseminate research.

https://www.erudit.org/en/Document generated on 09/25/2023 5:05 p.m.Mesure et €valuation en €ducationLe r€alisme avec degr€s de certitudeOliver Prosperi

Volume 38, Number 1, 2015URI: https://id.erudit.org/iderudit/1036553arDOI: https://doi.org/10.7202/1036553arSee table of contentsPublisher(s)ADMEE-Canada - Universit€ LavalISSN0823-3993 (print)2368-2000 (digital)Explore this journalCite this article

Prosperi, O. (2015). Le r€alisme avec degr€s de certitude.

Mesure et €valuation

en €ducation 38
(1), 121"140. https://doi.org/10.7202/1036553ar

Article abstract

By using confidence marking (CM) along with multiple-choice questions, an examiner needs to measure the consistency and adequacy of CM usage with the instructions given to the student. This measure is called the ...realism of the subject†. Although it is easy to compute, the current realism formula entails some conceptual, probabilistic and computational weaknesses. Relying on probability theory and a set of statistically justified arguments, this paper shows a new approach to calculate realism that has a better match to the definition of CM and to the way examiners ask the students to use it. Moreover, the new realism is more precise with respect to the previous and gives a better indication of the student‡s self-evaluation skills and his ability to use CM. Finally, this will improve the reliability of items quality indicators which use realism in their calculations such as Gilles‡ rpbisSCT (2002). 121

Le rŽalisme avec degrŽs de certitude

Oliver Prosperi

Haute Žcole pŽdagogique du canton de Vaud

MOTS-CLƒS: degrŽs de certitude, difficultŽ, docimologie, ŽdumŽtrie, QCM, rŽa- lisme, subjectivitŽ, probabilitŽ Dans le contexte de l"utilisation des degrŽs de certitude avec des QCM (questions ˆ choix multiples), l"Žvaluateur dŽsire mesurer l"adŽquation entre la faon dont les personnes ŽvaluŽes (souvent les Žtudiants) utilisent les degrŽs de certitude et les instructions fournies pour les utiliser. Cette mesure est appelŽe Ç rŽalisme du sujet È. Actuellement, le calcul du rŽalisme, quoiqu"ŽlŽmentaire, prŽsente quelques incon- vŽnients de types calculatoire, conceptuel ou probabiliste. Une nouvelle approche de type probabiliste correspondant mieux ˆ la dŽfinition des degrŽs de certitude et ˆ la faon avec laquelle les Žtudiants doivent les utiliser est dŽcrite ici. Cette approche aboutira ˆ de nouvelles dŽfinitions et mŽthodes de calcul du rŽalisme basŽes sur des arguments statistiquement justifiŽs. Cette nouvelle dŽfinition est

plus prŽcise que la prŽcŽdente, et dŽcrit mieux la capacitŽ de s"autoŽvaluer et d"uti-

liser correctement les degrŽs de certitude. Enfin, elle permettra d"amŽliorer la fia- bilitŽ des indices de qualitŽ liŽs aux questions utilisant le rŽalisme, par exemple le rpbisSCT de Gilles (2002). KEYWORDS: confidence marking, certainty-based marking, difficulty, docimolo- gy, edumetrics, multiple-choice questions, realism, subjectivity, probability By using confidence marking (CM) along with multiple-choice questions, an examiner needs to measure the consistency and adequacy of CM usage with the instructions given to the student. This measure is called the "realism of the sub- ject". Although it is easy to compute, the current realism formula entails some conceptual, probabilistic and computational weaknesses. Relying on probability theory and a set of statistically justified arguments, this paper shows a new approach to calculate realism that has a better match to the definition of CM and to the way examiners ask the students to use it. Moreover, the new realism is more precise with respect to the previous and gives a better indication of the student"s self-evaluation skills and his ability to use CM. Finally, this will improve the reli- ability of items quality indicat ors which use realism in their calculations such as Gilles" rpbisSCT (2002).MESUREETƒVALUATIONENƒDUCATION, 2015, VOL. 38, No1, 121-140 MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page121 PALAVRAS-CHAVE: graus de certeza, dificuldade, docimologia, edumetria, QEM, realismo, subjetividade, probabilidade No contexto de utilizaão dos graus de certeza das QEM (questões de escolha mœltipla), o avaliador deseja medir a adequaão entre o modo como os sujeitos (frequentemente os estudantes) utilizam os graus de certeza e as instruões fornecidas para os utilizar. Esta medida Ž designada como "realismo do sujeito". Atualmente, o c‡lculo do realismo, embora elementar, apresenta alguns inconve- nientes do tipo calculat—rio, concetual e probabil"stico. Descreve-se aqui uma nova abordagem de tipo probabil"stico, a qual corresponde melhor ˆ definião de graus de certeza e ao modo com o qual os estudantes os devem utilizar. Esta abordagem conduzir‡ a novas definiões e mŽtodos de c‡lculo do realismo baseados em argu- mentos estatisticamente justificados. Esta nova definião Ž mais precisa que a pre- cedente, e descreve melhor a capacidade de se autovaliar e de utilizar corretamen- te os graus de certeza. Por fim, permitir‡ melhorar a fiabilidade dos "ndices de qualidade ligados ˆs questões que utilizam o realismo, por exemplo o rpbisSCT de

Gilles (2002).

NOTEDEL"AUTEUR- La correspondance liŽe ˆ cet article peut tre adressŽe ˆ Oliver Prosperi,

Haute Žcole pŽdagogique du canton de Vaud, Centre de soutien ˆ la recherche et rela- tions internationnales, avenue de Cour 33, CH-1014 Lausanne, Suisse, tŽlŽphone : +41 21 316 02 91, ou par courriel ˆ l"adresse suivante : [oliver.prosperi@hepl.ch].

OLIVERPROSPERI122

MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page122

Le rŽalisme avec degrŽs de certitude123

Introduction

Traditionnellement, lors d"un test ˆ questions ˆ choix multiples (QCM), le rŽsultat est binaire : la rŽponse est correcte ou incorrecte. Ainsi, l"information sous-jacente est que soit l"Žtudiant sait, soit il ne sait pas. Cette situation dichotomique ne correspond souvent pas ˆ la rŽalitŽ des faits, o l"Žtudiant se questionne et peut douter de la rŽponse qu"il comp- te donner. Gr‰ce ˆ l"utilisation des degrŽs de certitude (DC), on introduit une nuance dans l"apprŽciation de la compŽtence, donnant alors la possi- bilitŽ ˆ l"Žtudiant d"exprimer un doute au sujet de ses propres compŽtences (Gilles, 2002). Les questions ˆ choix multiples avec degrŽs de certitude Cette section permettra au lecteur de se familiariser avec la notion de degrŽ de certitude afin de lui permettre de comprendre les dŽveloppements liŽs au rŽalisme. La notion est tirŽe intŽgralement de Prosperi (2012). Le lecteur dŽjˆ avisŽ pourra sans doute porter son attention ˆ la section sur la notion de rŽalisme.

Le principe de fonctionnement

Lorsque des Žtudiants doivent rŽpondre aux questions d"une Žpreuve ˆ QCM, ils peuvent aussi accompagner leurs rŽponses d"une information en lien avec leur degrŽ de confiance dans la rŽponse donnŽe, par exemple un nombre de 0 ˆ 5 indiquant dans quelle mesure ils sont sžrs de la rŽpon- se donnŽe. Chaque chiffre peut correspondre ˆ un intervalle de pourcen- tage prŽdŽfini qui indique l"estimation de la chance de rŽpondre correcte- ment ˆ la question. Cette Žchelle de certitude recouvre tout l"espace de chance de 0 % ˆ 100 %. Ë titre d"exemple, Leclercq, Boxus, de Brogniez, Wuidar et Lambert (1993) ont proposŽ une Žchelle allant de 0 ˆ 5 (voir figure 1). Si l"Žtudiant indique une certitude de 0, cela signifie qu"il estime avoir entre 0 % et 25 % de chance de rŽpondre correctement ˆ la question. Pour le degrŽ de certitude 1, cette chance se trouve entre 25 % et 50 %.Pour le degrŽ de certitude 2, cette chance se trouve entre 50 % et 70 %, etc. MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page123

OLIVERPROSPERI124

Il est possible de construire un grand nombre d"Žchelles de certitude. Il en existe avec intervalles symŽtriques, avec intervalles asymŽtriques (comme celle donnŽe en exemple) ou encore avec diffŽrents nombres d"in- tervalles (Leclercq, 1982 ; Leclercq et al., 1993). Ces diffŽrences sont prin- cipalement mŽthodologiques, par exemple l"Žchelle donnŽe en exemple n"est pas symŽtrique, mais elle propose plus de finesse dans la moitiŽ entre

50 % et 100 %. Ce choix a ŽtŽ fait, car, empiriquement, les Žtudiants ont ten-

dance ˆ davantage utiliser cette seconde partie de l"Žchelle par rapport ˆ sances et des compŽtences nŽcessaires pour rŽpondre correctement ˆ la question, mais il peut en mme temps avoir des doutes au sujet de ses acquis (Gilles, 2002).

Figure 1.Intervalles des degrés de certitude

L"utilisation des degrŽs de certitude permet aussi de donner une rŽtro- raient s"avŽrer dangereuses si non corrigŽes. Par exemple, dans le cas o l"Žtudiant donne une rŽponse fausse avec un degrŽ de certitude 5 (il est absolument certain d"avoir raison), il faut se questionner sur ses acquis dans le sujet couvert par la question (Gilles, 2002). Un exemple concret et emblŽmatique serait celui d"un Žtudiant en mŽdecine qui choisit d"admi- nistrer ˆ un enfant inconscient, avec un degrŽ de certitude 5, une dose d"adrŽnaline qui lui serait fatale. Un tel test permet donc de dŽtecter des situations dangereuses qui passeraient autrement inaperues, car elles seraient noyŽes dans le rŽsultat global du test. Il permet Žgalement de don- ner un retour ˆ l"Žtudiant pour l"aider ˆ mieux cibler son travail.

L"échelle des scores

Lors du test, l"Žtudiant donne pour chaque question un couple (soit une rŽponse et un degrŽ de certitude). Ë chacun de ces couples est attribuŽ un score, qui dŽpend de la justesse de la rŽponse et du degrŽ de certitude liŽ. L"attribution a lieu sur la base du tarif suivant : MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page124

Le rŽalisme avec degrŽs de certitude125

Tableau 1.

Score attribué à un étudiant en fonction de l"exactitude de la réponse et du degré de certitude choisi

DegrŽs de certitude

01234 5

RŽponseCorrecte+13+16+17+18+19+20

Incorrecte+4+3+20-6-20

Ce tarif a ŽtŽ conu par Leclercq et al. (1993) pour tre conforme avec la thŽorie des dŽcisions, selon laquelle la seule stratŽgie possible pour maxi- miser le score est celle de rŽpondre le plus honntement possible. Ainsi, sible quelle est sa chance de rŽpondre correctement ˆ la question. Cette autoŽvaluation de ses propres connaissances est une compŽten- ce qu"il est possible de dŽvelopper. Il est d"ailleurs fortement recomman- dŽ que l"Žtudiant puisse s"exercer ˆ ce type d"examen utilisant les degrŽs de certitude.

La notion de rŽalisme

Le degrŽ de certitude est une estimation de la chance de rŽpondre cor- rectement ˆ la question. Par exemple, en donnant le degrŽ de certitude 3 ˆ une question, la personne ŽvaluŽe estime entre 70 % et 85 % sa chance de rŽpondre correctement. Dans le cas idŽal, elle est parfaitement capable d"estimer sa chance de rŽussite. D"un point de vue probabiliste, ceci signi- fie que l"Žtudiant devrait avoir entre 70 % et 85 % de rŽponses correctes parmi toutes celles auxquelles il a donnŽ la certitude 3. Ce passage ˆ un raisonnement probabiliste dŽcoule directement de la dŽfinition de DC. Une personne qui est parfaitement capable d"Žvaluer ses compŽtences et ses chances de rŽussite pour chaque DC devrait obte- nir un taux d"exactitude dans l"intervalle dŽfini par le DC. Or, dans la pratique, il existe deux facteurs qui Žcartent l"Žtudiant du cas idŽal : une mauvaise estimation de ses chances de rŽussite et la varia- tion alŽatoire due au raisonnement probabiliste. Ces deux points seront analysŽs ci-dessous. MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page125 Pour dŽterminer dans quelle mesure l"Žtudiant s"Žcarte du cas idŽal, il faut recourir ˆ la notion de rŽalisme. En 1973, Shuford et Brown (1973) proposent une notion de rŽalisme reprŽsentŽe par une fonction affine y = ax+b, qui met en relation la probabilitŽ subjective de rŽussite (les DC utilisŽs) comme abscisses et le taux effectif de bonnes rŽponses comme ordonnŽes. Le cas idŽal est une diagonale, y = 1x+0. Plus a et b s"Žcartent respectivement de 1 et 0, moins l"Žtudiant sera rŽaliste. Cette dŽfinition plan de la surestimation et de la sous-estimation de ses capacitŽs et de biais subjectif dans l"expression de ses chances de rŽussite. Cependant, cette les uns avec les autres afin de comparer facilement leur rŽalisme. En donnant suite ˆ des travaux de Murphy et d"Oskamp dans les annŽes 1960 et 1970, Leclercq, Jans, Georges et Gilles (2000) proposent une formule qui donne une valeur du rŽalisme sur une Žchelle de 0 ˆ 100. Cette dŽfinition permet de comparer le rŽalisme des Žtudiants les uns par rapport aux autres, et se base sur la diffŽrence entre le taux d"exactitude pour chacun des DC et la valeur centrale de l"intervalle de certitude cor- respondant (voir tableau 2). Enfin, Gilles (2002) propose une adaptation de la formule de Leclercq et ses collaborateurs qui permet de remŽdier ˆ des aberrations liŽes aux cas extrmes d"individus qui utilisent le degrŽ de certitude maximal en se trompant systŽmatiquement ou, au contraire, qui utilisent le degrŽ de certitude maximal en rŽpondant correctement ˆ toutes les questions. Afin de permettre la comprŽhension des ŽlŽments qui ont motivŽ ce travail, nous illustrons le fonctionnement de la procŽdure proposŽe par postulons que les valeurs centrales des intervalles de certitude reprŽsen- tent des taux d"exactitude idŽaux pour chaque DC, comme il est prŽcisŽ dans le tableau 2. Par exemple, pour le DC 1, le taux d"exactitude idŽal serait au centre de l"intervalle [0,25 ; 0,5], donc d"une valeur de 0,375. Ainsi, un Žtudiant j [par la suite, nous utiliserons l"indice j(j=1,...,N) pour indi- cer des valeurs relatives aux Žtudiants] rŽaliste devrait obtenir 37,5 % de bonnes rŽponses parmi toutes celles qui sont accompagnŽes du DC 1.O

LIVERPROSPERI126

MeE_INT_v38n1-2015_v12_07•07-29-02_V30 N2_INT 15-06-20 16:49 Page126

Tableau 2.

Valeur centrale des intervalles de certitude et taux idéaux de bonnes réponses

DegrŽs de certitude

012345

Valeur centrale12,5 %37,5 %60 %77,5 %90 %97,5 % Ensuite, nous calculons, pour chaque DC, l"Žcart arithmŽtique en valeur absolue entre le taux effectif de bonnes rŽponses et le taux idŽal. Enfin, tous ces Žcarts sont sommŽs, en Žtant prŽalablement pondŽrŽs par la proportion d"utilisation de chaque DC.quotesdbs_dbs28.pdfusesText_34

[PDF] comment faire une description d'un personnage

[PDF] controle sur le dernier jour d'un condamné

[PDF] victor hugo le dernier jour d'un condamné questionnaire de lecture

[PDF] le dernier jour dun condamné controle corrigé

[PDF] module cad

[PDF] vdi4200

[PDF] reglette cad

[PDF] module cad 8 paires pouyet

[PDF] repartiteur telephonique 56 paires

[PDF] cablage module cad

[PDF] reglette telephonique 8 paires

[PDF] mettez le texte en ordre

[PDF] le livre d'eli 2 streaming

[PDF] le livre déli aveugle ou pas

[PDF] le livre deli critique