Next PDF List

CONCEPTS ET INNOVATIONSElaboration d'unefiche d'évaluation du stage clinique en médecinede famille: processus et résultat☆Creating a residency rotation assessment tool in Family Medicine: process and productMarie-Pierre CODSI*, Gilbert SANCHE, Louise AUTHIER, Diane ROBERT, Louis-Xavier D'AOUST,Réjean DUPLAIN, et Nicolas FERNANDEZDépartement de médecine de famille et de médecine d'urgence, Université de Montréal, Montréal, Québec, CanadaManuscrit reçu le 7 juillet2019 ; commentaires éditoriaux formulés aux auteurs le 18 février 2020 et le16 juin 2020 ; accepté pour publication le 17 juin 2020Résumé -- Contexte:Depuis l'implantation de l'approche par compétences en formation médicale, diversétablissements dans le monde implantent des outils pour évaluer le progrès et les niveaux de maîtrise descompétences.Objectif:Décrire le processus d'élaboration collectif de lafiche d'appréciation du stage clinique(FASC)enmédecinedefamilleetprésentersonrésultat.Cetteficherelielesactivitésprofessionnellesconfiables(APC) et les compétences requises pour les réaliser.Méthode:Un groupe de travail mandaté par la directionuniversitaireduprogramme,deconcertavecles18directeurslocauxdeprogramme(DLP)danslescentresoùsedéroule la formation des résidents, a validé une liste d'APC par sondage.

Dans un deuxième temps, lors d'unejournée d'atelier, 47participants (enseignants et DLP) ont décrit les niveaux de maîtrise à observer chez lesrésidentspourchaqueAPC.Résultats:Lestravauxontmenéàlacréationd'unenouvelleFASCetd'unGuidede notation qui permettent d'évaluer 11 APC et les 7 compétences reconnues au Canada.

L'appréciation desAPC se base sur la confiance des enseignants envers le travail des résidents.

Cinq "niveaux de confiance dans ladélégation de responsabilité» (NiCDeR) ont été définis pour les principales compétences sollicitées par chaqueAPC.Conclusion:L'utilisation d'un processus de co-construction a permis d'augmenter la validité et lapertinence d'une nouvellefiche d'évaluation des stages cliniques en médecine de famille et de favoriser sonappropriation par les cliniciens-enseignants du programme.Mots clés :évaluation des compétences, stages cliniques, activités professionnelles confiables, médecinede famille, niveau de confiance dans la délégation de la responsabilité, évaluation des stages cliniquesAbstract.

Background:With the implementation of Competency-based medical education, many medicalschools worldwide are introducing targeted tools to assess progress and mastery achievement ofcompetencies.Objective:Describe the co-building process used to develop de Clinical Rotation AssessmentForm (CRAF) in family medicine.

This form contains an Entrustable Professional Activity (EPA) and thecompetencies required.Methods:A working group was mandated to conduct the development work andworked in partnership with 18Local Program Directors (LPD) in the university clinics where training iscarried out.

A list of EPAs was initially developed and validatedviasurvey.

Subsequently, in a day-longworkshop, 47participants (educators and LPDs) described the mastery levels to observe in residents for eachEPA.Results:The work led to development of the CRAF and a Marking guide that supports assessment of11EPAs and 7competencies.

EPA assessment is premised on entrustment conferred by educators accordingto resident's progress.

Five levels of"entrustment to delegate responsibility"(NiCDeR) were defined for themain competencies implicated in each EPA.Conclusion:The new CRAF and the Marking guide werevalidated by the LPDs in each of the University Family Medicine Clinics, which facilitated their introduction☆Cet article comporte un matériel éditorial complémentaire, accessible en ligne à partir de la version numérique en format html*Correspondance et offprints: Marie-Pierre CODSI, Département de médecine de famille et de médecine d'urgence, Université deMontréal, Montréal, Québec, Canada.Mailto:marie-pierre.codsi@umontreal.ca.Pédagogie Médicale21, 91-99 (2020)©SIFEM, 2020https://doi.org/10.1051/pmed/2020028Disponible en ligne :www.pedagogie-medicale.organd implementation in the training sites.

Clear and precise expectations also helped to achieve desiredresults.

Co-building of the CRAF allowed for enhanced validity and relevance of the tool and favored uptakeby the clinical-educators.Keywords:competency assessment, clinical rotations, entrustable professional activities, descriptive scales,entrustment for responsibility delegation levels, Delphi surveyIntroductionEn accord avec les orientations du Collège desmédecins de famille du Canada, [1,2] le programme derésidence en médecine de famille de l'Université deMontréal (UdeM) transforme son processus évaluatif enintégrant l'approche par compétences [3].

Le cadreconceptuel de ce "nouveau» programme, parachevé en2014 [4], s'articule autour du référentiel CanMEDs définiparleCollègeroyaldesmédecinsetchirurgiensduCanada(CRMCC) en 2005 [5] dans un premier temps, puis adaptépar le Collège des médecins de famille du Canada en 2009[6].

Ce cadre conceptuel prévoit, notamment, quel'évaluation et le suivi du progrès des résidents se basentsur l'observation et sur le jugement qu'ont les enseignantsdu travail que les résidents réalisent en contexte cliniqueauthentique.

Afind'outiller les enseignants cliniques pourqu'ils puissent porter ces jugements avec assurance, dansle respect des principes de l'approche par compétences,nous rapportons ici à la fois le processus et le résultat d'untravail qui visait à co-construire lafiche d'évaluation destage, avec le concours des utilisateurs éventuels, poursoutenir l'évaluation globale des compétences des rési-dents.

Le présent article décrit la démarche de co-construction utilisée par le Conseil pédagogique duprogramme de résidence en médecine de famille (MF) del'UdeM pour élaborer une nouvellefiche d'évaluation dite"fiche d'appréciation du stage clinique» (FASC), ainsiqu'un guide de notation de cettefiche.Le contexte de formation en médecine defamilleCadre général des stagesIl nous semble utile d'expliquer brièvement lecontexte de formation et d'évaluation des résidents denotre programme de MF.

Tous les résidents (nombreannuel approximatif de 300) sont rattachés, au cours desdeux années de leur formation, à un milieu cliniqueappelé "Clinique universitaire de médecine de famille»(CUMF).

Dans ces milieux cliniques, sous la supervisionde cliniciens enseignants, les résidents se préparent à leurpratique future en prodiguant des soins cliniquesauthentiques à leurs patients.

Chacune des 18 CUMFaffiliées au programme de MF de notre institution a laresponsabilité de réaliser l'évaluation de ses résidents à lafin de chacun des stages (d'une durée de deux à troismois).

Ces évaluations sommatives sont consignées surunefiche d'appréciation du stage clinique (FASC) qui estacheminée au comité central d'évaluation du programmede résidence en MF (comité universitaire) à qui revient laresponsabilité de valider ou non la réussite de ces stages.Une anciennefiche d'appréciation du stage cliniqueimparfaiteJusqu'à tout récemment, les évaluations des stages enMF étaient consignées sur une FASC élaborée en 2014.Cettefiche comportait cinq situations professionnelles,formulées sous la forme d'activités professionnellesconfiables (APC),pourchacun des stages.Ony consignaitaussi une appréciation de chacune des sept compétencesdu référentiel CanMeds (communicateur, professionnel,expert médical, collaborateur, gestionnaire, promoteur dela santé et érudit).

Ces compétences étaient évaluées dansun contexte clinique authentique, mais sans qu'aucun lienne soit fait entre ces compétences et les cinq APCdocumentées sur la FASC.Aufil du temps, les membres du comité centrald'évaluation du programme de résidence en MF, ainsi queles responsables locaux de l'évaluation de chaque CUMF,ont exprimé certaines insatisfactions envers l'ancienneFASC, qui témoignaient entre autres d'une mauvaisecompréhension du concept d'APC et d'une constructionimparfaite de ces APC.

C'est dans ce contexte que ladirection du programme de résidence à pris la décision, en2016, de concevoir une nouvelle FASC.ProblématiqueL'évaluation du développement des compétences seréalise tout au long d'un parcours de formation [7].

Ceciimplique, en éducation médicale notamment, que l'ensei-gnement et l'évaluation se conçoivent comme des activitéspédagogiques reliées et rapprochées dans le temps.L'évaluation globale et intégrée des compétences baséessur le cumul d'observations directes et indirectes présentedesdéfisquotidienspourlesenseignantsenmilieuclinique.À la difficulté de bien appréhender le concept decompétence et son application dans la formation clinique,s'ajoute celle de décrire avec suffisamment de précision leséléments à observer qui permettent d'apprécier lesdifférents niveaux de maîtrise des compétences.L'expérience montre qu'il est souvent ardu pour unévaluateur de faire des inférences justes à partir del'observationdutravailclinique d'unrésidenten sebasantsur les descriptions des compétences provenant desréférentiels de compétences que nous utilisons [5,6].

Ilest eneffet difficile deporterun jugementavecjustesse sur92 M.P.

Codsiet al.le niveau de maîtrise de l'expertise médicale ou de lacommunication, par exemple, à partir de l'observationd'une consultation clinique réalisée par un résident avecun patient.

Nous étions donc à la recherche d'un outild'évaluation qui, tout en s'intégrant dans une approchepar compétences, permettrait aux enseignants d'apprécierde façon globale, holistique et intuitivela compétence et laprogression d'un résident au cours de sa formation.La définition de la compétence proposée par Tardif [7],comporte la notion de familles de situations à l'intérieurdesquellesunindividu compétent mobilisesonsavoir-agir.En cohérence avec cette conception, le processus dedéveloppement des référentiels de compétences devraitprendre appui sur l'analyse des situations professionnellespour effectuer une transformation didactique afindesoutenir la formation des professionnels qui vont yintervenir [8,9].

Or, les rédacteurs du référentiel decompétences CanMEDs et par conséquent celui de laMF, se situent dans un cadre épistémologique qui conçoitles compétences au titre d'habiletés génériques et peuancrées dans un contexte de pratique particulier, àl'inverse de la conception de Tardif, de sorte que ladescription des compétences dans un tel référentieldemeure difficilement intelligible pour les enseignantssurleterrainchargésdeveilleràleurdéveloppement.C'estpourquoi nos travaux de modification de lafiched'évaluation nous ont amenés à adopter le conceptd'activité professionnelle confiable (APC) (traductionadoptée par l'Association des facultés de médecine duCanada en 2017 de la locution "entrustable professionalactivity» proposée par Olle ten Cate [10]), qui permet auclinicien enseignant de faire plus aisément un lien entrel'activité professionnelle (famille de situations) qu'ilobserve et les compétences qu'il souhaite évaluer.L'activité professionnelle comme vitrine de lacompétenceTel que décrit par ten Cate [10], une APC constituefondamentalement une activité professionnelle authen-tique et récurrente qui est spécifique à une disciplinemédicale.

En raison de sa complexité, elle sollicite pour saréalisation la mobilisation et la combinaison de plusieursdes compétences définies par le Collège des médecins defamille du Canada.

Cet enchevêtrement de gestesprofessionnels qui amalgament de multiples savoirs,habiletés et attitudes est observable et évaluable [11].Puisque l'APC décrit une activité professionnellepropre à une discipline et à un milieu de pratique, ceconcept intègre autant la notion de construction graduellede la compétence [12] que celle de contexte dans lequel seréalise le travail clinique qui contribue à cette construc-tion.

C'est la notion de confiance qui donne à l'APC saqualité de jalon permettant d'observer la progression durésident.

Un enseignant clinique arrive assez facilement àprendre conscience de la confiance que lui inspire unrésident lors qu'il l'observe accomplir une activitéprofessionnelle complexe (par exemple; assurer le suividepatientsougérerdes épisodesdesoins).Cetteconfiancedécouled'unjugementglobal,souventintuitif,portésurlapertinence et l'efficacité d'un ensemble d'actions ou dedécisions prises par le résident, qui témoignent d'uncertain niveau de maîtrise des compétences sous-jacentesvisées par le programme de formation.

Ce niveau deconfiance se traduira ensuite par le degré d'autonomie quel'enseignant acceptera d'accorder à ce résident dans laréalisation de futures activités professionnelles semblables[13].

Décrivant une activité professionnelle récurrente,l'APC sert de toile de fond pour mettre en évidence laprogression des niveaux de maîtrise des compétences àplusieurs moments en cours de formation, permettantainsi de dégager une vision longitudinale d'une trajectoirede développement.

Ainsi, parallèlement à la trajectoire dedéveloppement de la maîtrise des compétences d'unrésident se dessinera une trajectoire de développementde la confiance et de l'autonomie qui lui sont accordées.Les écrits scientifiques portant sur la questionsoutiennent le fait que baser l'évaluation d'APC sur laconfiance constitue une stratégie pertinente dans lamesure où en milieu de travail, l'évaluation holistique,de nature qualitative, repose sur de multiples évaluateursayant réalisé plusieurs observations dans multiplescontextes [14].

La validité et la crédibilité de leursjugements, basés sur une liste des critères, inclus dans ladescription de l'APC, assurent un degré de justesse et depertinence acceptable [15,16].Un concept largement adoptéAu cours de la dernière décennie, les APC ont étéimplantées dans plusieurs programmes de médecine defamille au Canada.

Les travaux réalisés dans quatrefacultés canadiennes indiquent que des listes de 30 et 40APC avaient été rédigées et servaient à jalonner le progrèsdes résidents au cours des 24 mois de formation, dansmultiples contextes cliniques [16].

Ces travaux, réaliséssous l'égide de panels d'experts en médecine de famille,parfois complétés par des représentants du public ou despatients,soutenuspardesexpertsenpédagogie,favorisentla mise en lien avec les compétences du référentiel et desdomaines de pratique (soins aux ainés, soins aux enfants,maternité,fin de vie,etc.) afind'évaluer quantitativementàl'aide d'un "tableau de bord» la progression du résident[18].

Leur but global est de créer un système de suiviélectronique des APC permettant de structurer larétroaction quotidienne et de fonder les décisions d'at-teinte-ou de non atteinte-des compétences par lesrésidents, en s'appuyant sur l'index d'utilité des items devan der Vleuten [17] en lien avec l'évaluation descompétences.La rédaction des APC pour une discipline comme lamédecine de famille (MF) représente un défide taille.

Leschamps de pratique sont vastes, les contextes de soinsdivers, et les clientèles variées.

Contrairement aux équipesd'autres facultés de médecine qui ont construit des outilsaxés sur la temporalité-le temps raisonnable attendupour l'atteinte de seuils de compétences [18-20]-nousavons choisi de produire un outil susceptible d'habiliterElaboration d'une fiche d'évaluation du stage clinique en médecine de famille 93davantage les acteurs locaux dans les CUMF, afinderehausser le soutien aux résidents en permettant laformulation de rétroactions ciblées et utiles, tout encompilant des résultats chiffrés pour statuer et certifier laprogression du résident [17].

Contrairement à d'autreséquipes au Canada, nous avons opté pour un processus deco-construction d'un nombre moins élevé d'APC (11 aulieu de 35, seulement pour les stages en CUMF),accompagnées d'un référentiel de notation basé sur lanotion de confiance.Nous présentons dans les sections suivantes leprocessusetlerésultatdelamodification de lafiched'évaluation du stage de MF de notre programme derésidence.

Le présent texte permet d'étayer commentnous avons réussi à: 1) mettre en relation le référentielde compétences et les activités cliniques de formationdes résidents; 2) synthétiser les jugements évaluatifsque doivent formuler