Jugement évaluatif : confrontation d’un modèle conceptuel à des données empiriques

Contexte : Le recours au jugement des évaluateurs est de plus en plus présent en contexte d’utilisation d’une approche de formation par compétences ; toutefois sa subjectivité a souvent été critiquée. Plus récemment, les perspectives variées des évaluateurs ont commencé à être traitées comme source d’information importante et les recherches sur le jugement évaluatif (rater cognition) se sont multipliées. Lors d’une synthèse d’études empiriques sur le sujet, Gauthier et al. ont proposé un modèle conceptuel englobant une série de résultats concourants. Objectif : Dans le cadre de cette étude à devis mixte concomitant imbriqué (quan/QUAL), nous confrontons ce modèle théorique à des données empiriques issues d’entrevues semi-dirigées d’évaluateurs hors pair. Cette analyse vise à valider le modèle théorique et déterminer son utilité pour mieux comprendre le jugement évaluatif. Méthodes : Les verbatim d’entrevues audio-enregistrées de 11 participants observant et jugeant la vidéo d’une résidente lors d’une consultation avec un patient standardisé ont été codés en utilisant le modèle théorique comme arbre de codage. Les données quantitatives portant sur l’occurrence et la co-occurrence de chaque code, en général et par individu, ont été extraites et analysées. Résultats : Les données corroborent que l’ensemble des neuf mécanismes du modèle conceptuel sont bien représentés dans le discours des évaluateurs. Toutefois, les résultats suggèrent que le modèle avec ses neuf mécanismes indépendants ne rend pas justice à la complexité des interactions entre certains mécanismes et qu’un des mécanismes, le concept personnel de compétence, semble soutenir une grande partie des autres mécanismes.

Exploring rater cognition: A typology of raters in the context of music performance assessment

This manuscript sought to investigate rater cognition by exploring rater types based upon differential severity and leniency associated with rating scale items, rating scale category functioning, and dimensions of music performance assessment. The purpose of this study was to empirically identify typologies of operational raters based upon systematic differential severity indices in the context of large ensemble music performance assessment. A rater cognition information-processing model was explored based upon two frameworks: a framework for scoring and a framework for audition. Rater scoring behavior was examined using a framework for scoring, where raters’ mental processes compare auditory images to the scoring criteria used to generate a scoring decision. The scoring decisions were evaluated using the Multifaceted Rasch Partial Credit Measurement Model. A rater typology was then examined under the framework of audition, where similar schemata were defined through raters’ clustering of differential severity indices related to items and compared across performance dimensions. The results provided three distinct rater-types: (a) the syntactical rater; (b) the expressive rater; and (c) the mental representation rater. Implications for fairness and precision in the assessment process are discussed as well as considerations for validity of scoring processes.