Multiple choice writing guidelines are decidedly split on the use of ‘none of the above’ (NOTA), with some authors discouraging and others advocating its use. Moreover, empirical studies of NOTA have produced mixed results. Generally, these studies have utilized NOTA as either the correct response or a distractor and assessed its effect on difficulty and discrimination. In these studies, NOTA commonly yields increased difficulty when it is used as the correct response, and no change in discrimination regardless of usage. However, when NOTA is implemented as a distractor, rarely is consideration given to the distractor that could have been written in its place. Here, we systematically replaced each distractor in a series of questions with NOTA across different versions of an Introductory Psychology examination. This approach allowed us to quantify the quality of each distractor based on its relative discrimination index and assess the effect of NOTA relative to the quality of distractor it replaced. Moreover, our use of large Introductory Psychology examinations afforded highly stable difficulty and discrimination estimates. We found that NOTA increased question difficulty only when it was the correct response, with no effect on difficulty of replacing any distractor type with NOTA. Moreover, we found that NOTA decreased discrimination when it replaced the most effective distractors, with no effect on discrimination of replacing either the correct response or lowest quality distractor with NOTA. These results replicate the common finding that inclusion of NOTA as the correct response increases question difficulty by equally luring high-performing and low-performing students toward distractors. Moreover, we have shown that including NOTA as a distractor can reduce discrimination if used in lieu of a well written alternative, suggesting that multiple choice authors should avoid using NOTA on multiple choice tests.
Les guides de rédaction pour les questions à choix multiple sont incontestablement partagés sur l’usage de la réponse « aucune des situations ci-dessus ». Certains auteurs déconseillent de l’employer alors que d’autres préconisent de le faire. De plus, des études empiriques de l’emploi de cette expression ont mené à des résultats mitigés. En général, ces études ont utilisé l’option « aucune des situations ci-dessus » soit comme étant la réponse correcte soit comme distracteur et ont évalué ses effets sur la difficulté et le discernement. Dans ces études, la réponse « aucune des situations ci-dessus » mène généralement à une augmentation de la difficulté quand l’option est employée comme étant la réponse correcte et il n’y a aucun changement en ce qui concerne le discernement, quel que soit son usage. Toutefois, quand ce type d’option de réponse est utilisé en tant que distracteur, on trouve rarement une justification à l’emploi d’un distracteur qui aurait pu être utilisé à sa place. Dans le cas présent, nous avons systématiquement remplacé chaque distracteur dans une série de questions contenant l’option « aucune des situations ci-dessus » dans différentes versions d’un examen d’introduction à la psychologie. Cette approche nous a permis de quantifier la qualité de chaque distracteur sur la base de l’indice de son discernement relatif et d’évaluer les effets de l’option relative sur la qualité du distracteur qu’elle remplaçait. De plus, puisque nous avons utilisé de grands examens d’introduction à la psychologie, cela nous a permis de faire des estimations de la difficulté et du discernement hautement stables. Nous avons trouvé que l’emploi de l’option « aucune des situations ci-dessus » augmentait la difficulté de la question seulement lorsque cette option était la réponse correcte et qu’il n’avait aucun effet sur la difficulté présente lorsqu’on remplaçait n’importe quel type de distracteur par l’option « aucune des situations ci-dessus ». En outre, nous avons trouvé que l’emploi de l’option « aucune des situations ci-dessus » diminuait le discernement quand elle remplaçait les distracteurs les plus efficaces et qu’elle n’avait aucun effet sur le discernement quand elle remplaçait soit la réponse correcte soit le distracteur le moins plausible par l’option « aucune des situations ci-dessus ». Ces résultats reproduisent les conclusions communes selon lesquelles l’emploi de l’option « aucune des situations ci-dessus » comme étant la réponse correcte augmente la difficulté de la question car dans ce cas, tant les étudiants brillants que les étudiants médiocres sont leurrés de façon identique vers les distracteurs. Par surcroît, nous avons montré que le fait d’inclure l’option « aucune des situations ci-dessus » en tant que distracteur pouvait réduire le discernement si on l’utilisait à la place d’une alternative de réponse bien rédigée, ce qui suggère que les auteurs de questions à choix multiples devraient éviter d’utiliser l’option « aucune des situations ci-dessus » dans les examens à choix multiples.
When numbers fail: do researchers agree on operationalization of published research?
