Curriculum-Based Measurement of Reading Decision Rules: Strategies to Improve the Accuracy of Treatment Recommendations

2018 ◽  
Vol 47 (4) ◽  
pp. 333-344 ◽  
Author(s):  
Ethan R. Van Norman ◽  
Peter M. Nelson ◽  
David C. Parker
2017 ◽  
Vol 43 (2) ◽  
pp. 110-120 ◽  
Author(s):  
Ethan R. Van Norman ◽  
David C. Parker

Recent simulations suggest that trend line decision rules applied to curriculum-based measurement of reading progress monitoring data may lead to inaccurate interpretations unless data are collected for upward of 3 months. The authors of those studies did not manipulate goal line slope or account for a student’s level of initial performance when evaluating the accuracy of progress monitoring decisions. We explored how long progress needs to be monitored before ineffective interventions can be accurately identified using actual data. We calculated classification accuracy statistics to evaluate the extent to which recommendations from three common and two novel decision rules correctly predicted spring performance across six levels of duration (8, 10, . . . 18 weeks) and two goal types (normative and default spring benchmark). Comparing the median of the last three observations as well as current trend with expected performance at a given week consistently yielded higher positive agreement rates than data point or prediction-based decision rules. Decision rule performance improved as duration increased, but a point of diminishing returns was observed. Decisions based on normative goals yielded consistently higher chance-corrected agreement outcomes.


Author(s):  
Alfons M. Strathmann ◽  
Karl Josef Klauer

Zusammenfassung. Am Beispiel des Rechnens in der Grundschule wird eine Weiterentwicklung des amerikanischen „Curriculum – based measurement” demonstriert. Ein ganzes Jahr lang erhalten 190 Kinder aus sieben Grundschulklassen und drei Sonderschulklassen alle zwei Wochen einen Rechentest. Bei den Tests handelt es sich um Zufallsstichproben aus Grundgesamtheiten von Aufgaben, die dem Lehrziel für jedes der Schuljahre entsprechend definiert sind. Für jedes Kind und jeden Termin wird eine eigene neue Zufallsstichprobe generiert, so dass kein Test zweimal gegeben wird, ein jeder aber die geforderte Fertigkeit kontentvalide erfasst. Solche Tests lassen sich als kriteriumsorientierte Binomialtests darstellen. Im vorliegenden Beitrag wird (1) das ursprüngliche Konzept und seine Weiterentwicklung kurz vorgestellt, (2) empirisch getestet, ob das neue Verfahren geeignet ist, von Klassenlehrern vertretbar eingesetzt zu werden, und (3) werden Ausblicke auf dringend erwünschte weiterführende Forschungen geboten. Die vorgelegten Daten erlauben, das Spektrum von Verläufen auf Klassen- wie Individualebene zu dokumentieren, aber auch, die Probleme und vielversprechenden Möglichkeiten des Ansatzes kritisch offen zu legen.


Sign in / Sign up

Export Citation Format

Share Document