scholarly journals Within-item response processes as indicators of test-taking effort and motivation

2021 ◽  
pp. 1-27
Author(s):  
Erik Lundgren ◽  
Hanna Eklöf
Keyword(s):  
Item Response ◽  
Test Taking

Applying Item Response Theory Modeling to Identify Social (Pragmatic) Communication Disorder

2020 ◽  
Vol 63 (6) ◽  
pp. 1916-1932 ◽  
Author(s):  
Haiying Yuan ◽  
Christine Dollaghan
Keyword(s):  
Item Response Theory ◽  
Item Response ◽  
Sensitivity And Specificity ◽  
Social Communication ◽  
National Database ◽  
Communication Disorder ◽  
Social Communication Questionnaire ◽  
Autism Research ◽  
The Social ◽  
Pragmatic Communication

Purpose No diagnostic tools exist for identifying social (pragmatic) communication disorder (SPCD), a new Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition category for individuals with social communication deficits but not the repetitive, restricted behaviors and interests (RRBIs) that would qualify them for a diagnosis of autism spectrum disorder (ASD). We explored the value of items from a widely used screening measure of ASD for distinguishing SPCD from typical controls (TC; Aim 1) and from ASD (Aim 2). Method We applied item response theory (IRT) modeling to Social Communication Questionnaire–Lifetime ( Rutter, Bailey, & Lord, 2003 ) records available in the National Database for Autism Research. We defined records from putative SPCD ( n = 54), ASD ( n = 278), and TC ( n = 274) groups retrospectively, based on National Database for Autism Research classifications and Autism Diagnostic Interview–Revised responses. After assessing model assumptions, estimating model parameters, and measuring model fit, we identified items in the social communication and RRBI domains that were maximally informative in differentiating the groups. Results IRT modeling identified a set of seven social communication items that distinguished SPCD from TC with sensitivity and specificity > 80%. A set of five RRBI items was less successful in distinguishing SPCD from ASD (sensitivity and specificity < 70%). Conclusion The IRT modeling approach and the Social Communication Questionnaire–Lifetime item sets it identified may be useful in efforts to construct screening and diagnostic measures for SPCD.

Indikatoren schulischen Wohlbefindens bei gesunden und chronisch kranken Kindern: Psychometrische Prüfung und Validierung adaptierter FEESS-Skalen

2020 ◽  
Vol 34 (3-4) ◽  
pp. 201-219
Author(s):  
Kathleen Schnick-Vollmer ◽  
Christiane Diefenbach ◽  
Christine Gräf ◽  
Dorle Hoffmann ◽  
Isabell Hoffmann ◽  
...  
Keyword(s):  
Item Response ◽  
Mean Square ◽  
Weighted Mean ◽  
Externe Validität ◽  
Chronisch Kranke

Zusammenfassung. Das schulbezogene Wohlbefinden (SBWB) ist eine wichtige Voraussetzung für schulischen Erfolg. Trotzdem existieren – insbesondere mit Blick auf die Erfassung des SBWB von Erstklässlern – im deutschsprachigen Raum nur vereinzelt Studien. Dies lässt sich möglicherweise durch das Fehlen geeigneter Instrumente begründen. Dies gilt auch und insbesondere dann, wenn der Gesundheitszustand der Kinder berücksichtigt werden soll. Das Ziel der vorliegenden Arbeit besteht in der Validierung des adaptierten Fragebogens zur Erfassung von emotionalen und sozialen Schulerfahrungen (FEESS 1 – 2; Rauer & Schuck, 2004 ) mit Fokus auf die Eignung des Instruments für chronisch kranke und gesunde Kinder. Dafür wird zunächst das Konstrukt Wohlbefinden (WB) resp. SBWB definiert und in einschlägige Theorien – die Selbstbestimmungstheorie nach Deci und Ryan (1985) und das Erwartung-mal-Wert-Modell nach Wigfield und Eccles (2000) – eingebettet. Die Bedeutung der verwendeten FEESS-Skalen und ihr Zusammenhang zum schulischen Erfolg werden aufgezeigt. 1491 Kinder wurden zu ihrer Lernfreude (LF), sozialen Integration (SI) und zu ihrem schulbezogenen Fähigkeitsselbstkonzept (SK) befragt. Die Erfassung des Gesundheitszustands wurde über Elternfragebögen und Schuleingangsuntersuchungen eruiert. Zudem wurden die Eltern zur gesundheitsbezogenen Lebensqualität (LQ) ihrer Kinder mit Hilfe eines Fragebogens zur Erfassung der Lebensqualität von Kindern (KINDL; Bullinger, Mackensen & Kirchberger, 1994 ) befragt. Die psychometrische Qualität der adaptierten FEESS-Skalen wurde für beide Gruppen (erkrankt / gesund) auf Skalen- und Itemebene untersucht. Hierzu kamen sowohl klassische Verfahren als auch Verfahren der Item-Response-Theorie zum Einsatz. Die Ergebnisse untermauern die Validität des Konstruktes SBWB und stützen die Annahme der Dreidimensionalität (LF, SI, SK). Alle drei Skalen zeigen eine zufriedenstellende bis sehr gute Reliabilität. Die Items zeigen sehr gute MNSQ-Werte (weighted mean-square; gewichtete Abweichungsquadrate) und geeignete Trennschärfen. Die externe Validität, für deren Berechnung der Zusammenhang zwischen den Angaben der Kinder und den Angaben der Eltern zur gesundheitsbezogenen LQ untersucht wurde, konnte noch nicht ausreichend nachgewiesen werden. Bis auf diese Einschränkung kann mit Hilfe der adaptierten FEESS-Skalen im nächsten Schritt das SBWB von gesunden und erkrankten Kindern verglichen werden, um mögliche Chancenungleichheiten auszugleichen.

Beurteilerübereinstimmung und Beurteilerstrenge

Diagnostica ◽  
2004 ◽  
Vol 50 (2) ◽  
pp. 65-77 ◽  
Author(s):  
Thomas Eckes
Keyword(s):  
Item Response ◽  
Rasch Measurement

Zusammenfassung. Leistungsbeurteilungen unterliegen einer Reihe von Urteilsfehlern, die ihre Genauigkeit und Validität erheblich mindern können. Ein besonders kritischer Urteilsfehler ist die Tendenz zur Strenge bzw. Milde. In der vorliegenden Arbeit wird mit der Multifacetten-Rasch-Analyse (“many-facet Rasch measurement“; Linacre, 1989 ; Linacre & Wright, 2002 ) ein Item-Response-Modell vorgestellt, das Messungen der Strenge bzw. Milde eines jeden Beurteilers erlaubt und die ermittelten Strengemaße zusammen mit den Fähigkeitsmaßen der beurteilten Personen und den Schwierigkeitsmaßen der Aufgaben oder Beurteilungskriterien in einen gemeinsamen Bezugsrahmen stellt. Das Modell ermöglicht ferner eine um die Strenge der Beurteiler korrigierte Leistungsmessung. Mittels dieses Ansatzes werden im Rahmen des “Test Deutsch als Fremdsprache“ (TestDaF) Beurteilungen analysiert, die je 2 von insgesamt 29 Beurteilern zu Leistungen von 1359 Pbn im schriftlichen Ausdruck nach 3 Kriterien abgegeben haben. Die Gruppe der Beurteiler erweist sich als sehr heterogen, so dass eine Strengekorrektur der Urteile geboten ist. Abschließend werden verschiedene Implikationen des Multifacetten-Rasch-Modells für die Evaluation von Leistungsbeurteilungen diskutiert.

Validierung des Adaptiven Tests des Emotionswissens für drei- bis neunjährige Kinder (ATEM 3 – 9)

Diagnostica ◽  
2020 ◽  
Vol 66 (3) ◽  
pp. 158-171 ◽  
Author(s):  
Katharina Voltmer
Keyword(s):  
Item Response ◽  
Psychometrische Eigenschaften

Zusammenfassung. Das Emotionswissen von Kindern umfasst neben dem Ablesen von Emotionen aus Gesichtern anderer Menschen auch das Erkennen von externalen und internalen Ursachen von Emotionen sowie das Wissen über ihre Konsequenzen und Regulationsmöglichkeiten. Im deutschsprachigen Raum gibt es bisher kein Testverfahren, welches das Emotionswissen auf diese Weise differenziert und gleichzeitig reliabel und valide erfasst. Mit dem Adaptiven Test des Emotionswissens (ATEM) wird diese Lücke geschlossen. Der ATEM fragt in einem adaptiven Design 6 Teilaspekte des Emotionswissens ab, wobei die 32 Items in eine kinderfreundliche Geschichte eingebettet sind. Der nach der Item-Response-Theorie aufgebaute Test zeigt mit einer Gesamtstichprobe von N = 581 Kindern im Alter zwischen 3 und 9 Jahren gute psychometrische Eigenschaften. In einer Substichprobe von n = 254 Kindern im Alter zwischen 3 und 5 Jahren wurde der ATEM anhand von Korrelationen mit verschiedenen Variablen validiert. Insgesamt eignet sich der ATEM gut zur differenzierten Messung des Emotionswissens bei Kindern.

Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten

2012 ◽  
Vol 63 (1) ◽  
pp. 43-49 ◽  
Author(s):  
Johannes Hartig ◽  
Andreas Frey
Keyword(s):  
Item Response

Zusammenfassung. Kompetenzkonstrukte in der empirischen Bildungsforschung werden in der Regel auf kontinuierlichen Skalen abgebildet. Bei der Verwendung von Messmodellen der Item-Response-Theorie (IRT) kann auf Basis der gemeinsamen Metrik für individuelle Kompetenzausprägungen und Itemschwierigkeiten eine kriteriumsorientierte Testwertbeschreibung vorgenommen werden. Da die gemessene Kompetenz hierbei bezogen auf Itemschwierigkeiten beschrieben wird, ist es von großem Interesse, warum bestimmte Items empirisch schwieriger sind als andere. Der vorliegende Beitrag stellt zunächst den generellen Nutzen der Vorhersage von Itemschwierigkeiten dar. Dieser besteht (1) in der Prüfung von Hypothesen über die gemessene Kompetenz im Sinne einer Konstruktvalidierung, (2) in der Fundierung einer kriteriumsorientierten Skaleninterpretation und (3) in der Steuerung und Optimierung der Itemkonstruktion. Die IRT-basierte Vorhersage von Itemschwierigkeiten wird auf Basis von Daten aus dem DFG-Schwerpunktprogramm-Projekt zur Kompetenzmodellierung in Englisch als Fremdsprache illustriert (N = 9409). Für den Bereich Leseverstehen in Englisch als Fremdsprache kann gezeigt werden, dass sowohl die sprachlichen Anforderungen des Textes als auch die Anforderungen hinsichtlich der Informationsverarbeitung für das Konstrukt bedeutsam sind.

The Measurement Invariance of the Short Dark Triad

2020 ◽  
Vol 41 (4) ◽  
pp. 207-218
Author(s):  
Mihaela Grigoraș ◽  
Andreea Butucescu ◽  
Amalia Miulescu ◽  
Cristian Opariuc-Dan ◽  
Dragoș Iliescu
Keyword(s):  
Structural Equation Modeling ◽  
Item Response ◽  
Structural Equation ◽  
Dark Triad ◽  
Theory And Practice ◽  
Equation Modeling ◽  
Scale Level ◽  
High Stake ◽  
Differential Functioning ◽  
Item Functioning

Abstract. Given the fact that most of the dark personality measures are developed based on data collected in low-stake settings, the present study addresses the appropriateness of their use in high-stake contexts. Specifically, we examined item- and scale-level differential functioning of the Short Dark Triad (SD3; Paulhus & Jones, 2011 ) measure across testing contexts. The Short Dark Triad was administered to applicant ( N = 457) and non-applicant ( N = 592) samples. Item- and scale-level invariances were tested using an Item Response Theory (IRT)-based approach and a Structural Equation Modeling (SEM) approach, respectively. Results show that more than half of the SD3 items were flagged for Differential Item Functioning (DIF), and Exploratory Structural Equation Modeling (ESEM) results supported configural, but not metric invariance. Implications for theory and practice are discussed.

A Test of Three Sadism Measures

2020 ◽  
Vol 41 (4) ◽  
pp. 219-227 ◽  
Author(s):  
Bojana M. Dinić ◽  
Tara Bulut Allred ◽  
Boban Petrović ◽  
Anja Wertag
Keyword(s):  
Item Response ◽  
Social Groups ◽  
Similarity Index ◽  
Dark Triad ◽  
Hierarchical Regression ◽  
Fit Indices ◽  
Profile Similarity ◽  
Positive Attitudes ◽  
Confirmatory Factor ◽  
Positive Correlations

Abstract. The aim of this study was to evaluate psychometric properties of three sadism scales: Short Sadistic Impulse Scale (SSIS), Varieties of Sadistic Tendencies (VAST, which measures direct and vicarious sadism), and Assessment of Sadistic Personality (ASP). Sample included 443 participants (50.1% men) from the general population. Reliability based on internal consistency of all scales was good, and results of Confirmatory Factor Analysis (CFA) showed that all three scales had acceptable fit indices for the proposed structure. Results of Item Response Theory (IRT) analysis showed that all three scales had higher measurement precision (information) in above-average scores. Validity of the scales was supported through moderate to high positive correlations with the Dark Triad traits, especially psychopathy, as well as positive correlations with aggressiveness and negative with Honesty-Humility. Moreover, results of hierarchical regression analysis showed that all three measures of direct, but not vicarious sadism, contributed significantly above and beyond other Dark Triad traits to the prediction of increased positive attitudes toward dangerous social groups. The profile similarity index showed that the SSIS and the ASP were highly overlapping, while vicarious sadism seems distinct from other sadism scales.

Sign in / Sign up

Export Citation Format

Share Document