Examining cognitive diagnostic modeling in classroom assessment conditions

2021 ◽  
pp. 1-18
Author(s):  
Justin Paulsen ◽  
Dubravka Svetina Valdivia
Keyword(s):  
Classroom Assessment ◽  
Cognitive Diagnostic Modeling ◽  
Diagnostic Modeling

Applying AdaBoost to Improve Diagnostic Accuracy

Methodology ◽  
2019 ◽  
Vol 15 (2) ◽  
pp. 77-87 ◽  
Author(s):  
Zhehan Jiang ◽  
Kevin Walker ◽  
Dexin Shi
Keyword(s):  
Machine Learning ◽  
Diagnostic Accuracy ◽  
Latent Variables ◽  
Latent Variable ◽  
Area Under The Curve ◽  
Diagnostic Information ◽  
Small Sample ◽  
Simulation Studies ◽  
Cognitive Diagnostic Modeling ◽  
Diagnostic Modeling

Abstract. Cognitive diagnostic modeling has been adopted to support various diagnostic measuring processes. Specifically, this approach allows practitioners and/or researchers to investigate an individual’s status with regard to certain latent variables of interest. However, the diagnostic information provided by traditional estimation approaches often suffers from low accuracy, especially under small sample conditions. This paper adopts an AdaBoost technique, popular in the field of machine learning, to estimate latent variables. Further, the proposed approach involves the construction of a simple iterative algorithm that is based upon the AdaBoost technique – such that the area under the curve (AUC) is minimized. The algorithmic details are elaborated via pseudo codes with line-to-line verbal explanations. Simulation studies were conducted such that the improvement of latent variable estimates via the proposed approach can be examined.

Validation of a Questionnaire for Personality Profiling using Cognitive Diagnostic Modeling

2018 ◽  
Vol 21 ◽  
Author(s):  
Javier Revuelta ◽  
Lucia Halty ◽  
Carmen Ximénez
Keyword(s):  
Behavioral Inhibition ◽  
Structural Equation ◽  
Behavioral Activation ◽  
Anger Expression ◽  
Equation Modeling ◽  
Personality Profiles ◽  
Modeling Framework ◽  
Callous Unemotional ◽  
Cognitive Diagnostic Modeling ◽  
Diagnostic Modeling

AbstractThis article describes the development of the ENCUIST (Extroversion, Neuroticism, Callous-Unemotional, Instability, Short-Test) questionnaire, which has been created to provide a personality profiling method based on a cognitive diagnostic modeling framework. The ENCUIST measures the attributes of extroversion, neuroticism, callous unemotionality and overt expressions of anger that are relevant in a forensic context. The scores provided by the ENCUIST are binary classifications of the individuals (high/low) in these attributes. The ENCUIST was developed using a sample of 516 subjects to study its validation through psychometric procedures, including factor analysis, cognitive diagnostic modeling and structural equation modeling. The results supported a four-factor structure. Linear regressions were used to evaluate the predictive validity of the scores provided by ENCUIST with respect to two external criteria that are relevant in the forensic context, namely behavioral activation and behavioral inhibition. The results showed that the extroversion dimension is positively related to behavioral activation, although the effect size is modest and the proportion of explained variance is only 11%. Moreover, the dimensions of neuroticism and anger expression are positively related to behavioral inhibition, with 7% of the variance explained. Together, these results suggest that cognitive diagnostic models are useful tools for the elaboration of personality profiles based on classifying subjects along binary attributes.

scholarly journals An Application of the Support Vector Machine for Attribute-By-Attribute Classification in Cognitive Diagnosis

2017 ◽  
Vol 42 (1) ◽  
pp. 58-72 ◽  
Author(s):  
Cheng Liu ◽  
Ying Cheng
Keyword(s):  
Support Vector Machine ◽  
Sample Size ◽  
Training Sample ◽  
Training Dataset ◽  
Great Promise ◽  
Support Vector ◽  
Small Scale ◽  
Diagnostic Model ◽  
Cognitive Diagnostic Modeling ◽  
Diagnostic Modeling

Cognitive diagnostic modeling in educational measurement has attracted much attention from researchers in recent years. Its applications in real-world assessments, however, have been lagging behind its theoretical development. Reasons include but are not limited to requirement of large sample size, computational complexity, and lack of model fit. In this article, the authors propose to use the support vector machine (SVM), a popular supervised learning method to make classification decisions on each attribute (i.e., if the student masters the attribute or not), given a training dataset. By using the SVM, the problem of fitting and calibrating a cognitive diagnostic model (CDM) is converted into a quadratic optimization problem in hyperdimensional space. A classification boundary is obtained from the training dataset and applied to new test takers. The present simulation study considers the training sample size, the error rate in the training sample, the underlying CDM, as well as the structural parameters in the underlying CDM. Results indicate that by using the SVM, classification accuracy rates are comparable with those obtained from previous studies at both the attribute and pattern levels with much smaller sample sizes. The method is also computationally efficient. It therefore has great promise to increase the usability of cognitive diagnostic modeling in educational assessments, particularly small-scale testing programs.

Professionelle Wahrnehmung und Fachkraft-Kind-Interaktion von KiTa-Fachkräften

2020 ◽  
pp. 1-15
Author(s):  
Christoph Mischo ◽  
Katrin Wolstein ◽  
Svenja Peters
Keyword(s):  
Scoring System ◽  
Classroom Assessment ◽  
Classroom Assessment Scoring System ◽  
Professionelle Wahrnehmung

Zusammenfassung. Die Professionelle Wahrnehmung von Pädagoginnen und Pädagogen als Fähigkeit zur Identifikation, Interpretation und Bewertung relevanter Merkmale pädagogischer Interaktion stellt eine wichtige pädagogische Teilkompetenz dar. Empirisch untersucht ist die Professionelle Wahrnehmung insbesondere bei Lehrkräften, kaum dagegen bei Fachkräften in KiTas. Ziel dieser Studie ist daher die Untersuchung von Zusammenhängen zwischen der Professionellen Wahrnehmung und dem beobachteten Handeln von KiTa-Fachkräften. Zur Evokation der Professionellen Wahrnehmung wurden 120 Teilnehmerinnen und Teilnehmern typische Fachkraft-Kind-Interaktionen als Video-Stimuli dargeboten. Die Erfassung der Professionellen Wahrnehmung erfolgte mit zwei offenen (Lautes Denken und retrospektives Interview) sowie mit einem geschlossenen Antwortformat (Rating-Skalen). Zur Einschätzung der Qualität des Interaktionsverhaltens der Fachkräfte wurde das international gut etablierte Classroom Assessment Scoring System (CLASS Pre-K) eingesetzt. Bei der Zusammenhangsprüfung im Rahmen eines Strukturgleichungsmodells mit latenten Variablen zeigte nur die mit der Methode des Lauten Denkens erfasste Professionelle Wahrnehmung Zusammenhänge mit den CLASS-Domänen Organisation des KiTA-Alltags und Lernunterstützung. Die Ergebnisse werden im Hinblick auf die Implikationen der Erhebungsmethodik für die Professionelle Wahrnehmung diskutiert.

Situative Unterschiede der Interaktionsqualität im Verlauf des Kindergartenalltags

2016 ◽  
Vol 5 (4) ◽  
pp. 206-213 ◽  
Author(s):  
Andreas Wildgruber ◽  
Monika Wertfein ◽  
Claudia Wirts ◽  
Marina Kammermeier ◽  
Erik Danay
Keyword(s):  
Scoring System ◽  
Classroom Assessment ◽  
Fand Sich ◽  
Classroom Assessment Scoring System

Zusammenfassung. Die Interaktionen zwischen pädagogischen Fachkräften und Kindern sind von zentraler Bedeutung für die Moderation des kindlichen Lernens und der kindlichen Entwicklung. Angesichts der Variabilität der Interaktionen im Tagesverlauf wurde in dieser explorativen Studie untersucht, inwieweit sich Unterschiede der Interaktionsqualität zwischen verschiedenen typischen Situationen (Freispiel, moderierte Aktivitäten, Lesesituationen, Garten, Essen) in Kindertageseinrichtungen zeigen. Bei 85 Fachkräften in bayerischen Kindergärten wurden die Interaktionen zwischen Fachkräften und Kindern jeweils einen Vormittag teilnehmend beobachtet und mit dem Verfahren „Classroom Assessment Scoring System Pre-K“ ( Pianta, La Paro & Hamre, 2008 ) geratet. Es zeigte sich zum einen in Essenssituationen eine niedrigere Interaktionsqualität als in den anderen Situationen. Zum anderen fand sich vor allem im Bereich der Lernunterstützung in Lesesituationen und moderierten Aktivitäten eine höhere Interaktionsqualität als im Freispiel. Die simultane Berücksichtigung der beiden Faktoren Tageszeit und Situation ergab, dass die gefundenen Effekte auf den Faktor Situation zurückzuführen waren.

Sign in / Sign up

Export Citation Format

Share Document