scholarly journals Efficiency Analysis with Educational Data: How to Deal with Plausible Values from International Large-Scale Assessments

Mathematics ◽  
2021 ◽  
Vol 9 (13) ◽  
pp. 1579
Author(s):  
Juan Aparicio ◽  
Jose M. Cordero ◽  
Lidia Ortiz
Keyword(s):  
Large Scale ◽  
Data Envelopment ◽  
Strongly Correlated ◽  
Efficiency Measures ◽  
Plausible Values ◽  
Large Scale Assessments ◽  
Using Data ◽  
Pisa Data ◽  
Fuzzy Dea ◽  
Average Measure

International large-scale assessments (ILSAs) provide several measures as a representation of educational outcomes, the so-called plausible values, which are frequently interpreted as a representation of the ability range of students. In this paper, we focus on how this information should be incorporated into the estimation of efficiency measures of student or school performance using data envelopment analysis (DEA). Thus far, previous studies that have adopted this approach using data from ILSAs have used only one of the available plausible values or an average of all of them. We propose an approach based on the fuzzy DEA, which allows us to consider the whole distribution of results as a proxy of student abilities. To assess the extent to which our proposal offers similar results to those obtained in previous studies, we provide an empirical example using PISA data from 2015. Our results suggest that the performance measures estimated using the fuzzy DEA approach are strongly correlated with measures calculated using just one plausible value or an average measure. Therefore, we conclude that the studies that decide upon using one of these options do not seem to be making a significant error in their estimates.

Benchmarking driving efficiency using data science techniques applied on large - scale smartphone data

2018 ◽  
Author(s):  
Δημήτριος Τσελέντης
Keyword(s):  
Data Envelopment Analysis ◽  
Convex Hull ◽  
Large Scale ◽  
Data Science ◽  
Data Envelopment ◽  
Using Data

Ο κύριος στόχος της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη μιας ολοκληρωμένης μεθοδολογικής προσέγγισης για τη συγκριτική αξιολόγηση της οδηγικής επίδοσης, όσον αφορά την οδική ασφάλεια, τόσο σε επίπεδο διαδρομής, όσο και οδηγού, με τη χρήση τεχνικών της επιστήμης δεδομένων. Η μεθοδολογική προσέγγιση στηρίζεται στον καθορισμό ενός δείκτη επίδοσης που βασίζεται στη θεωρία της Περιβάλλουσας Ανάλυσης Δεδομένων (Data Envelopment Analysis - DEA) και σχετίζεται με μακροσκοπικά συμπεριφοριστικά χαρακτηριστικά οδήγησης, όπως ο αριθμός των απότομων επιταχύνσεων/ επιβραδύνσεων, ο χρόνος χρήσης του κινητού τηλεφώνου και ο χρόνος υπέρβασης του ορίου ταχύτητας. Ακόμα, αναπτύσσονται μοντέλα μηχανικής μάθησης για τον προσδιορισμό διακριτών προφίλ οδήγησης που βασίζονται στη χρονική εξέλιξη της οδηγικής επίδοσης. Η προτεινόμενη μεθοδολογική προσέγγιση εφαρμόζεται σε πραγματικά δεδομένα οδήγησης ευρείας κλίμακας που συλλέγονται από έξυπνες συσκευές κινητών τηλεφώνων (smartphones), τα οποία αναλύονται μέσω στατιστικών μεθόδων για τον προσδιορισμό της απαιτούμενης ποσότητας δεδομένων οδήγησης που θα χρησιμοποιηθούν στην ανάλυση. Τα αποτελέσματα δείχνουν ότι ο βελτιστοποιημένος αλγόριθμος convex hull – DEA δίνει εξίσου ακριβή και ταχύτερα αποτελέσματα σε σχέση με τις κλασικές προσεγγίσεις της DEA. Ακόμα, η μεθοδολογία επιτρέπει τον προσδιορισμό των λιγότερο αποδοτικών ταξιδιών σε μια βάση δεδομένων καθώς και το αποδοτικό επίπεδο οδηγικών στοιχείων ενός ταξιδιού για να καταστεί αποδοτικότερη από την άποψη της ασφάλειας. Η περαιτέρω ομάδοποίηση των οδηγών με βάση της απόδοσή τους σε βάθος χρόνου οδηγεί στον εντοπισμό τριών ομάδων οδηγών, αυτή του μέσου οδηγού, του ασταθή οδηγού και του λιγότερο επικίνδυνου οδηγού. Τα αποτελέσματα δείχνουν ότι η εκ των προτέρων γνώση σχετικά με το ιστορικό ατυχημάτων του χρήστη φαίνεται να επηρεάζουν μόνο τη σύσταση της δεύτερης συστάδας των πιο ασταθών οδηγών, η οποία ενσωματώνει τους οδηγούς που είναι λιγότερο αποδοτικοί και ασταθής ως προς την ασφάλεια. Φαίνεται επίσης ότι η χρήση κινητών τηλεφώνων δεν αποτελεί κρίσιμο παράγοντα για τον καθορισμό της επίδοσης της ασφάλειας ενός οδηγού, καθώς διαπιστώθηκαν μικρές διαφορές σε σχέση με αυτό το χαρακτηριστική οδήγησης μεταξύ οδηγών διαφορετικών κατηγοριών επίδοσης. Επιπλέον, δείχνεται ότι απαιτείται μια διαφορετική δειγματοληψίας δεδομένων οδήγησης για κάθε α) οδικό τύπο, β) χαρακτηριστικό οδήγησης και γ) οδηγική επιθετικότητα για να συγκεντρωθούν αρκετά δεδομένα και να αποκτηθεί μια σαφής εικόνα της οδηγικής συμπεριφοράς και να εκτελεστεί ανάλυση με χρήση DEA. Τα αποτελέσματα θα μπορούσαν να αξιοποιηθούν για την παροχή εξατομικευμένης ανατροφοδότησης στους οδηγούς σχετικά με τη συνολική τους οδηγική επίδοση και την εξέλιξή της, προκειμένου να βελτιωθεί και να μειωθεί ο κίνδυνος ατυχήματος.

scholarly journals Factors Affecting Production Efficiency in a New Alternative Enterprise: The Case of the Ratite Industry

1997 ◽  
Vol 29 (2) ◽  
pp. 409-418 ◽  
Author(s):  
Jeffrey Gillespie ◽  
Alvin Schupp ◽  
Gary Taylor
Keyword(s):  
Regression Analysis ◽  
Data Envelopment Analysis ◽  
Technical Efficiency ◽  
Production Efficiency ◽  
Data Envelopment ◽  
Factors Affecting ◽  
Efficiency Measures ◽  
Using Data

AbstractTechnical efficiency measures are calculated for ratite producers using data envelopment analysis. Regression analysis is then used to determine producer characteristics that are likely to lead to higher technical efficiencies. Results indicate that the most technically efficient ratite producers in Louisiana are not producing at the benchmark efficiency level advocated by the industry. Producer experience with other livestock, specialization, and labor are factors likely to lead to higher technical efficiency. These results are expected to hold for most new, alternative livestock enterprises.

Efficiency of glass firms in India: an application of data envelopment analysis

2016 ◽  
Vol 13 (1) ◽  
Author(s):  
Mini Kundi ◽  
Seema Sharma
Keyword(s):  
Data Envelopment Analysis ◽  
Technical Efficiency ◽  
Design Methodology ◽  
Large Scale ◽  
Returns To Scale ◽  
Scale Efficiency ◽  
Data Envelopment ◽  
Efficiency Measures ◽  
Target Values ◽  
Practical Implications

Purpose The purpose of the present study is to evaluate the efficiency of glass firms in India. Design/methodology/approach Data envelopment analysis (DEA) has been employed to study the technical, scale and super efficiency measures of glass firms in India. Findings Major findings of DEA analysis show that 65 percent firms are found to be technically efficient. Returns to scale analysis indicate that five firms are operating at decreasing returns to scale and two firms are exhibiting increasing returns to scale. Further, results show that small– and medium–scale firms are more efficient than large–scale firms. Old firms are more efficient compared to the young firms and foreign-owned firms are technically more efficient compared to the domestic firms. Practical implications The results of this study would help the managers to assess their relative efficiency and take corrective measures to efficiently use their resources. Originality/value This seems to be the first study to apply DEA to analyze the efficiency of glass firms in India. No previous study on glass industry seems to have decomposed the measure of overall technical efficiency into its components, namely pure technical efficiency and scale efficiency and no study seems to have examined whether ownership, age and size of a firm are significant for its efficiency. In addition, no earlier study seems to have ranked the glass firms based on their efficiency values. Further, target values of inputs and outputs are demonstrated in this study. Stability of efficiency scores is also checked.

scholarly journals On the Treatment of Missing Data in Background Questionnaires in Educational Large-Scale Assessments: An Evaluation of Different Procedures

2020 ◽  
pp. 107699862095905
Author(s):  
Simon Grund ◽  
Oliver Lüdtke ◽  
Alexander Robitzsch
Keyword(s):  
Missing Data ◽  
Large Scale ◽  
Current Practice ◽  
Simulation Studies ◽  
Population Parameters ◽  
Indicator Method ◽  
Fully Conditional Specification ◽  
Unbiased Estimates ◽  
Large Scale Assessments ◽  
Using Data

Large-scale assessments (LSAs) use Mislevy’s “plausible value” (PV) approach to relate student proficiency to noncognitive variables administered in a background questionnaire. This method requires background variables to be completely observed, a requirement that is seldom fulfilled. In this article, we evaluate and compare the properties of methods used in current practice for dealing with missing data in background variables in educational LSAs, which rely on the missing indicator method (MIM), with other methods based on multiple imputation. In this context, we present a fully conditional specification (FCS) approach that allows for a joint treatment of PVs and missing data. Using theoretical arguments and two simulation studies, we illustrate under what conditions the MIM provides biased or unbiased estimates of population parameters and provide evidence that methods such as FCS can provide an effective alternative to the MIM. We discuss the strengths and weaknesses of the approaches and outline potential consequences for operational practice in educational LSAs. An illustration is provided using data from the PISA 2015 study.

scholarly journals RALSA: the R analyzer for large-scale assessments

2021 ◽  
Vol 9 (1) ◽  
Author(s):  
Plamen V. Mirazchiyski
Keyword(s):  
Open Source ◽  
Large Scale ◽  
International Student ◽  
Student Assessment ◽  
Data Sets ◽  
Large Scale Assessment ◽  
Complex Sampling ◽  
International Student Assessment ◽  
Large Scale Assessments ◽  
Pisa Data

AbstractThis paper presents the R Analyzer for Large-Scale Assessments (), a newly developed package for analyzing data from studies using complex sampling and assessment designs. Such studies are, for example, the IEA’s Trends in International Mathematics and Science Study and the OECD’s Programme for International Student Assessment. The package covers all cycles from a broad range of studies. The paper presents the architecture of the package, the overall workflow and illustrates some basic analyses using it. The package is open-source and free of charge. Other software packages for analyzing large-scale assessment data exist, some of them are proprietary, others are open-source. However, is the first comprehensive package, designed for the user experience and has some distinctive features. One innovation is that the package can convert SPSS data from large scale assessments into native data sets. It can also do so for PISA data from cycles prior to 2015, where the data is provided in tab-delimited text files along with SPSS control syntax files. Another feature is the availability of a graphical user interface, which is also written in and operates in any operating system where a full copy of can be installed. The output from any analysis function is written into an MS Excel workbook with multiple sheets for the estimates, model statistics, analysis information and the calling syntax itself for reproducing the analysis in future. The flexible design of allows for the quick addition of new studies, analysis types and features to the existing ones.

Eine Einführung in die Plausible-Values-Technik für die psychologische Forschung

Diagnostica ◽  
2017 ◽  
Vol 63 (3) ◽  
pp. 193-205 ◽  
Author(s):  
Oliver Lüdtke ◽  
Alexander Robitzsch
Keyword(s):  
Large Scale ◽  
Plausible Values ◽  
Statistische Verfahren ◽  
Alternative Verfahren ◽  
Large Scale Assessments

Zusammenfassung. In der psychologischen Forschung durchgeführte Messungen zur Erfassung von Konstrukten sind meistens mit einem Messfehler behaftet. Diese Messfehler führen zu verzerrten Schätzern von Populationsparametern und deren Standardfehlern. In den letzten Jahrzehnten hat sich im Bereich der Large-Scale-Assessments mit der Plausible-Values-Technik ein Verfahren zur Korrektur von messfehlerbehafteten Zusammenhängen zwischen latenten Variablen und beobachteten Kovariaten etabliert. Der vorliegende Beitrag führt anhand eines einfachen Beispiels aus der Klassischen Testtheorie in dieses komplexe statistische Verfahren ein. Es wird gezeigt, dass alternative Verfahren zur Schätzung von Personenwerten im Allgemeinen zu verzerrten Schätzungen von Zusammenhängen auf Populationsebene führen. In einer Simulationsstudie werden diese Befunde auf ein IRT-Modell für dichotome Indikatoren übertragen. Aus diagnostischer Sicht wird betont, dass Plausible Values nicht zur Schätzung von individuellen Fähigkeitsausprägungen verwendet werden sollen. Abschließend werden methodische Herausforderungen bei der Anwendung der Plausible-Values-Technik sowie das Potential für die psychologische Forschung diskutiert.

Sign in / Sign up

Export Citation Format

Share Document