A critical appraisal of propensity-score matching in the medical literature between 1996 and 2003

Background Propensity score techniques can reduce confounding and bias in observational studies. Such analyses are able to measure and balance pre-determined covariates between treated and untreated groups, leading to results that can approximate those generated by randomized prospective studies when such trials are not feasible. The most commonly used propensity score -based analytic technique is propensity score matching (PSM). Although PSM popularity has continued to increase in medical literature, improper methodology or methodological reporting may lead to biased interpretation of treatment effects or limited scientific reproducibility and generalizability. In this study, we aim to characterize and assess the quality of PSM methodology reporting in high-impact otolaryngologic literature. Methods PubMed and Embase based systematic review of the top 20 journals in otolaryngology, as measured by impact factor from the Journal Citations Reports from 2012 to 2018, for articles using PSM analysis throughout their publication history. Eligible articles were reviewed and assessed for quality and reporting of PSM methodology. Results Our search yielded 101 studies, of which 92 were eligible for final analysis and review. The proportion of studies utilizing PSM increased significantly over time (p < 0.001). Nearly all studies (96.7%, n = 89) specified the covariates used to calculate propensity scores. Covariate balance was illustrated in 67.4% (n = 62) of studies, most frequently through p-values. A minority (17.4%, n = 16) of studies were found to be fully reproducible according to previously established criteria. Conclusions While PSM analysis is becoming increasingly prevalent in otolaryngologic literature, the quality of PSM methodology reporting can be improved. We provide potential recommendations for authors regarding optimal reporting for analyses using PSM.

Download Full-text

Besondere Förderung von Kern- kompetenzen an Spezialgymnasien?

Zeitschrift für Pädagogische Psychologie ◽

10.1024/1010-0652/a000001 ◽

2010 ◽

Vol 24 (1) ◽

pp. 5-22 ◽

Cited By ~ 7

Author(s):

Jürgen Baumert ◽

Michael Becker ◽

Marko Neumann ◽

Roumiana Nikolova

Keyword(s):

Propensity Score ◽

Propensity Score Matching

Der vorliegende Beitrag geht der Frage nach, ob Schülerinnen und Schüler, die nach der vierten Klasse in Berlin in ein grundständiges Gymnasium wechseln, in Abhängigkeit vom Profil des besuchten Gymnasiums im Vergleich zu Grundschülern mit vergleichbaren Lernvoraussetzungen unterschiedliche Lernzuwächse im Leseverständnis, in Mathematik und Englisch erreichen. Auf der Datengrundlage der ELEMENT-Studie wurde die Leistungsentwicklung von Schülerinnen und Schülern an grundständigen Gymnasien (N = 1758) und Grundschulen (N = 3169) während der 5. und 6. Jahrgangsstufe mithilfe von Propensity Score Matching-Analysen (PSM) modelliert. Nach Kontrolle von leistungsrelevanten Unterschieden zwischen den Schülergruppen am Ende der 4. Jahrgangsstufe zeigten sich für das Leseverständnis am Ende der 6. Klasse keine statistisch signifikanten Unterschiede. Für die Mathematikleistung ließen sich Unterschiede lediglich zugunsten eines grundständigen Gymnasiums, das zum Untersuchungszeitpunkt noch kein spezifisches Profil entwickelt hatte, nachweisen. In der Domäne Englisch, in der die curricularen Unterschiede zwischen den Schulzweigen stärker akzentuiert sind, wurden positive Ergebnisse im Vergleich zu den Grundschulen für die so genannten Schnellläuferzüge, die englisch-bilingualen Klassen und das grundständige Gymnasium ohne spezifisches Profil ermittelt. Die Lernstände am Ende der 6. Klasse in den altsprachlichen Gymnasien fielen dagegen im Vergleich zu den Grundschulen geringer aus. Die Befunde widersprechen der Annahme, dass mit dem frühen Übergang auf ein grundständiges Gymnasium automatisch eine besondere Förderung der Lesefähigkeit und des mathematischen Verständnisses besonders leistungsfähiger Schülerinnen und Schüler erreicht werde. Die Ergebnisse zu den Englischleistungen weisen hingegen darauf hin, dass Unterschiede in der Leistungsentwicklung auftreten können, sofern die Aufteilung auf Schulen mit unterschiedlichen Bildungsprogrammen mit curricularen Unterschieden im Unterricht einhergeht. Methodische und inhaltliche Implikationen der Befunde und Grenzen ihrer Generalisierbarkeit werden diskutiert.

Download Full-text

Validating Four Standard Scales in Spiritually Practicing and Nonpracticing Samples Using Propensity Score Matching

European Journal of Psychological Assessment ◽

10.1027/1015-5759.24.3.165 ◽

2008 ◽

Vol 24 (3) ◽

pp. 165-173 ◽

Cited By ~ 8

Author(s):

Niko Kohls ◽

Harald Walach

Keyword(s):

Propensity Score ◽

Propensity Score Matching ◽

Repeated Measures ◽

Propensity Scores ◽

Total Sample ◽

Experimental Manipulation ◽

Brief Symptom Inventory ◽

Time Interaction ◽

Social Support Scale ◽

Lower Test

Validation studies of standard scales in the particular sample that one is studying are essential for accurate conclusions. We investigated the differences in answering patterns of the Brief-Symptom-Inventory (BSI), Transpersonal Trust Scale (TPV), Sense of Coherence Questionnaire (SOC), and a Social Support Scale (F-SoZu) for a matched sample of spiritually practicing (SP) and nonpracticing (NSP) individuals at two measurement points (t1, t2). Applying a sample matching procedure based on propensity scores, we selected two sociodemographically balanced subsamples of N = 120 out of a total sample of N = 431. Employing repeated measures ANOVAs, we found an intersample difference in means only for TPV and an intrasample difference for F-SoZu. Additionally, a group × time interaction effect was found for TPV. While Cronbach’s α was acceptable and comparable for both samples, a significantly lower test-rest-reliability for the BSI was found in the SP sample (rSP = .62; rNSP = .78). Thus, when researching the effects of spiritual practice, one should not only look at differences in means but also consider time stability. We recommend propensity score matching as an alternative for randomization in variables that defy experimental manipulation such as spirituality.

Download Full-text