Zusammenfassung
Ziele Qualitätssicherung, Benchmarking und Pay for Performance (P4P) erfordern aussagekräftige Indikatoren sowie die adäquate Berücksichtigung der Risikostruktur der Patientenpopulation der jeweiligen Institution anhand geeigneter statistischer Modelle. Der Ansatz, Abrechnungsdaten zur Qualitätsmessung und Risikomodellierung zu verwenden, wird häufig kritisch gesehen. Ziel unserer Analysen war die exemplarische Entwicklung von Prädiktionsmodellen für die 30- und 90-Tage-Mortalität nach chirurgischer Therapie kolorektaler Karzinome mit Routinedaten.
Studiendesign Vollerhebung der Patienten einer großen gesetzlichen Krankenkasse.
Setting Chirurgische Kliniken im gesamten Bundesgebiet.
Patienten 4283 bzw. 4124 Patienten mit Operationen kolorektaler Karzinome in den Jahren 2013 bzw. 2014.
Prädiktoren Alter, Geschlecht, Haupt- und Nebendiagnosen sowie Tumorlokalisation aus den von den Kliniken an die Krankenkasse übermittelten Abrechnungsdaten gemäß §301 Sozialgesetzbuch V.
Outcomes 30- und 90-Tage-Mortalität.
Statistische Analyse Ableitung von Elixhauser Comorbidities, Charlson Conditions sowie Charlson Scores aus den ICD-10-Diagnosen. Entwicklung von Prädiktionsmodellen anhand eines penalisierten Regressionverfahrens (logistische Ridge Regression) in einer Lernstichprobe (Patienten des Jahres 2013). Beurteilung von Kalibrierung und Diskriminationsfähigkeit der Modelle in einer internen Validierungsstichprobe (Patienten des Jahres 2014) mithilfe von Kalibrierungskurven, Brier Scores und Analysen von Receiver Operating Characteristic Curves (ROC-Kurven) und der Flächen unter denselben (Areas Under the Curves, AUC).
Ergebnisse Die 30- bzw. 90-Tage-Mortalität in der Lernstichprobe betrugen 5,7 bzw. 8,4%. Die entsprechenden Werte im Validierungssample waren 5,9% und gleichfalls 8,4%. Modelle auf der Basis der Elixhauser Comorbidities zeigten die beste Diskrimination mit AUC-Werten von 0,804 (95%-KI: 0,776–0,832) bzw. 0,805 (95%-KI: 0,782–0,828) für die 30- bzw. 90-Tage-Mortalität. Die zugehörigen Brier-Scores für die Elixhauser-Modelle betrugen 0,050 (95%-KI: 0,044–0,056) bzw. 0,067 (95%-KI: 0,060–0,074) und stimmten weitgehend mit denjenigen der konkurrierenden Modelle überein. Alle Modelle zeigten im Bereich niedriger prädizierter Wahrscheinlichkeiten eine gute Kalibrierung, bei höheren prädizierten Werten tendierten sie zur Überschätzung der Ereigniswahrscheinlichkeiten.
Schlussfolgerung Trotz der augenscheinlich befriedigenden Ergebnisse zur Diskriminierung und Kalibrierung der vorgestellten Prädiktionsmodelle auf der Basis von Abrechnungsdaten ist deren Anwendung im Kontext von P4P kritisch zu sehen. Als Alternative bietet sich die Modellierung auf der Basis klinischer Register an, die ein umfassenderes, valideres Bild vermitteln dürften.
A Unified Approach to Nonparametric Comparison of Receiver Operating Characteristic Curves for Longitudinal and Clustered Data
