Three Approaches to Regression Analysis of Receiver Operating Characteristic Curves for Continuous Test Results

Biometrics ◽  
1998 ◽  
Vol 54 (1) ◽  
pp. 124 ◽  
Author(s):  
Margaret Sullivan Pepe
2015 ◽  
Author(s):  
Ιωάννης Γκιόζος

Ο πρωταρχικός σκοπός της παρούσας μελέτης ήταν η προοπτική διερεύνηση της δυνητικής προγνωστικής αξίας των προθεραπευτικών επιπέδων VEGF ορού και πλευριτικού υγρού σε ασθενείς με μη μικροκυτταρικό καρκίνο πνεύμονα (ΜΜΚΠ) που παρουσιάζονται με κακοήθη πλευριτική συλλογή. Επιπρόσθετος στόχος ήταν η διαλεύκανση της διαγνωστικής χρησιμότητας των προθεραπευτικών επιπέδων VEGF ορού για τη διάκριση μεταξύ ασθενών με ΜΜΚΠ και υγιών ατόμων. Στο παρόν ερευνητικό έργο μελετήσαμε προοπτικά 40 συνεχόμενους νεοδιαγνωσθέντες ασθενείς με ΜΜΚΠ, με κακοήθη πλευριτική συλλογή χωρίς απομακρυσμένες μεταστάσεις, που παραπέμφθηκαν για ογκολογική θεραπεία και αντιμετωπίστηκαν στην Ογκολογική Μονάδα της 3ης Πανεπιστημιακής Παθολογικής Κλινικής του Γενικού Νοσοκομείου Αθηνών «Η Σωτηρία», μεταξύ Σεπτεμβρίου 2009 και Σεπτεμβρίου 2013. Τα επίπεδα VEGF ορού και πλευριτικού υγρού μετρήθηκαν με τη χρήση ανοσοενζυμικής μεθόδου (ELISA). Τα επίπεδα VEGF ορού μετρήθηκαν επίσης σε πενήντα υγιείς μάρτυρες, εξομοιωμένους ως προς το φύλο και την ηλικία με τους ασθενείς (p=0.517 και p=0.795, αντιστοίχως). Η διαγνωστική ακρίβεια των επιπέδων VEGF ορού για τη διάκριση μεταξύ ασθενών με ΜΜΚΠ και υγιών μαρτύρων υπολογίστηκε με τη χρήση καμπυλών λειτουργικού χαρακτηριστικού δέκτη (Receiver operating characteristic curves, ROC curves). Τα επίπεδα VEGF ορού και πλευριτικού υγρού συσχετίσθηκαν με δημογραφικές και κλινικοπαθολογοανατομικές παραμέτρους, συμπεριλαμβανομένου του φύλου, της ηλικίας, του ιστορικού καπνίσματος, του performance status,του ιστολογικού τύπου του όγκου και της ανταπόκρισης στη θεραπεία. Η προγνωστική αξία κάθε μεταβλητής για τη συνολική επιβίωση και το διάστημα ελεύθερο προόδου νόσου αξιολογήθηκε με μονοπαραγοντική και πολυπαραγοντική ανάλυση παλινδρόμησης του Cox (univariate and multivariate Cox regression analysis). Οι διάμεσες τιμές VEGF ορού ήταν στατιστικώς σημαντικά υψηλότερες στους ασθενείς σε σύγκριση με τους υγιείς μάρτυρες (p<0.001), ενώ το βέλτιστο διαχωριστικό όριο όσον αφορά στις τιμές VEGF ορού για τη διάκριση μεταξύ ασθενών και μαρτύρων ήταν 375 pg/ml, με τιμές ευαισθησίας και ειδικότητας 76.9% και 98.0%, αντιστοίχως. Επίπεδα VEGF ορού μεγαλύτερα απο 375 pg/ml και επίπεδα VEGF πλευριτικού υγρού μεγαλύτερα από τη διάμεση τιμή, καθώς και η παρουσία προόδου νόσου, συσχετίσθηκαν με χαμηλότερο διάστημα PFS και χαμηλότερη συνολική επιβίωση, τόσο στη μονοπαραγοντική όσο και στην πολυπαραγοντική ανάλυση επιβίωσης. Στατιστικά σημαντική συσχέτιση παρατηρήθηκε επίσης μεταξύ των επιπέδων VEGF ορού και πλευριτικού υγρού (p<0.001).Τα αποτελέσματα της μελέτης μας υποδεικνύουν ότι τα επίπεδα VEGF ορού μπορεί να χρησιμεύουν για τη διάκριση μεταξύ ασθενών με ΜΜΚΠ και υγιών, καθώς και ότι τα αυξημένα προθεραπευτικά επίπεδα VEGF τόσο στον ορό και στο πλευριτικό υγρό ασθενών με ΜΚΚΠ προχωρημένου σταδίου μπορεί να αντιπροσωπεύουν ανεξάρτητους δείκτες δυσμενούς πρόγνωσης σε αυτή την υποομάδα των ασθενών. Για την επιβεβαίωση των ευρημάτων του παρόντος ερευνητικού έργου και την περαιτέρω διερεύνηση της πιθανής αξίας των ως άνω βιοδεικτών ως δεικτών πρόβλεψης όχι μόνο της επιβίωσης των ασθενών αυτών αλλά και της ανταπόκρισής τους στις στοχευμένες αντι-αγγειογενετικές θεραπείες, απαιτείται η διενέργεια μελλοντικών προοπτικών ερευνών σε μεγαλύτερες σειρές ασθενών.


2021 ◽  
pp. 096228022199595
Author(s):  
Yalda Zarnegarnia ◽  
Shari Messinger

Receiver operating characteristic curves are widely used in medical research to illustrate biomarker performance in binary classification, particularly with respect to disease or health status. Study designs that include related subjects, such as siblings, usually have common environmental or genetic factors giving rise to correlated biomarker data. The design could be used to improve detection of biomarkers informative of increased risk, allowing initiation of treatment to stop or slow disease progression. Available methods for receiver operating characteristic construction do not take advantage of correlation inherent in this design to improve biomarker performance. This paper will briefly review some developed methods for receiver operating characteristic curve estimation in settings with correlated data from case–control designs and will discuss the limitations of current methods for analyzing correlated familial paired data. An alternative approach using conditional receiver operating characteristic curves will be demonstrated. The proposed approach will use information about correlation among biomarker values, producing conditional receiver operating characteristic curves that evaluate the ability of a biomarker to discriminate between affected and unaffected subjects in a familial paired design.


2018 ◽  
Vol 80 (11) ◽  
pp. 963-973
Author(s):  
Alexander Crispin ◽  
Brigitte Strahwald ◽  
Catherine Cheney ◽  
Ulrich Mansmann

Zusammenfassung Ziele Qualitätssicherung, Benchmarking und Pay for Performance (P4P) erfordern aussagekräftige Indikatoren sowie die adäquate Berücksichtigung der Risikostruktur der Patientenpopulation der jeweiligen Institution anhand geeigneter statistischer Modelle. Der Ansatz, Abrechnungsdaten zur Qualitätsmessung und Risikomodellierung zu verwenden, wird häufig kritisch gesehen. Ziel unserer Analysen war die exemplarische Entwicklung von Prädiktionsmodellen für die 30- und 90-Tage-Mortalität nach chirurgischer Therapie kolorektaler Karzinome mit Routinedaten. Studiendesign Vollerhebung der Patienten einer großen gesetzlichen Krankenkasse. Setting Chirurgische Kliniken im gesamten Bundesgebiet. Patienten 4283 bzw. 4124 Patienten mit Operationen kolorektaler Karzinome in den Jahren 2013 bzw. 2014. Prädiktoren Alter, Geschlecht, Haupt- und Nebendiagnosen sowie Tumorlokalisation aus den von den Kliniken an die Krankenkasse übermittelten Abrechnungsdaten gemäß §301 Sozialgesetzbuch V. Outcomes 30- und 90-Tage-Mortalität. Statistische Analyse Ableitung von Elixhauser Comorbidities, Charlson Conditions sowie Charlson Scores aus den ICD-10-Diagnosen. Entwicklung von Prädiktionsmodellen anhand eines penalisierten Regressionverfahrens (logistische Ridge Regression) in einer Lernstichprobe (Patienten des Jahres 2013). Beurteilung von Kalibrierung und Diskriminationsfähigkeit der Modelle in einer internen Validierungsstichprobe (Patienten des Jahres 2014) mithilfe von Kalibrierungskurven, Brier Scores und Analysen von Receiver Operating Characteristic Curves (ROC-Kurven) und der Flächen unter denselben (Areas Under the Curves, AUC). Ergebnisse Die 30- bzw. 90-Tage-Mortalität in der Lernstichprobe betrugen 5,7 bzw. 8,4%. Die entsprechenden Werte im Validierungssample waren 5,9% und gleichfalls 8,4%. Modelle auf der Basis der Elixhauser Comorbidities zeigten die beste Diskrimination mit AUC-Werten von 0,804 (95%-KI: 0,776–0,832) bzw. 0,805 (95%-KI: 0,782–0,828) für die 30- bzw. 90-Tage-Mortalität. Die zugehörigen Brier-Scores für die Elixhauser-Modelle betrugen 0,050 (95%-KI: 0,044–0,056) bzw. 0,067 (95%-KI: 0,060–0,074) und stimmten weitgehend mit denjenigen der konkurrierenden Modelle überein. Alle Modelle zeigten im Bereich niedriger prädizierter Wahrscheinlichkeiten eine gute Kalibrierung, bei höheren prädizierten Werten tendierten sie zur Überschätzung der Ereigniswahrscheinlichkeiten. Schlussfolgerung Trotz der augenscheinlich befriedigenden Ergebnisse zur Diskriminierung und Kalibrierung der vorgestellten Prädiktionsmodelle auf der Basis von Abrechnungsdaten ist deren Anwendung im Kontext von P4P kritisch zu sehen. Als Alternative bietet sich die Modellierung auf der Basis klinischer Register an, die ein umfassenderes, valideres Bild vermitteln dürften.


Sign in / Sign up

Export Citation Format

Share Document