Η διατριβή εστιάζεται στο αραιό Μπεϋζιανό γραμμικό μοντέλο (sparse Bayesian linear model) για προβλήματα παλινδρόμησης (regression) και ταξινόμησης (classification) και σε εφαρμογές του σε προβλήματα επεξεργασίας εικόνας. Αρχικά, παρουσιάζεται συνοπτικά η μεθοδολογία για Μπεϋζιανή συμπερασματολογία. Στη συνέχεια, προτείνεται ένας υπολογιστικά αποδοτικός αλγόριθμος για το πρόβλημα της αραιής Μπεϋζιανής παλινδρόμησης εικόνων. Ο προτεινόμενος αλγόριθμος χρησιμοποιεί λειτουργίες στο πεδίο του διακριτού μετασχηματισμού Fourier και τη μέθοδο βελτιστοποίησης συζυγών κατευθύνσεων (conjugate gradient) για να επιτύχει παλινδρόμηση εικόνων με εφικτό υπολογιστικό κόστος. Έπειτα, ο αλγόριθμος αυτός χρησιμοποιείται για την επίλυση του προβλήματος ανίχνευσης αντικειμένων σε εικόνες, προτείνοντας μια παραλλαγή του μοντέλου Relevance Vector Machine (RVM) που το ονομάζουμε multikernel RVM. Το αραιό Μπεϋζιανό γραμμικό μοντέλο χρησιμοποιείται στη συνέχεια για να εκτιμήσουμε την συνάρτηση διασποράς σημείου της θόλωσης (blurring PSF) στο πρόβλημα της τυφλής αποσυνέλιξης εικόνων (blind image deconvolution). Προτείνεται ένα στατιστικό μοντέλο, βασικά πλεονεκτήματα του οποίου είναι η εκτίμηση του μεγέθους της συνάρτησης διασποράς σημείου που περιγράφει την θόλωση, η ανακατασκευή των ακμών της εικόνας και η ανθεκτικότητα στο θόρυβο. Η Μπεϋζιανή συμπερασματολογία υλοποιείται με την χρήση της variational προσέγγισης. Κατόπιν, η διατριβή εστιάζεται στο πρόβλημα επιλογής κατάλληλων συναρτήσεων βάσης για το αραιό Μπεϋζιανό γραμμικό μοντέλο, το οποίο είναι σημαντικό ζήτημα προκειμένου να κατασκευάσουμε συστήματα με καλή γενικευτική ικανότητα. Τυπικά, η επιλογή κατάλληλων συναρτήσεων βάσης πραγματοποιείται με την χρήση της τεχνικής cross-validation, όμως η τεχνική αυτή έχει υψηλές υπολογιστικές απαιτήσεις και έτσι μπορεί να εφαρμοστεί για την επιλογή του καλύτερου συνόλου συναρτήσεων βάσης, μόνο εάν ο αριθμός των υποψήφιων συνόλων είναι μικρός. Προτείνεται ένας προσαρμοστικός αλγόριθμος μάθησης των συναρτήσεων βάσης, ο οποίος είναι ανάλογος με το μοντέλο RVM, αλλά εκτιμά τις παραμέτρους των συναρτήσεων βάσης ταυτόχρονα με την εκπαίδευση του μοντέλου. Πιο συγκεκριμένα, η προτεινόμενη μέθοδος εκτιμά διαφορετικές τιμές για τις παραμέτρους κάθε συνάρτησης βάσης και έτσι προκύπτει ένα πολύ ευέλικτο μοντέλο. Για να αποφευχθεί η υπερεκπαίδευση, επιβάλλεται μια εκ των προτέρων κατανομή που οδηγεί σε αραιές λύσεις, ρυθμίζοντας αυτόματα τον ουσιαστικό αριθμό παραμέτρων του μοντέλου. Η προτεινόμενη μεθοδολογία εφαρμόζεται σε διάφορα προβλήματα παλινδρόμησης και ταξινόμησης και χρησιμοποιείται για την ανάλυση εικόνων λειτουργικού μαγνητικού συντονισμού (fMRI). Επίσης, προτείνεται μια τροποποίηση της προηγούμενης μεθόδου, που χρησιμοποιεί ανισοτροπικές Γκαουσσιανές συναρτήσεις βάσης, με ξεχωριστή παράμετρο κλίμακας (πλάτος) για κάθε χαρακτηριστικό, ώστε να επιτύχει τοπική επιλογή χαρακτηριστικών. Η επιλογή χαρακτηριστικών είναι τοπική, με την έννοια ότι υποθέτουμε ότι διαφορετικά χαρακτηριστικά είναι σημαντικά σε διαφορετικές περιοχές του χώρου παραδειγμάτων. Για να απαλείψουμε τα χαρακτηριστικά που δεν είναι χρήσιμα, υποθέτουμε μια κατάλληλη εκ των προτέρων κατανομή για τις παραμέτρους κλίμακας. Οι παραπάνω μεθοδολογίες μάθησης των παραμέτρων των συναρτήσεων βάσης (με ή χωρίς ταυτόχρονη τοπική επιλογή χαρακτηριστικών) χρησιμοποιούνται για την ταξινόμηση δεδομένων από μικροσυστοιχίες (microarrays) DNA.
Consistency of Bayesian linear model selection with a growing number of parameters
