Η διατριβή εστιάζει σε τέσσερις τομείς: παράλληλη μάθηση νευρωνικών δικτύων, κατανεμημένη μάθηση επιτροπών νευρωνικών δικτύων, ιεραρχική και τοπική μάθηση νευρωνικών δικτύων. Στο κεφ. 3 δείχνουμε ότι για την κλιμακούμενη εκπαίδευσή των Extreme Learning Machines (ELM), η δημιουργία πολλών μοντέλων και η επιλογή του καταλληλότερου μοντέλου αντιμετωπίζονται ως μία φάση, την οποία μπορούμε έτσι να επιταχύνουμε μέσω γνωστών μεθόδων παραγοντοποιήσεων πινάκων όπως Cholesky, SVD, QR και Eigen Value decomposition. Στο κεφ. 4 προτείνουμε το parallel Enhanced Convex Incremental Extreme Learning Machine (ECI-ELM) που συνδυάζει τα δύο γνωστά Enhanced I-ELM και Convex I-ELM και έτσι λειτουργεί καλύτερο από αυτά ως προς την ακρίβεια και προσφέρει επιταχύνσεις στην αρχιτεκτονική master-worker πολύ κοντά στην γραμμική επιτάχυνση. Παράλληλοι αλγόριθμοι για Probabilistic Neural Network (PNN) διερευνώνται στο κεφ. 5 στο πλαίσιο παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο, όπου απεικονίζεται το σχήμα εκπαίδευσης του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering με τον αλγόριθμο Expectation Maximization. Η εκπαίδευση του δικτύου γίνεται αυτόματα. Ο δακτύλιος σωληνωτής επεξεργασίας επιτρέπει τον διαμερισμό τόσο των δεδομένων όσο και τον διαμερισμό των νευρώνων του δικτύου στους επεξεργαστές, και κλιμακώνεται τόσο σε πολλά δεδομένα όσο και σε μεγάλα μοντέλα νευρώνων. Παράλληλοι αλγόριθμοι εκπαίδευσης για Radial Basis Function (RBF) Neural Networks μελετούνται στο κεφ. 6 πάλι μέσω της αρχιτεκτονικής παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο. Ο συνδυασμός του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering επιλέγει αυτόματα τα κέντρα των RBF νευρώνων και η εκπαίδευση συνεχίζεται με τον αλγόριθμο mini-batch gradient descent. Στο κεφ. 7 μελετάται μια μηχανή επιτροπής κατανεμημένων νευρωνικών δικτύων που μέσω ασύγχρονων και κατανεμημένων υπολογισμών διατηρούν την εμπιστευτικότητα των δεδομένων. Δημιουργεί έναν πίνακα χαρτογράφησης των νευρωνικών δικτύων με βάση την ακρίβεια του κάθε ενός στα δεδομένα του κάθε άλλου. Οι συγκρίσεις δείχνουν ότι υπερτερεί έναντι γνωστών μεθόδων majority voting, weighted average και stacked generalization. Το κεφ. 8 εξετάζει το πρόβλημα της κατανεμημένη επιλογής του καλυτέρου συνόλου νευρωνικών δικτύων. Προτείνουμε τον αλγόριθμο Confidence Ratio Affinity Propagation που εκτελεί πρώτα έναν κύκλο ασύγχρονων και κατανεμημένων υπολογισμών. Συγκρίσεις με reduce-error pruning, Kappa pruning, orientation pruning, JAM’s diversity pruning δείχνουν ότι η προτεινόμενη μέθοδος μπορεί να επιλέξει τα καλύτερα δίκτυα, με λιγότερους υπολογισμούς και δίχως ο αριθμός τους να δίνεται ως παράμετρος. Στο κεφ. 9 προτείνεται μία κατανεμημένη μηχανή επιτροπής βασισμένη σε probabilistic neural network (PNN) όπου στο στρώμα προτύπων του PNN το κάθε νευρωνικό δίκτυο ειδικεύεται σε ξεχωριστή κλάση δεδομένων. Η ιεραρχική μάθηση αντιμετωπίζεται με ένα νέο ιεραρχικό Μαρκοβιανό Radial Basis Function neural network στο κεφ. 10. Σε κάθε επίπεδο οι κρυφοί νευρώνες του ιεραρχικού νευρωνικού δικτυού αποτελούνται από άλλα πλήρως εμφωλευμένα νευρωνικά δίκτυα. Έτσι η λειτουργία του είναι μία συνάρτηση αναδρομής ίδια σε όλα τα επίπεδα. Για τους αλγόριθμους τοπικής μάθησης στο κεφ. 11, που δημιουργούν για διαφορετικά σημεία και διαφορετικά τοπικά μοντέλα νευρωνικού δικτύου, βασιζόμενοι στα κοντινότερα δεδομένα εκπαίδευσης, εξετάζουμε τα Regularization Networks. Δείχνεται ότι για την ελάττωση των χρόνων υπολογισμού και βελτιστοποίησης των παραμέτρων τους, η καθολική βελτιστοποίηση, με ένα σύνολο παραμέτρων κοινό για όλα τα δίκτυα, παράγει καλύτερα αποτελέσματα ταχύτητας και ακρίβειας από την βελτιστοποίηση, με ένα σύνολο παραμέτρων ξεχωριστό για κάθε δίκτυο.
Computing Discrete Adriatic Indices of Probabilistic Neural Network
