Scientific Creativity: Discovery and Invention as Combinatorial

Although scientific creativity has often been described as combinatorial, the description is usually insufficiently formulated to count as a precise scientific explanation. Therefore, the current article is devoted to elaborating a formalization defined by three combinatorial parameters: the initial probability p, the final utility u, and the scientist’s prior knowledge of that utility v. These parameters then lead logically to an 8-fold typology involving two forms of expertise, two irrational combinations, and four “blind” combinations. One of the latter provides the basis for the definition of personal creativity as c=(1−p)u(1−v), that is, the multiplicative product of originality, utility, and surprise. This three-criterion definition then has six critical implications. Those implications lead to a discussion of various combinatorial processes and procedures that include a treatment of the No Free Lunch Theorems regarding optimization algorithms as well as the creativity-maximizing phenomena of mind wandering and serendipity. The article closes with a discussion of how scientific creativity differs from artistic creativity. Besides the obvious contrasts in the ideas entering the combinatorial processes and procedures, scientific combinations, products, and communities strikingly differ from those typical of the arts. These differences also imply contrasts in developmental experiences and personality characteristics. In sum, the formal combinatorial analysis enhances our understanding of scientific creativity.

The no-free-lunch theorems of supervised learning

The no-free-lunch theorems promote a skeptical conclusion that all possible machine learning algorithms equally lack justification. But how could this leave room for a learning theory, that shows that some algorithms are better than others? Drawing parallels to the philosophy of induction, we point out that the no-free-lunch results presuppose a conception of learning algorithms as purely data-driven. On this conception, every algorithm must have an inherent inductive bias, that wants justification. We argue that many standard learning algorithms should rather be understood as model-dependent: in each application they also require for input a model, representing a bias. Generic algorithms themselves, they can be given a model-relative justification.

Ανάπτυξη και θεμελίωση νέων μεθόδων υπολογιστικών μαθηματικών στην υπολογιστική νοημοσύνη

Δύο πολύ σημαντικά επιστημονικά πεδία, αυτά της Υπολογιστικής Νοημοσύνης και των Υπολογιστικών Μαθηματικών, ενδείκνυνται για την αποτελεσματική και αποδοτική αντιμετώπιση σύνθετων προβλημάτων του πραγματικού κόσμου. Ένα ευρύ φάσμα μεθόδων και τεχνικών, έχει αναπτυχθεί με βάση τα δύο προαναφερθέντα επιστημονικά πεδία, συγκεντρώνοντας την προσοχή της επιστημονικής κοινότητας. Αυτό που παρατηρείται συχνά είναι αλγόριθμοι και τεχνικές, που είναι προσαρμοσμένες σε ένα συγκεκριμένο πρόβλημα, δίχως να είναι σε θέση να ανταποκριθούν το ίδιο καλά σε άλλα, παρόμοια προβλήματα. Η "συνεργασία" των δύο παραπάνω επιστημονικών τομέων δύναται να παράσχει αλγορίθμους με μαθηματική θεμελίωση για την αξιόπιστη αντιμετώπιση μιας πληθώρας συγγενικών προβλημάτων. Οι αλγόριθμοι και τα μοντέλα που συναντώνται στον τομέα της Υπολογιστικής Νοημοσύνης και έχουν τις βάσεις τους σε μεθόδους των Υπολογιστικών Μαθηματικών (Αριθμητικής Επίλυσης Συνήθων Διαφορικών Εξισώσεων), αποτελούν ένα σημαντικό μέρος αυτής της διατριβής. Η Υπολογιστική Νοημοσύνη, σαν νέος επιστημονικός κλάδος, περιγράφει υπολογιστικές μεθόδους που εμπνέονται από φυσικά και βιολογικά συστήματα και δύναται να συνδυάσει επιστημονικούς τομείς, όπως τα Υπολογιστικά Μαθηματικά και την Επιστήμη των Υπολογιστών, με αρκετές επεκτάσεις και εφαρμογές σχεδόν σε όλους τους τομείς των θετικών επιστημών και όχι μόνο. Πολλές και διαφορετικές εφαρμογές που άπτονται σε αρκετούς τομείς της έρευνας και της τεχνολογίας εμφανίζονται ή μπορούν να αντιμετωπιστούν ως προβλήματα Βελτιστοποίησης. Αρκετές μέθοδοι της Υπολογιστικής Νοημοσύνης αναφέρονται σε μια ειδική κλάση μεθόδων βελτιστοποίησης που περιλαμβάνει τη μελέτη και τη θεμελίωση υπολογιστικών μεθόδων, οι οποίες αντιμετωπίζουν αποτελεσματικά, δύσκολα προβλήματα του φυσικού κόσμου. Οι μέθοδοι αυτοί είναι πολύ σημαντικές, καθώς προσεγγίζουν προβλήματα Βελτιστοποίησης χωρίς περιορισμούς, κάτι που συναντάται συχνότερα στα περισσότερα προβλήματα της τεχνολογίας. Ακόμα, λόγω του εύρους των εφαρμογών, και κυρίως της ανάπτυξης νέων τεχνολογιών, έχουν αναπτυχθεί προβλήματα που επιζητούν λύση και άπτονται σε διαφορετικά είδη Βελτιστοποίησης, όπως η πολυ-αντικειμενική ή Βελτιστοποίηση με περιορισμούς. Για τον χειρισμό αυτών των δύσκολων προβλημάτων, χρησιμοποιούνται μέθοδοι της Υπολογιστικής Νοημοσύνης και συγκεκριμένα, τεχνικές και αλγόριθμοι που ανήκουν στον τομέα της Μηχανικής Μάθησης και των Τεχνητών Νευρωνικών Δικτύων. Στα πλαίσια της παραπάνω συνεργατικής αντιμετώπισης, είναι απαραίτητη η μελέτη των προαπαιτούμενων αυτών των αλγορίθμων. Έτσι, πριν την εφαρμογή αυτών των τεχνικών, είναι αναγκαία η προεργασία και προετοιμασία του διαθέσιμου συνόλου δεδομένων, προκειμένου να δημιουργηθούν αξιόπιστα μοντέλα, με καλή απόδοση και καλή ικανότητα γενίκευσης. Κατόπιν, αυτές οι μέθοδοι μπορούν να εφαρμοστούν και να αντιμετωπίσουν προβλήματα που άπτονται σε αρκετούς τομείς της επιστήμης, όπως η μηχανική, η φυσική, η βιολογία, τα μαθηματικά, η ιατρική, η επιστήμη των υπολογιστών, η βιομηχανία, η μουσική, η οικονομία, η κρυπτογραφία κ.ά. Στη σύγχρονη βιβλιογραφία, παρουσιάζεται ένα τεράστιο πλήθος αλγορίθμων και τεχνικών που άπτονται στις παραπάνω κατευθύνσεις. Παρόλα αυτά, η πλειοψηφία τους αφορά ένα συγκεκριμένο πλαίσιο, το οποίο είναι προσαρμοσμένο στις ανάγκες του εκάστοτε προβλήματος. Συνήθως περιορίζονται σε στατιστικά μοντέλα και σε παραμέτρους που πληρούν ένα συγκεκριμένο πρόβλημα, αποκλείοντας, έτσι, την επιτυχή εφαρμογή σε οποιοδήποτε άλλο πρόβλημα, ή ακόμα και στο ίδιο πρόβλημα με διαφορετικές ανάγκες. Μια αξιόπιστη λύση σε αυτό το μείζον ζήτημα παρέχεται μέσω της ανάπτυξης αλγορίθμων με μαθηματική θεμελίωση και μαθηματική απόδειξη. Ένας αλγόριθμος με ισχυρό μαθηματικό υπόβαθρο μπορεί να χρησιμοποιηθεί σε περισσότερες εφαρμογές με μεγαλύτερη επιτυχία. Προς αυτή την κατεύθυνση στηρίζεται ο πυρήνας της διδακτορικής διατριβής, δηλαδή στη μαθηματική θεμελίωση αλγοριθμικών τεχνικών, οι οποίες θα απευθύνονται σε μια πλειάδα προβλημάτων, καλύπτοντας, έτσι, υπαρκτά κενά στην επιστημονική βιβλιογραφία ως προς την Υπολογιστική Νοημοσύνη και τα Υπολογιστικά Μαθηματικά. Πιστεύουμε και προσδοκούμε ότι τα αποτελέσματα της διατριβής θα συνεισφέρουν στη δημιουργία αξιόπιστων μεθόδων, οι οποίες, μεταξύ άλλων, θα δώσουν τη δυνατότητα σε επιστήμονες άλλων περιοχών ως προς την αξιόπιστη αντιμετώπιση μεγάλης κλίμακας και πολυπλοκότητας προβλημάτων, τα οποία, συχνά, εμφανίζονται σε πολλούς επιστημονικούς, οικονομικούς, βιομηχανικούς και εμπορικούς τομείς με προφανή οφέλη. Συγκεκριμένα, η διδακτορική διατριβή ξεκινά με μια σύντομη εισαγωγή στο Κεφάλαιο 1, στην οποία ο αναγνώστης συναντά τις βασικές πτυχές της Υπολογιστικής Νοημοσύνης, των Υπολογιστικών Μαθηματικών, καθώς και σημαντικά σημεία της Βελτιστοποίησης και Μηχανικής Μάθησης. Στο Κεφάλαιο 2, παρουσιάζονται πολύ σημαντικά ζητήματα της Μαθηματικής Βελτιστοποίησης και αναλυτικότερα, αποτελέσματα που σχετίζονται με το γνωστό θεώρημα "No free lunch theorems for optimization" αλλά και την πιθανή ύπαρξη "Free lunches". Στο επόμενο κεφάλαιο, ο αναγνώστης συναντά την ανάπτυξη μιας νέας οικογένειας μεθόδων Βελτιστοποίησης, όπως αυτή εμπνεύστηκε από τις δυναμικές τροχιές ανίχνευσης των Snymam-Fatti και τις μεθόδους Runge-Kutta για την αριθμητική επίλυση συνήθων διαφορικών εξισώσεων. Επίσης, ο αγνώστης μπορεί να μελετήσει το προτεινόμενο θεώρημα μέσω του οποίου τεκμηριώνεται αυτή η οικογένεια, όπως και τη σχετική απόδειξη. Το Κεφάλαιο 4 καταπιάνεται με πτυχές της Μηχανικής Μάθησης, και συγκεκριμένα με τα προαπαιτούμενα των αλγορίθμων (προεπεξεργασία των δεδομένων), ώστε αργότερα να μπορούν αυτοί να εφαρμοστούν αποτελεσματικά σε διάφορα προβλήματα, όπως αυτό της ελαχιστοποίησης, της ταξινόμησης κ.ά. Στο κεφάλαιο που ακολουθεί, παρουσιάζεται μια νέα, υβριδική μέθοδος για την αντιμετώπιση του προβλήματος αναγνώρισης ακραίων τιμών σε ένα σύνολο δεδομένων, όπως και οι σχετικές συγκρίσεις αυτής της μεθόδου με γνωστές και ευρέως χρησιμοποιούμενες μεθόδους αυτής της κατηγορίας. Στο Κεφάλαιο 6, αναπτύσσεται μια συνεργατική μέθοδος για την προσέγγιση του προβλήματος ταξινόμησης σε ποικίλα σύνολα δεδομένων, μαζί με τα αντίστοιχα αποτελέσματα και τις συγκρίσεις που διεξήχθησαν. Ακόμα, στο Κεφάλαιο 7, αναλύονται βασικά ζητήματα της πολυ-αντικειμενικής Βελτιστοποίησης, χαρτογραφούνται οι περιοχές εφαρμογής της, όπως και οι αλγόριθμοι Υπολογιστικής Νοημοσύνης, οι οποίοι χρησιμοποιούνται για την προσέγγιση τέτοιων προβλημάτων. Η διδακτορική διατριβή ολοκληρώνεται με το Κεφάλαιο 8, στο οποίο ο αναγνώστης συναντά μια σύνοψη, χρήσιμα συμπεράσματα, όπως και μελλονικές ερευνητικές προσπάθειες.