scholarly journals Bayesian methods and estimation of nonlinear dynamical systems

2019 ◽  
Author(s):  
Κωνσταντίνος Καλούδης
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Markov Chain Monte Carlo ◽  
Bayesian Methods ◽  
Dirichlet Process ◽  
Nonlinear Dynamical Systems ◽  
Nonlinear Dynamical ◽  
Dynamic Noise ◽  
Process Reconstruction ◽  
Global Stable Manifold

Η παρούσα διατριβή αφορά τη διάδραση μεταξύ Μπεϋζιανής στατιστικής και μη γραμμικών δυναμικών συστημάτων. Ειδικότερα, ο βασικός στόχος της διατριβής είναι η ανάπτυξη νέων μεθόδων Markov Chain Monte Carlo (MCMC) με εφαρμογές στο ευρύτερο πεδίο της μη γραμμικής δυναμικής. Το κίνητρο για την ανάπτυξη τέτοιων μεθόδων, αφορά την διάκριση της διαδικασίας μοντελοποίησης σε δύο βασικά διαδραστικά μέρη: το αιτιοκρατικό (ντετερμινιστικό) μέρος και τη στοχαστική διαδικασία θορύβου. Μέσω μιας τέτοιου είδους μοντελοποίησης, επιτυγχάνεται η σύλληψη μιας ευρείας συλλογής φαινομένων, αξιοποιώντας την πολυπλοκότητα της δυναμικής συμπεριφοράς λόγω του μη γραμμικού μέρους και τα νέα χαρακτηριστικά που αναδεικνύονται λόγω της εμπλοκής των στοχαστικών διαταραχών. Οι προτεινόμενες στατιστικές μέθοδοι είναι μη παραμετρικές και βασίζονται στη χρήση τυχαίων μέτρων πιθανότητας με γεωμετρικά βάρη (Geometric stick breaking process (GSB)) ως εκ των προτέρων κατανομές στο χώρο των μέτρων πιθανότητας. Μια σημαντική πτυχή των προτεινόμενων μεθόδων είναι η επίτευξη της χαλάρωσης μιας πολύ συχνής υπόθεσης στη βιβλιογραφία: της κανονικότητας της διαδικασίας θορύβου. Στα δύο πρώτα Κεφάλαια γίνεται αναφορά σε βασικές έννοιες της Μπεϋζιανής στατιστικής και της θεωρίας των δυναμικών συστημάτων. Στο Κεφάλαιο 3 κατασκεύαζουμε ένα μη παραμετρικό Μπεϋζιανό μοντέλο κατάλληλο για αναδόμηση των δυναμικών εξισώσεων και πρόγνωση μελλοντικών τιμών από παρατηρηθείσες χρονοσειρές μολυσμένες με προσθετικό δυναμικό θόρυβο: το μοντέλο geometric stick-breaking reconstruction (GSBR). Το GSBR μοντέλο βασίζεται στο τυχαίο μέτρο με γεωμετρικά βάρη (GSB), ενώ γίνεται επίσης παρουσίαση του αντίστοιχου μοντέλου Dirichlet process reconstruction (DPR) βασισμένου στο τυχαίο μέτρο DP, καθώς και η μεταξύ τους σύγκριση. Η μεθοδολογία επεκτείνεται ώστε να γίνει εφικτή η μοντελοποίηση χρησιμοποιώντας αυθαίρετο πεπερασμένο πλήθος όρων χρονικών υστερήσεων (lags), καθώς και στην πολυδιάστατη περίπτωση μέσω της άπειρης μίξης πολυδιάστατων κανονικών πυρήνων με άγνωστους πίνακες αποκρίσεων, χρησιμοποιώντας ως μέτρο μίξης το τυχαίο μέτρο GSB και μέτρο βάσης (base measure) μια κατανομή Wishart. Στο Κεφάλαιο 4, προτείνεται μια μη παραμετρική Μπεϋζιανή μεθοδολογία βασιζόμενη επίσης στο τυχαίο μέτρο GSB, με σκοπό τη μείωση δυναμικού θορύβου σε διαθέσιμα δεδομένα μη γραμμικών χρονοσειρών με προσθετικό θορυβο. Το μοντέλο Dynamic Noise Reduction Replicator (DNRR) επιτυγχάνει μεγάλη ακρίβεια στην αναδόμηση των δυναμικών εξισώσεων, ώστε να αναπαράγει την υποκείμενη δυναμική σε περιβάλλον ασθενέστερου δυναμικού θορύβου. Μέσω της εφαρμογής του DNRR είναι δυνατή η σύνδεση των περιοχών υψηλών αποκλίσεων από τον ντετερμινισμό με τις περιοχές των πρωταρχικών ομοκλινικών εφαπτομενικοτήτων του υποκείμενου ντετερμινιστικού συστήματος. Συσχετίζοντας τα στοχαστικά δυναμικά συστήματα με τα αντίστοιχα ντετερμινιστικά τους μέρη, στο Κεφάλαιο 5 παρουσιάζεται μία επέκταση του μοντέλου GSBR, με σκοπό τη στοχαστική προσέγγιση της ολικής ευσταθούς πολλαπλότητας (global stable manifold), με χρήση μεθόδου MCMC. Ειδικότερα, γίνεται παρουσίαση του οπισθοδρομικού (backward) GSBR μοντέλου BGSBR, μέσω του οποίου επιτυγχάνεται πρόβλεψη σε αντεστραμμένο χρόνο. Με κατάλληλες πολλαπλές εφαρμογές του BGSBR χρησιμοποιώντας υποσύνολα των διαθέσιμων δεδομένων, δείχνουμε ότι η ένωση των στηριγμάτων των περιθώριων κατανομών για τις διάφορες αρχικές συνθήκες παρέχουν μια στοχαστική προσέγγιση της ευσταθούς πολλαπλότητας του υποκείμενου ντετερμινιστικού συστήματος. Η μεθοδολογία είναι εφαρμόσιμη τόσο σε αντιστρέψιμες όσο και σε μη αντιστρέψιμες απεικονίσεις. Στο Κεφάλαιο 6 γίνεται σύνοψη των αποτελεσμάτων των προηγούμενων Κεφαλαίων και αναφορά σε θέματα για μελλοντική έρευνα, τα οποία προέκυψαν κατά τη διάρκεια εκπόνησης της παρούσας Διατριβής.

scholarly journals Bayesian and Markov chain Monte Carlo methods for identifying nonlinear systems in the presence of uncertainty

2015 ◽  
Vol 373 (2051) ◽  
pp. 20140405 ◽  
Author(s):  
P. L. Green ◽  
K. Worden
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Markov Chain Monte Carlo ◽  
System Identification ◽  
Nonlinear Dynamical Systems ◽  
Nonlinear Dynamical System ◽  
Mcmc Methods ◽  
Nonlinear Dynamical ◽  
Acceleration Time Histories ◽  
Time Histories

In this paper, the authors outline the general principles behind an approach to Bayesian system identification and highlight the benefits of adopting a Bayesian framework when attempting to identify models of nonlinear dynamical systems in the presence of uncertainty. It is then described how, through a summary of some key algorithms, many of the potential difficulties associated with a Bayesian approach can be overcome through the use of Markov chain Monte Carlo (MCMC) methods. The paper concludes with a case study, where an MCMC algorithm is used to facilitate the Bayesian system identification of a nonlinear dynamical system from experimentally observed acceleration time histories.

A two-stage Markov chain Monte Carlo method for seismic inversion and uncertainty quantification

Geophysics ◽  
2019 ◽  
Vol 84 (6) ◽  
pp. R1003-R1020 ◽  
Author(s):  
Georgia K. Stuart ◽  
Susan E. Minkoff ◽  
Felipe Pereira
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Markov Chain Monte Carlo ◽  
Uncertainty Quantification ◽  
Bayesian Methods ◽  
Posterior Distributions ◽  
Mcmc Algorithm ◽  
Two Stage ◽  
Fine Grid ◽  
Highest Posterior Density

Bayesian methods for full-waveform inversion allow quantification of uncertainty in the solution, including determination of interval estimates and posterior distributions of the model unknowns. Markov chain Monte Carlo (MCMC) methods produce posterior distributions subject to fewer assumptions, such as normality, than deterministic Bayesian methods. However, MCMC is computationally a very expensive process that requires repeated solution of the wave equation for different velocity samples. Ultimately, a large proportion of these samples (often 40%–90%) is rejected. We have evaluated a two-stage MCMC algorithm that uses a coarse-grid filter to quickly reject unacceptable velocity proposals, thereby reducing the computational expense of solving the velocity inversion problem and quantifying uncertainty. Our filter stage uses operator upscaling, which provides near-perfect speedup in parallel with essentially no communication between processes and produces data that are highly correlated with those obtained from the full fine-grid solution. Four numerical experiments demonstrate the efficiency and accuracy of the method. The two-stage MCMC algorithm produce the same results (i.e., posterior distributions and uncertainty information, such as medians and highest posterior density intervals) as the Metropolis-Hastings MCMC. Thus, no information needed for uncertainty quantification is compromised when replacing the one-stage MCMC with the more computationally efficient two-stage MCMC. In four representative experiments, the two-stage method reduces the time spent on rejected models by one-third to one-half, which is important because most of models tried during the course of the MCMC algorithm are rejected. Furthermore, the two-stage MCMC algorithm substantially reduced the overall time-per-trial by as much as 40%, while increasing the acceptance rate from 9% to 90%.

Statistical Approach on Grading the Student Achievement via Normal Mixture Modeling

2012 ◽  
Author(s):  
Zairul Nor Deana Md. Desa ◽  
Ismail Mohamad ◽  
Zarina Mohd. Khalid ◽  
Hanafiah Md. Zin
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Markov Chain Monte Carlo ◽  
Standard Deviation ◽  
Bayesian Methods ◽  
Mixture Distribution ◽  
Coefficient Of Determination ◽  
Normal Mixture ◽  
Posterior Density ◽  
Letter Grades

Kajian dijalankan untuk membanding keputusan yang didapati daripada tiga kaedah penggredan terhadap pencapaian pelajar. Kaedah konvensional yang popular adalah kaedah Skala Tegak. Pendekatan statistik yang menggunakan kaedah Sisihan Piawai dan kaedah Bayesian bersyarat dipertimbangkan untuk memberi gred. Dalam model Bayesian, dianggapkan bahawa data adalah mengikut taburan Normal Tergabung di mana setiap gred adalah dipisahkan secara berasingan oleh parameter; min dan kadar bandingan dari taburan Normal Tergabung. Masalah yang timbul adalah sukar untuk menganggarkan ketumpatan posterior bagi parameter tersebut secara analitik. Satu penyelesaiannya adalah dengan menggunakan pendekatan Markov Chain Monte Carlo iaitu melalui algoritma pensampelan Gibbs. Kaedah Skala Tegak, kaedah Sisihan Piawai dan kaedah Bayesian bersyarat diaplikasikan untuk markah mentah peperiksaan bagi dua kumpulan pelajar. Pencapaian ketiga–tiga kaedah dibandingkan melalui nilai Kehilangan Kelas Neutral, Kehilangan Kelas Tidak Tegas dan Pekali Penentuan. Didapati keputusan dari kaedah Bayesian bersyarat menunjukkan penggredan yang lebih baik berbanding kaedah Skala Tegak dan kaedah Sisihan Piawai. Kata kunci: Kaedah penggredan, pengukuran pendidikan, Skala Tegak, kaedah Sisihan Piawai, Normal Tergabung, Markov Chain Monte Carlo, pensampelan Gibbs The purpose of this study is to compare results obtained from three methods of assigning letter grades to students’ achievement. The conventional and the most popular method to assign grades is the Straight Scale method (SS). Statistical approaches which used the Standard Deviation (GC) and conditional Bayesian methods are considered to assign the grades. In the conditional Bayesian model, we assume the data to follow the Normal Mixture distribution where the grades are distinctively separated by the parameters: means and proportions of the Normal Mixture distribution. The problem lies in estimating the posterior density of the parameters which is analytically intractable. A solution to this problem is using the Markov Chain Monte Carlo approach namely Gibbs sampler algorithm. The Straight Scale, Standard Deviation and Conditional Bayesian methods are applied to the examination raw scores of two sets of students. The performances of these methods are measured using the Neutral Class Loss, Lenient Class Loss and Coefficient of Determination. The results showed that Conditional Bayesian outperformed the Conventional Methods of assigning grades. Key words: Grading methods, educational measurement, Straight Scale, Standard Deviation method, Normal Mixture, Markov Chain Monte Carlo, Gibbs sampling

scholarly journals Bayesian Statistical Methods in Psychology

Psychology ◽  
2021 ◽  
Author(s):  
Sarah Depaoli
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Markov Chain Monte Carlo ◽  
Bayesian Statistics ◽  
Bayesian Estimation ◽  
Bayesian Methods ◽  
Expert Elicitation ◽  
Background Information ◽  
Estimation Accuracy ◽  
Model Assessment

The use of Bayesian statistics within psychology is on the rise, and this trajectory will likely continue to accelerate in the coming years. There are many different reasons why a researcher may want to implement Bayesian methodology. First, there are cases where models are too “complex” for traditional (frequentist) methods to handle. Second, Bayesian methods are sometimes preferred if only small samples are available, since the use of priors can improve estimation accuracy with minimal data. Third, the researcher may prefer to include background information in the estimation process, and this can be done via the priors. Finally, Bayesian methods produce results that are rich with detail and can be more informative about the population parameters. Specifically, information surrounding the entire posterior distribution is provided through Bayesian estimation, as opposed to a point estimate obtained through traditional (frequentist) methods. All of these reasons make Bayesian methods attractive to the psychological sciences. This bibliography begins with a section on General Overviews, which presents works that provide general introductions to Bayesian methods. A subsection within this overview section covers Papers Introducing Bayesian Methods to Subfields in Psychology, and a second subsection includes Resources for Particular Model Types Popular in Psychological Research. Next, some of the more comprehensive Bayesian Textbooks are presented, and this is followed by a treatment of the Philosophy that underlies Bayesian statistics. The next section is Markov Chain Monte Carlo and Samplers. One of the most common tools for Bayesian estimation is the Markov chain Monte Carlo (MCMC) algorithm. MCMC is used to construct chains through samplers, and these chains represent draws from the posterior. A subsection on Convergence is included here to highlight the importance of assessing Markov chain convergence. This is followed by a section on Prior Distributions, which includes subsections on Expert Elicitation of Priors and the Data-Prior Conflict. A section on Software Resources is presented, which covers some of the main software programs implementing Bayesian statistical modeling. Finally, a section on Model Assessment and Fit is presented. Each of these sections and subsections were selected to highlight an understanding of Bayesian statistics, the role it plays in psychology, and proper implementation.

Bayesian Applications in Auditory Research

2019 ◽  
Vol 62 (3) ◽  
pp. 577-586 ◽  
Author(s):  
Garnett P. McMillan ◽  
John B. Cannon
Keyword(s):  
Monte Carlo ◽  
Markov Chain ◽  
Bayesian Methods ◽  
Prior Distribution ◽  
Interim Analysis ◽  
Iterative Process ◽  
Bayes Theorem ◽  
Sound Therapy ◽  
The Many ◽  
Auditory Research

Purpose This article presents a basic exploration of Bayesian inference to inform researchers unfamiliar to this type of analysis of the many advantages this readily available approach provides. Method First, we demonstrate the development of Bayes' theorem, the cornerstone of Bayesian statistics, into an iterative process of updating priors. Working with a few assumptions, including normalcy and conjugacy of prior distribution, we express how one would calculate the posterior distribution using the prior distribution and the likelihood of the parameter. Next, we move to an example in auditory research by considering the effect of sound therapy for reducing the perceived loudness of tinnitus. In this case, as well as most real-world settings, we turn to Markov chain simulations because the assumptions allowing for easy calculations no longer hold. Using Markov chain Monte Carlo methods, we can illustrate several analysis solutions given by a straightforward Bayesian approach. Conclusion Bayesian methods are widely applicable and can help scientists overcome analysis problems, including how to include existing information, run interim analysis, achieve consensus through measurement, and, most importantly, interpret results correctly. Supplemental Material https://doi.org/10.23641/asha.7822592

Sign in / Sign up

Export Citation Format

Share Document