Markov chain Monte Carlo (MCMC) method for parameter estimation of nonlinear dynamical systems

Author(s):  
M. Javvad ur Rehman ◽  
Sarat Chandra Dass ◽  
Vijanth Sagayan Asirvadam
Author(s):  
P. L. Green ◽  
K. Worden

In this paper, the authors outline the general principles behind an approach to Bayesian system identification and highlight the benefits of adopting a Bayesian framework when attempting to identify models of nonlinear dynamical systems in the presence of uncertainty. It is then described how, through a summary of some key algorithms, many of the potential difficulties associated with a Bayesian approach can be overcome through the use of Markov chain Monte Carlo (MCMC) methods. The paper concludes with a case study, where an MCMC algorithm is used to facilitate the Bayesian system identification of a nonlinear dynamical system from experimentally observed acceleration time histories.


2019 ◽  
Author(s):  
Κωνσταντίνος Καλούδης

Η παρούσα διατριβή αφορά τη διάδραση μεταξύ Μπεϋζιανής στατιστικής και μη γραμμικών δυναμικών συστημάτων. Ειδικότερα, ο βασικός στόχος της διατριβής είναι η ανάπτυξη νέων μεθόδων Markov Chain Monte Carlo (MCMC) με εφαρμογές στο ευρύτερο πεδίο της μη γραμμικής δυναμικής. Το κίνητρο για την ανάπτυξη τέτοιων μεθόδων, αφορά την διάκριση της διαδικασίας μοντελοποίησης σε δύο βασικά διαδραστικά μέρη: το αιτιοκρατικό (ντετερμινιστικό) μέρος και τη στοχαστική διαδικασία θορύβου. Μέσω μιας τέτοιου είδους μοντελοποίησης, επιτυγχάνεται η σύλληψη μιας ευρείας συλλογής φαινομένων, αξιοποιώντας την πολυπλοκότητα της δυναμικής συμπεριφοράς λόγω του μη γραμμικού μέρους και τα νέα χαρακτηριστικά που αναδεικνύονται λόγω της εμπλοκής των στοχαστικών διαταραχών. Οι προτεινόμενες στατιστικές μέθοδοι είναι μη παραμετρικές και βασίζονται στη χρήση τυχαίων μέτρων πιθανότητας με γεωμετρικά βάρη (Geometric stick breaking process (GSB)) ως εκ των προτέρων κατανομές στο χώρο των μέτρων πιθανότητας. Μια σημαντική πτυχή των προτεινόμενων μεθόδων είναι η επίτευξη της χαλάρωσης μιας πολύ συχνής υπόθεσης στη βιβλιογραφία: της κανονικότητας της διαδικασίας θορύβου. Στα δύο πρώτα Κεφάλαια γίνεται αναφορά σε βασικές έννοιες της Μπεϋζιανής στατιστικής και της θεωρίας των δυναμικών συστημάτων. Στο Κεφάλαιο 3 κατασκεύαζουμε ένα μη παραμετρικό Μπεϋζιανό μοντέλο κατάλληλο για αναδόμηση των δυναμικών εξισώσεων και πρόγνωση μελλοντικών τιμών από παρατηρηθείσες χρονοσειρές μολυσμένες με προσθετικό δυναμικό θόρυβο: το μοντέλο geometric stick-breaking reconstruction (GSBR). Το GSBR μοντέλο βασίζεται στο τυχαίο μέτρο με γεωμετρικά βάρη (GSB), ενώ γίνεται επίσης παρουσίαση του αντίστοιχου μοντέλου Dirichlet process reconstruction (DPR) βασισμένου στο τυχαίο μέτρο DP, καθώς και η μεταξύ τους σύγκριση. Η μεθοδολογία επεκτείνεται ώστε να γίνει εφικτή η μοντελοποίηση χρησιμοποιώντας αυθαίρετο πεπερασμένο πλήθος όρων χρονικών υστερήσεων (lags), καθώς και στην πολυδιάστατη περίπτωση μέσω της άπειρης μίξης πολυδιάστατων κανονικών πυρήνων με άγνωστους πίνακες αποκρίσεων, χρησιμοποιώντας ως μέτρο μίξης το τυχαίο μέτρο GSB και μέτρο βάσης (base measure) μια κατανομή Wishart. Στο Κεφάλαιο 4, προτείνεται μια μη παραμετρική Μπεϋζιανή μεθοδολογία βασιζόμενη επίσης στο τυχαίο μέτρο GSB, με σκοπό τη μείωση δυναμικού θορύβου σε διαθέσιμα δεδομένα μη γραμμικών χρονοσειρών με προσθετικό θορυβο. Το μοντέλο Dynamic Noise Reduction Replicator (DNRR) επιτυγχάνει μεγάλη ακρίβεια στην αναδόμηση των δυναμικών εξισώσεων, ώστε να αναπαράγει την υποκείμενη δυναμική σε περιβάλλον ασθενέστερου δυναμικού θορύβου. Μέσω της εφαρμογής του DNRR είναι δυνατή η σύνδεση των περιοχών υψηλών αποκλίσεων από τον ντετερμινισμό με τις περιοχές των πρωταρχικών ομοκλινικών εφαπτομενικοτήτων του υποκείμενου ντετερμινιστικού συστήματος. Συσχετίζοντας τα στοχαστικά δυναμικά συστήματα με τα αντίστοιχα ντετερμινιστικά τους μέρη, στο Κεφάλαιο 5 παρουσιάζεται μία επέκταση του μοντέλου GSBR, με σκοπό τη στοχαστική προσέγγιση της ολικής ευσταθούς πολλαπλότητας (global stable manifold), με χρήση μεθόδου MCMC. Ειδικότερα, γίνεται παρουσίαση του οπισθοδρομικού (backward) GSBR μοντέλου BGSBR, μέσω του οποίου επιτυγχάνεται πρόβλεψη σε αντεστραμμένο χρόνο. Με κατάλληλες πολλαπλές εφαρμογές του BGSBR χρησιμοποιώντας υποσύνολα των διαθέσιμων δεδομένων, δείχνουμε ότι η ένωση των στηριγμάτων των περιθώριων κατανομών για τις διάφορες αρχικές συνθήκες παρέχουν μια στοχαστική προσέγγιση της ευσταθούς πολλαπλότητας του υποκείμενου ντετερμινιστικού συστήματος. Η μεθοδολογία είναι εφαρμόσιμη τόσο σε αντιστρέψιμες όσο και σε μη αντιστρέψιμες απεικονίσεις. Στο Κεφάλαιο 6 γίνεται σύνοψη των αποτελεσμάτων των προηγούμενων Κεφαλαίων και αναφορά σε θέματα για μελλοντική έρευνα, τα οποία προέκυψαν κατά τη διάρκεια εκπόνησης της παρούσας Διατριβής.


2017 ◽  
Vol 34 (01) ◽  
pp. 1740009 ◽  
Author(s):  
Shuang Xiao ◽  
Guo Li ◽  
Yunjing Jia

The constant elasticity of variance (CEV) model is widely studied and applied for volatility forecasting and optimal decision making in both areas of financial engineering and operational management, especially in option pricing, due to its good fitting effect for the volatility process of various assets such as stocks and commodities. However, it is extremely difficult to conduct parameter estimation for the CEV model in practice since the precise likelihood function cannot be derived. Motivated by the gap between theory and practice, this paper initiatively applies the Markov Chain-Monte Carlo (MCMC) method into parameter estimation for the CEV model. We first construct a theoretical structure on how to implement the MCMC method into the CEV model, and then execute an empirical analysis with big data of CSI 300 index collected from the Chinese stock market. The final empirical results reveal insights on two aspects: On one aspect, the simulated results of the convergence test are convergent, which demonstrates that the MCMC estimation method for the CEV model is effective; On the other aspect, by a comparison with other two most frequently used estimation methods, the maximum likelihood estimation (MLE) and the generalized moment estimation (GMM), our method is proved to be of high accuracy and has a simpler implementation and wider application.


Agriculture ◽  
2020 ◽  
Vol 10 (12) ◽  
pp. 606
Author(s):  
Alaa Jamal ◽  
Raphael Linker

Particle filter has received increasing attention in data assimilation for estimating model states and parameters in cases of non-linear and non-Gaussian dynamic processes. Various modifications of the original particle filter have been suggested in the literature, including integrating particle filter with Markov Chain Monte Carlo (PF-MCMC) and, later, using genetic algorithm evolutionary operators as part of the state updating process. In this work, a modified genetic-based PF-MCMC approach for estimating the states and parameters simultaneously and without assuming Gaussian distribution for priors is presented. The method was tested on two simulation examples on the basis of the crop model AquaCrop-OS. In the first example, the method was compared to a PF-MCMC method in which states and parameters are updated sequentially and genetic operators are used only for state adjustments. The influence of ensemble size, measurement noise, and mutation and crossover parameters were also investigated. Accurate and stable estimations of the model states were obtained in all cases. Parameter estimation was more challenging than state estimation and not all parameters converged to their true value, especially when the parameter value had little influence on the measured variables. Overall, the proposed method showed more accurate and consistent parameter estimation than the PF-MCMC with sequential estimation, which showed highly conservative behavior. The superiority of the proposed method was more pronounced when the ensemble included a large number of particles and the measurement noise was low.


Sign in / Sign up

Export Citation Format

Share Document