scholarly journals An Improved Radial Basis Function Networks in Networks Weights Adjustment for Training Real-World Nonlinear Datasets

2019 ◽  
Vol 8 (1) ◽  
pp. 63
Author(s):  
Lim Eng Aik ◽  
Tan Wei Hong ◽  
Ahmad Kadri Junoh
Keyword(s):  
Neural Networks ◽  
Radial Basis Function ◽  
Real World ◽  
Basis Function ◽  
Gradient Descent ◽  
Radial Basis Function Networks ◽  
Training Algorithm ◽  
Descent Algorithm ◽  
Gradient Descent Algorithm ◽  
Radial Basis

In neural networks, the accuracies of its networks are mainly relying on two important factors which are the centers and the networks weight. The gradient descent algorithm is a widely used weight adjustment algorithm in most of neural networks training algorithm. However, the method is known for its weakness for easily trap in local minima. It suffers from a random weight generated for the networks during initial stage of training at input layer to hidden layer networks. The performance of radial basis function networks (RBFN) has been improved from different perspectives, including centroid initialization problem to weight correction stage over the years. Unfortunately, the solution does not provide a good trade-off between quality and efficiency of the weight produces by the algorithm. To solve this problem, an improved gradient descent algorithm for finding initial weight and improve the overall networks weight is proposed. This improved version algorithm is incorporated into RBFN training algorithm for updating weight. Hence, this paper presented an improved RBFN in term of algorithm for improving the weight adjustment in RBFN during training process. The proposed training algorithm, which uses improved gradient descent algorithm for weight adjustment for training RBFN, obtained significant improvement in predictions compared to the standard RBFN. The proposed training algorithm was implemented in MATLAB environment. The proposed improved network called IRBFN was tested against the standard RBFN in predictions. The experimental models were tested on four literatures nonlinear function and four real-world application problems, particularly in Air pollutant problem, Biochemical Oxygen Demand (BOD) problem, Phytoplankton problem, and forex pair EURUSD. The results are compared to IRBFN for root mean square error (RMSE) values with standard RBFN. The IRBFN yielded a promising result with an average improvement percentage more than 40 percent in RMSE.

Classification Using Radial Basis Function Networks with Uncertain Weights

2005 ◽  
Vol 293-294 ◽  
pp. 135-142
Author(s):  
Graeme Manson ◽  
Gareth Pierce ◽  
Keith Worden ◽  
Daley Chetwynd
Keyword(s):  
Neural Networks ◽  
Radial Basis Function ◽  
Basis Function ◽  
Network Performance ◽  
Threshold Value ◽  
Radial Basis Function Networks ◽  
Training Techniques ◽  
Network Training ◽  
Training Approach ◽  
Radial Basis

This paper considers the performance of radial basis function neural networks for the purpose of data classification. The methods are illustrated using a simple two class problem. Two techniques for reducing the rate of misclassifications, via the introduction of an “unable to classify” label, are presented. The first of these considers the imposition of a threshold value on the classifier outputs whilst the second considers the replacement of the crisp network weights with interval ranges. Two network training techniques are investigated and it is found that, although thresholding and uncertain weights give similar results, the level of variability of network performance is dependent upon the training approach

scholarly journals Large scale data mining via parallel and distributed neural networks and machine learning schemes

2016 ◽  
Author(s):  
Γιάννης Κόκκινος
Keyword(s):  
Neural Network ◽  
Neural Networks ◽  
Radial Basis Function ◽  
Basis Function ◽  
Gradient Descent ◽  
Probabilistic Neural Network ◽  
Weighted Average ◽  
Majority Voting ◽  
Subtractive Clustering ◽  
Radial Basis

Η διατριβή εστιάζει σε τέσσερις τομείς: παράλληλη μάθηση νευρωνικών δικτύων, κατανεμημένη μάθηση επιτροπών νευρωνικών δικτύων, ιεραρχική και τοπική μάθηση νευρωνικών δικτύων. Στο κεφ. 3 δείχνουμε ότι για την κλιμακούμενη εκπαίδευσή των Extreme Learning Machines (ELM), η δημιουργία πολλών μοντέλων και η επιλογή του καταλληλότερου μοντέλου αντιμετωπίζονται ως μία φάση, την οποία μπορούμε έτσι να επιταχύνουμε μέσω γνωστών μεθόδων παραγοντοποιήσεων πινάκων όπως Cholesky, SVD, QR και Eigen Value decomposition. Στο κεφ. 4 προτείνουμε το parallel Enhanced Convex Incremental Extreme Learning Machine (ECI-ELM) που συνδυάζει τα δύο γνωστά Enhanced I-ELM και Convex I-ELM και έτσι λειτουργεί καλύτερο από αυτά ως προς την ακρίβεια και προσφέρει επιταχύνσεις στην αρχιτεκτονική master-worker πολύ κοντά στην γραμμική επιτάχυνση. Παράλληλοι αλγόριθμοι για Probabilistic Neural Network (PNN) διερευνώνται στο κεφ. 5 στο πλαίσιο παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο, όπου απεικονίζεται το σχήμα εκπαίδευσης του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering με τον αλγόριθμο Expectation Maximization. Η εκπαίδευση του δικτύου γίνεται αυτόματα. Ο δακτύλιος σωληνωτής επεξεργασίας επιτρέπει τον διαμερισμό τόσο των δεδομένων όσο και τον διαμερισμό των νευρώνων του δικτύου στους επεξεργαστές, και κλιμακώνεται τόσο σε πολλά δεδομένα όσο και σε μεγάλα μοντέλα νευρώνων. Παράλληλοι αλγόριθμοι εκπαίδευσης για Radial Basis Function (RBF) Neural Networks μελετούνται στο κεφ. 6 πάλι μέσω της αρχιτεκτονικής παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο. Ο συνδυασμός του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering επιλέγει αυτόματα τα κέντρα των RBF νευρώνων και η εκπαίδευση συνεχίζεται με τον αλγόριθμο mini-batch gradient descent. Στο κεφ. 7 μελετάται μια μηχανή επιτροπής κατανεμημένων νευρωνικών δικτύων που μέσω ασύγχρονων και κατανεμημένων υπολογισμών διατηρούν την εμπιστευτικότητα των δεδομένων. Δημιουργεί έναν πίνακα χαρτογράφησης των νευρωνικών δικτύων με βάση την ακρίβεια του κάθε ενός στα δεδομένα του κάθε άλλου. Οι συγκρίσεις δείχνουν ότι υπερτερεί έναντι γνωστών μεθόδων majority voting, weighted average και stacked generalization. Το κεφ. 8 εξετάζει το πρόβλημα της κατανεμημένη επιλογής του καλυτέρου συνόλου νευρωνικών δικτύων. Προτείνουμε τον αλγόριθμο Confidence Ratio Affinity Propagation που εκτελεί πρώτα έναν κύκλο ασύγχρονων και κατανεμημένων υπολογισμών. Συγκρίσεις με reduce-error pruning, Kappa pruning, orientation pruning, JAM’s diversity pruning δείχνουν ότι η προτεινόμενη μέθοδος μπορεί να επιλέξει τα καλύτερα δίκτυα, με λιγότερους υπολογισμούς και δίχως ο αριθμός τους να δίνεται ως παράμετρος. Στο κεφ. 9 προτείνεται μία κατανεμημένη μηχανή επιτροπής βασισμένη σε probabilistic neural network (PNN) όπου στο στρώμα προτύπων του PNN το κάθε νευρωνικό δίκτυο ειδικεύεται σε ξεχωριστή κλάση δεδομένων. Η ιεραρχική μάθηση αντιμετωπίζεται με ένα νέο ιεραρχικό Μαρκοβιανό Radial Basis Function neural network στο κεφ. 10. Σε κάθε επίπεδο οι κρυφοί νευρώνες του ιεραρχικού νευρωνικού δικτυού αποτελούνται από άλλα πλήρως εμφωλευμένα νευρωνικά δίκτυα. Έτσι η λειτουργία του είναι μία συνάρτηση αναδρομής ίδια σε όλα τα επίπεδα. Για τους αλγόριθμους τοπικής μάθησης στο κεφ. 11, που δημιουργούν για διαφορετικά σημεία και διαφορετικά τοπικά μοντέλα νευρωνικού δικτύου, βασιζόμενοι στα κοντινότερα δεδομένα εκπαίδευσης, εξετάζουμε τα Regularization Networks. Δείχνεται ότι για την ελάττωση των χρόνων υπολογισμού και βελτιστοποίησης των παραμέτρων τους, η καθολική βελτιστοποίηση, με ένα σύνολο παραμέτρων κοινό για όλα τα δίκτυα, παράγει καλύτερα αποτελέσματα ταχύτητας και ακρίβειας από την βελτιστοποίηση, με ένα σύνολο παραμέτρων ξεχωριστό για κάθε δίκτυο.

scholarly journals Modelling Temperature Variation of Mushroom Growing Hall Using Artificial Neural Networks

2019 ◽  
Author(s):  
Sina Ardabili ◽  
Amir Mosavi ◽  
Asghar Mahmoudi ◽  
Tarahom Mesri Gundoshmian ◽  
Saeed Nosratabadi ◽  
...  
Keyword(s):  
Neural Networks ◽  
Radial Basis Function ◽  
Temperature Variation ◽  
Basis Function ◽  
Intelligent Systems ◽  
Absolute Error ◽  
Radial Basis Function Networks ◽  
Radial Basis ◽  
Agricultural Industries ◽  
Hidden Layer

Recent advancements of computer and electronic systems have motivated the extensive use of intelligent systems for automation of agricultural industries. In this study, the temperature variation of the mushroom growing room is modeled through using a multi-layered perceptron (MLP) and radial basis function networks. Modeling has been done based on the independent parameters including ambient temperature, water temperature, fresh air and circulation air dampers, and water tap. According to the obtained results from the networks, the best network for MLP is found to be the second repetition with 12 neurons in the hidden layer and 20 neurons in the hidden layer for radial basis function networks. The obtained results from comparative parameters for two networks showed the highest correlation coefficient (0.966), the lowest root mean square error (RMSE) (0.787) and the lowest mean absolute error (MAE) (0.02746) for radial basis function. Therefore, the neural networks with radial basis function was selected as the optimal predictor for the behavior of the system.

Sign in / Sign up

Export Citation Format

Share Document