scholarly journals Effective neural network training with adaptive learning rate based on training loss

2018 ◽  
Vol 101 ◽  
pp. 68-78 ◽  
Author(s):  
Tomoumi Takase ◽  
Satoshi Oyama ◽  
Masahito Kurihara
2018 ◽  
Vol 3 (2) ◽  
Author(s):  
Zahratul Fitri

Abstrak— Algoritma backpropagation merupakan bagian dari Jaringan Syaraf Tiruan (JST) yang memiliki beberapa layar tersembunyi. Algoritma backpropagation juga merupakan multi-layer yang banyak digunakan untuk menyelesaikan persoalan yang luas, akan tetapi, algoritma backpropagation juga memiliki kelamahan pada proses pembelajaran yang cukup lambat. Pada penelitian ini penulis menganalisis bagaimana mengembangkan algoritma backpropagation dengan menggunakan learning rate dan parameter momentum untuk meminimalisir error dan epoch yang akurat sebagai proses menghitung perubahan bobot. Dari hasil penelitian diperoleh bahwa pengembangan yang dilakukan memperoleh nilai paling baik pada nilai momentum yaitu 0,9 dan 1.0 dan nilai learning rate yaitu > 0,7. Hal ini membuktikan bahwa nilai pembelajaran dengan menggunakan nilai parameter momentum dan nilai learning rate diatas sangat baik digunakan sebagai percepatan laju konvergensi.Kata kunci— Algoritma Backpropagation, Parameter Momentum, Adaptive Learning Rate . Abstract— Backpropagation algorithm is part of an Artificial Neural Network (ANN), which has some hidden screen. Backpropagation algorithm is also a multi-layer finish that is widely used for large problems, however, the backpropagation algorithm also has weaknesses in the learning process is quite slow. In this study the authors analyze how to develop a backpropagation algorithm using learning rate and momentum parameters to minimize the error and accurate epoch as the process of calculating the weight change. The result showed that the development is carried out to obtain best value on the momentum value of 0.9 and 1.0 and the value of learning rate is> 0.7. It is proved that the value of learning by using the parameter values of momentum and learning rate values above are best used as a convergence rate acceleration.Keywords— Backpropagation Algorithm, Parameter of Momentum, Adaptive   Learning Rate


Sign in / Sign up

Export Citation Format

Share Document