scholarly journals Нейронные сети lstm и gru в приложении к задаче многоклассовой классификации текстовых постов пользователей социальных сетей

Author(s):  
Валерий Дмитриевич Олисеенко ◽  
Максим Викторович Абрамов ◽  
Александр Львович Тулупьев

В данной статье рассмотрены две архитектуры нейронных сетей глубинного обучения — long short-term memory (LSTM) и gated recurrent units (GRU). Данные модели предлагается применить к задаче многоклассовой классификации постов пользователей социальных сетей, при этом результаты классификации используются для построения эмпирического распределения постов пользователя между классами, которое, в свою очередь, применяется в частичной автоматизации процесса оценки степени выраженности психологических особенностей пользователей. Целью исследования является повышение точности многоклассовой классификации постов пользователей посредством разработки и внедрения новых моделей второго уровня иерархического классификатора. Теоретическая значимость исследования заключается в построении новых более точных моделей классификации, которые лягут в основу моделей оценки выраженности личностных особенностей пользователей. Практическая значимость заключается в улучшении автоматизированной системы классификации постов, которая дополнит существующий прототип программы для анализа защищенности пользователей от социоинженерных атак. Новизна результата заключается в создании нового способа решения актуальной задачи автоматизированной классификации постов, позволяющего достигать большей точности классификации по отношению к существующим ранее способам. Лучший результат классификации показала модель на основе архитектуры LSTM (F1-micro 0.766, F1-macro 0.734, Accuracy 0.793).

Energies ◽  
2021 ◽  
Vol 14 (11) ◽  
pp. 3004
Author(s):  
Khadijeh Alibabaei ◽  
Pedro D. Gaspar ◽  
Tânia M. Lima

Deep learning has already been successfully used in the development of decision support systems in various domains. Therefore, there is an incentive to apply it in other important domains such as agriculture. Fertilizers, electricity, chemicals, human labor, and water are the components of total energy consumption in agriculture. Yield estimates are critical for food security, crop management, irrigation scheduling, and estimating labor requirements for harvesting and storage. Therefore, estimating product yield can reduce energy consumption. Two deep learning models, Long Short-Term Memory and Gated Recurrent Units, have been developed for the analysis of time-series data such as agricultural datasets. In this paper, the capabilities of these models and their extensions, called Bidirectional Long Short-Term Memory and Bidirectional Gated Recurrent Units, to predict end-of-season yields are investigated. The models use historical data, including climate data, irrigation scheduling, and soil water content, to estimate end-of-season yield. The application of this technique was tested for tomato and potato yields at a site in Portugal. The Bidirectional Long Short-Term memory outperformed the Gated Recurrent Units network, the Long Short-Term Memory, and the Bidirectional Gated Recurrent Units network on the validation dataset. The model was able to capture the nonlinear relationship between irrigation amount, climate data, and soil water content and predict yield with an MSE of 0.017 to 0.039. The performance of the Bidirectional Long Short-Term Memory in the test was compared with the most commonly used deep learning method, the Convolutional Neural Network, and machine learning methods including a Multi-Layer Perceptrons model and Random Forest Regression. The Bidirectional Long Short-Term Memory outperformed the other models with an R2 score between 0.97 and 0.99. The results show that analyzing agricultural data with the Long Short-Term Memory model improves the performance of the model in terms of accuracy. The Convolutional Neural Network model achieved the second-best performance. Therefore, the deep learning model has a remarkable ability to predict the yield at the end of the season.


Energies ◽  
2021 ◽  
Vol 14 (21) ◽  
pp. 6958
Author(s):  
Balduíno César Mateus ◽  
Mateus Mendes ◽  
José Torres Farinha ◽  
Rui Assis ◽  
António Marques Cardoso

The accuracy of a predictive system is critical for predictive maintenance and to support the right decisions at the right times. Statistical models, such as ARIMA and SARIMA, are unable to describe the stochastic nature of the data. Neural networks, such as long short-term memory (LSTM) and the gated recurrent unit (GRU), are good predictors for univariate and multivariate data. The present paper describes a case study where the performances of long short-term memory and gated recurrent units are compared, based on different hyperparameters. In general, gated recurrent units exhibit better performance, based on a case study on pulp paper presses. The final result demonstrates that, to maximize the equipment availability, gated recurrent units, as demonstrated in the paper, are the best options.


2020 ◽  
Author(s):  
Abdolreza Nazemi ◽  
Johannes Jakubik ◽  
Andreas Geyer-Schulz ◽  
Frank J. Fabozzi

Sign in / Sign up

Export Citation Format

Share Document