scholarly journals Complex Power System Status Monitoring and Evaluation Using Big Data Platform and Machine Learning Algorithms: A Review and a Case Study

Complexity ◽  
2018 ◽  
Vol 2018 ◽  
pp. 1-21 ◽  
Author(s):  
Yuanjun Guo ◽  
Zhile Yang ◽  
Shengzhong Feng ◽  
Jinxing Hu
Keyword(s):  
Machine Learning ◽  
Big Data ◽  
Smart Grid ◽  
Power System ◽  
Data Management ◽  
Power Grid ◽  
Technical Solution ◽  
Data Platform ◽  
Complex Power ◽  
Big Data Technology

Efficient and valuable strategies provided by large amount of available data are urgently needed for a sustainable electricity system that includes smart grid technologies and very complex power system situations. Big Data technologies including Big Data management and utilization based on increasingly collected data from every component of the power grid are crucial for the successful deployment and monitoring of the system. This paper reviews the key technologies of Big Data management and intelligent machine learning methods for complex power systems. Based on a comprehensive study of power system and Big Data, several challenges are summarized to unlock the potential of Big Data technology in the application of smart grid. This paper proposed a modified and optimized structure of the Big Data processing platform according to the power data sources and different structures. Numerous open-sourced Big Data analytical tools and software are integrated as modules of the analytic engine, and self-developed advanced algorithms are also designed. The proposed framework comprises a data interface, a Big Data management, analytic engine as well as the applications, and display module. To fully investigate the proposed structure, three major applications are introduced: development of power grid topology and parallel computing using CIM files, high-efficiency load-shedding calculation, and power system transmission line tripping analysis using 3D visualization. The real-system cases demonstrate the effectiveness and great potential of the Big Data platform; therefore, data resources can achieve their full potential value for strategies and decision-making for smart grid. The proposed platform can provide a technical solution to the multidisciplinary cooperation of Big Data technology and smart grid monitoring.

scholarly journals Fault Diagnosis and Trace Method of Power System Based on Big Data Platform

2018 ◽  
Vol 394 (4) ◽  
pp. 042116 ◽  
Author(s):  
Lei Wang ◽  
Lingling Shang ◽  
Mengchao Ma ◽  
Zhiguang Ma
Keyword(s):  
Big Data ◽  
Fault Diagnosis ◽  
Power System ◽  
Data Platform

scholarly journals Research on Parallel Support Vector Machine Based on Spark Big Data Platform

2021 ◽  
Vol 2021 ◽  
pp. 1-9
Author(s):  
Yao Huimin
Keyword(s):  
Machine Learning ◽  
Support Vector Machine ◽  
Big Data ◽  
Support Vector Machines ◽  
Cross Validation ◽  
Machine Learning Algorithms ◽  
Support Vector ◽  
Lambda Architecture ◽  
Vector Machines ◽  
Data Platform

With the development of cloud computing and distributed cluster technology, the concept of big data has been expanded and extended in terms of capacity and value, and machine learning technology has also received unprecedented attention in recent years. Traditional machine learning algorithms cannot solve the problem of effective parallelization, so a parallelization support vector machine based on Spark big data platform is proposed. Firstly, the big data platform is designed with Lambda architecture, which is divided into three layers: Batch Layer, Serving Layer, and Speed Layer. Secondly, in order to improve the training efficiency of support vector machines on large-scale data, when merging two support vector machines, the “special points” other than support vectors are considered, that is, the points where the nonsupport vectors in one subset violate the training results of the other subset, and a cross-validation merging algorithm is proposed. Then, a parallelized support vector machine based on cross-validation is proposed, and the parallelization process of the support vector machine is realized on the Spark platform. Finally, experiments on different datasets verify the effectiveness and stability of the proposed method. Experimental results show that the proposed parallelized support vector machine has outstanding performance in speed-up ratio, training time, and prediction accuracy.

scholarly journals ІНФОРМАЦІЙНА СИСТЕМА РОЗПОДІЛЬНОЇ ЕЛЕКТРИЧНОЇ МЕРЕЖІ НА БАЗІ КОНЦЕПЦІЇ SMART METERING ІЗ ЗАСТОСУВАННЯМ ТИПОВИХ ГРАФІКІВ НАВАНТАЖЕННЯ

2020 ◽  
pp. 229-241
Author(s):  
Yurii Tomashevskyi ◽  
Oleksander Burykin ◽  
Volodymyr Kulyk ◽  
Juliya Malogulko ◽  
Vladyslav Hrynyk
Keyword(s):  
Big Data ◽  
Data Management ◽  
Smart Metering ◽  
Big Data Technology

Актуальність теми дослідження. Використання інформаційних систем та баз даних стає невід’ємною складовою діяльності енергетичних компаній. Інформація про виробництво та споживання електроенергії зберігається в агрегованому вигляді. Це не дає змоги визначати складові балансових витрат електроенергії методом поелементних розрахунків та аналізувати їх структуру. Таким чином, вдосконалення математичного та програмного забезпечення інформаційних систем обліку електроенергії з метою підвищення адекватності визначення втрат електроенергії у розподільних мережах є актуальним завданням. Постановка проблеми. Оснащення розподільних електричних мереж засобами моніторингу їхніх параметрів часто виявляється недостатнім для розв’язування задач планування та ведення режимів. Тому метою дослідження є аналіз можливості застосування системного підходу до створення інформаційних систем РЕМ з використанням даних автоматизованих систем комерційного обліку електроенергії та інших наявних джерел інформації для підвищення точності моделювання характерних режимів мереж та складових балансу електроенергії. Аналіз останніх досліджень і публікацій. Нині використовуються декілька підходів для перевірки та відновлення даних щодо електричних навантажень у системах АСКОЕ та Smart Metering: 1) технологія великих даних (Big Data Technology – data management); 2) глобальне обчислення на основі не втрачених даних; 3) статистичні методи; 4) штучні нейронні мережі; 5) кластерний аналіз; 6) застосування методів оцінювання стану; 7) використання типових графіків електричних навантажень. Наведені підходи можуть комбінуватися для отримання додаткових переваг. Виділення недосліджених частин загальної проблеми. Необхідною умовою для використання наявних підходів є наявність невтрачених даних. Це робить принципово неможливим застосування відомих підходів для дослідження режимних параметрів РЕМ з прийнятною точністю. Постановка завдання. Отже, основним завданням є дослідження можливості використання системного підходу до побудови інформаційних систем РЕМ із застосуванням технології Smart Metering, а також методів та алгоритмів, які використовуючи наявну інформацію, агреговану за часовими періодами, дадуть змогу визначати режимні параметри РЕМ з необхідною точністю.Виклад основного матеріалу. Для розгортання агрегованих даних у графіки навантаження та генерування, у роботі запропоновано використовувати типові графіки енергообміну споживачів та місцевих джерел енергії. Для узгодження виміряних параметрів режиму та псевдовимірювань, розрахованих за типовими графіками, запропоновано використовувати алгоритм на основі методу найменших квадратів. Оцінювання точності проводилося шляхом зіставлення втрат електроенергії для цілком спостережної мережі з результатами імітаційних розрахунків. Висновки відповідно до статті. Встановлено, що застосування типових графіків навантаження та генерування дає змогу відновлювати графіки енергообміну споживачів та місцевих джерел енергії з прийнятною точністю. Використання типових графіків навантаження та генерування (псевдовимірювань) дає змогу зменшити вартість систем моніторингу розподільних мереж.

scholarly journals Typhoon Quantitative Rainfall Prediction from Big Data Analytics by Using the Apache Hadoop Spark Parallel Computing Framework

Atmosphere ◽  
2020 ◽  
Vol 11 (8) ◽  
pp. 870 ◽  
Author(s):  
Chih-Chiang Wei ◽  
Tzu-Hao Chou
Keyword(s):  
Machine Learning ◽  
Big Data ◽  
Prediction Models ◽  
Processing Unit ◽  
Central Processing ◽  
Rainfall Prediction ◽  
Typhoon Rainfall ◽  
Computing Framework ◽  
Spark Framework ◽  
Big Data Technology

Situated in the main tracks of typhoons in the Northwestern Pacific Ocean, Taiwan frequently encounters disasters from heavy rainfall during typhoons. Accurate and timely typhoon rainfall prediction is an imperative topic that must be addressed. The purpose of this study was to develop a Hadoop Spark distribute framework based on big-data technology, to accelerate the computation of typhoon rainfall prediction models. This study used deep neural networks (DNNs) and multiple linear regressions (MLRs) in machine learning, to establish rainfall prediction models and evaluate rainfall prediction accuracy. The Hadoop Spark distributed cluster-computing framework was the big-data technology used. The Hadoop Spark framework consisted of the Hadoop Distributed File System, MapReduce framework, and Spark, which was used as a new-generation technology to improve the efficiency of the distributed computing. The research area was Northern Taiwan, which contains four surface observation stations as the experimental sites. This study collected 271 typhoon events (from 1961 to 2017). The following results were obtained: (1) in machine-learning computation, prediction errors increased with prediction duration in the DNN and MLR models; and (2) the system of Hadoop Spark framework was faster than the standalone systems (single I7 central processing unit (CPU) and single E3 CPU). When complex computation is required in a model (e.g., DNN model parameter calibration), the big-data-based Hadoop Spark framework can be used to establish highly efficient computation environments. In summary, this study successfully used the big-data Hadoop Spark framework with machine learning, to develop rainfall prediction models with effectively improved computing efficiency. Therefore, the proposed system can solve problems regarding real-time typhoon rainfall prediction with high timeliness and accuracy.

Des Translators neue Kleider. Die Translationwirtschaft in Zeiten von Digitalisierung, Datafizierung und Big Data Management

2017 ◽  
Vol 62 (2) ◽  
Author(s):  
Martin Forstner
Keyword(s):  
Machine Learning ◽  
At Risk ◽  
Big Data ◽  
Internet Of Things ◽  
Data Management ◽  
Low Cost ◽  
The Internet ◽  
Computer Linguistics ◽  
Translation Services ◽  
The Internet Of Things

AbstractThe Internet of things will influence all professional environments, including translation services. Advances in machine learning, supported by accelerating improvements in computer linguistics, have enabled new systems that can learn from their own experience and will have repercussions on the workflow processes of translators or even put their services at risk in the expected digitalized society. Outsourcing has become a common practice and working in the cloud and in the crowd tend to enable translating on a very low-cost level. Confronted with promising new labels like

Sign in / Sign up

Export Citation Format

Share Document