MBTI personality classification using Apache Spark

2021 ◽  
Author(s):  
Kamila Orynbekova ◽  
Assem Talasbek ◽  
Abylay Omar ◽  
Andrey Bogdanchikov ◽  
Shirali Kadyrov
Keyword(s):  
Apache Spark ◽  
Personality Classification

Deskripsi Kesulitan Belajar Siswa Berdasarkan Karakteristik Lerner dalam Menyelesaikan Soal Geometri

2019 ◽  
Vol 2 (2) ◽  
Author(s):  
Nazom Murio ◽  
Roseli Theis
Keyword(s):  
Qualitative Research ◽  
Visual Perception ◽  
Learning Difficulties ◽  
Research Subjects ◽  
Visual Objects ◽  
Almost All ◽  
Personality Classification ◽  
The Given ◽  
Classification Test ◽  
Descriptive Qualitative

Geometri adalah bagian matematika yang sangat dekat dari siswa, karena hampir semua objek visual yang ada di sekitar siswa adalah objek geometri, tetapi tidak semua siswa menyukai pembelajaran yang menyertakan gambar, sehingga memungkinkan siswa mengalami kesulitan dalam belajar geometri. Tujuan dari penelitian ini adalah untuk menggambarkan kesulitan belajar siswa berdasarkan karakteristik Lerner dalam menyelesaikan pertanyaan geometri. Jenis penelitian ini adalah penelitian deskriptif kualitatif. Subjek penelitian adalah siswa dengan kepribadian wali yang mengalami kesulitan belajar di kelas IX A SMP N 30 Muaro Jambi. Instrumen yang digunakan dalam penelitian ini adalah penulis sendiri, lembar tes klasifikasi kepribadian, lembar tes kesulitan belajar, dan pedoman wawancara. Hasil penelitian menunjukkan siswa dengan kepribadian wali yang mengalami kesulitan belajar, 100% mengalami kelainan persepsi visual, di mana siswa mengalami kesulitan dalam menentukan seperti apa bangun datar pada masalah tersebut. 60% mengalami kesulitan mengenali dan memahami simbol, di mana siswa melihat simbol "//" sebagai simbol untuk kesesuaian. Serta 40% mengalami kesulitan dalam bahasa dan membaca, di mana siswa kesulitan dalam memahami pertanyaan yang diberikan.   Geometry is a very close mathematical part of the student, because almost all visual objects that exist around the students are objects of geometry, but not all students like learning that includes images, thus allowing students to have difficulty in learning geometry. The purpose of this research is to describe students' learning difficulties based on Lerner's characteristic in solving the geometry question. This type of research is descriptive qualitative research. Research subjects were students with guardian personality who had difficulty studying in class IX A SMP N 30 Muaro Jambi. Instruments used in this study are the authors themselves, personality classification test sheets, learning difficulties test sheets, and interview guidelines. The results showed students with guardian personality who experienced learning difficulties, 100% experienced visual perception abnormalities, where students have difficulty in determining what kind of flat wake on the matter. 60% have difficulty recognizing and understanding symbols, where students see the symbol "//" as a symbol for conformity. As well as 40% have difficulty in language and reading, where students difficulty in understanding the given question.

Analysis of Retail Data using Apache Spark

2019 ◽  
Vol 7 (5) ◽  
pp. 1162-1165
Author(s):  
Himani Agnihotri ◽  
Bharti Nagpal
Keyword(s):  
Apache Spark

DISTRIBUTED PROCESSING OF LARGE VOLUMES OF TRANSACTIONAL DATA

2020 ◽  
pp. 27-36
Author(s):  
O. Dmytriieva ◽  
◽  
D. Nikulin
Keyword(s):  
Distributed Processing ◽  
Apache Spark ◽  
Hadoop Mapreduce ◽  
Transactional Data

Роботу присвячено питанням розподіленої обробки транзакцій при проведенні аналізу великих обсягів даних з метою пошуку асоціативних правил. На основі відомих алгоритмів глибинного аналізу даних для пошуку частих предметних наборів AIS та Apriori було визначено можливі варіанти паралелізації, які позбавлені необхідності ітераційного сканування бази даних та великого споживання пам'яті. Досліджено можливість перенесення обчислень на різні платформи, які підтримують паралельну обробку даних. В якості обчислювальних платформ було обрано MapReduce – потужну базу для обробки великих, розподілених наборів даних на кластері Hadoop, а також програмний інструмент для обробки надзвичайно великої кількості даних Apache Spark. Проведено порівняльний аналіз швидкодії розглянутих методів, отримано рекомендації щодо ефективного використання паралельних обчислювальних платформ, запропоновано модифікації алгоритмів пошуку асоціативних правил. В якості основних завдань, реалізованих в роботі, слід визначити дослідження сучасних засобів розподіленої обробки структурованих і не структурованих даних, розгортання тестового кластера в хмарному сервісі, розробку скриптів для автоматизації розгортання кластера, проведення модифікацій розподілених алгоритмів з метою адаптації під необхідні фреймворки розподілених обчислень, отримання показників швидкодії обробки даних в послідовному і розподіленому режимах з застосуванням Hadoop MapReduce. та Apache Spark, проведення порівняльного аналізу результатів тестових вимірів швидкодії, отримання та обґрунтування залежності між кількістю оброблюваних даних, і часом, витраченим на обробку, оптимізацію розподілених алгоритмів пошуку асоціативних правил при обробці великих обсягів транзакційних даних, отримання показників швидкодії розподіленої обробки існуючими програмними засобами. Ключові слова: розподілена обробка, транзакційні дані, асоціативні правила, обчислюваний кластер, Hadoop, MapReduce, Apache Spark

Big data Predictive Analytics for Apache Spark using Machine Learning

2020 ◽  
Author(s):  
Muhammad Junaid ◽  
Shiraz Ali Wagan ◽  
Nawab Muhammad Faseeh Qureshi ◽  
Choon Sung Nam ◽  
Dong Ryeol Shin
Keyword(s):  
Machine Learning ◽  
Big Data ◽  
Predictive Analytics ◽  
Apache Spark

scholarly journals Nodule Detection with Convolutional Neural Network Using Apache Spark and GPU Frameworks

2021 ◽  
Vol 11 (6) ◽  
pp. 2838
Author(s):  
Nikitha Johnsirani Venkatesan ◽  
Dong Ryeol Shin ◽  
Choon Sung Nam
Keyword(s):  
Neural Network ◽  
Radiation Dose ◽  
Convolutional Neural Network ◽  
Model Performance ◽  
Performance Comparison ◽  
Apache Spark ◽  
Training Time ◽  
Learning Framework ◽  
Proposed Model

In the pharmaceutical field, early detection of lung nodules is indispensable for increasing patient survival. We can enhance the quality of the medical images by intensifying the radiation dose. High radiation dose provokes cancer, which forces experts to use limited radiation. Using abrupt radiation generates noise in CT scans. We propose an optimal Convolutional Neural Network model in which Gaussian noise is removed for better classification and increased training accuracy. Experimental demonstration on the LUNA16 dataset of size 160 GB shows that our proposed method exhibit superior results. Classification accuracy, specificity, sensitivity, Precision, Recall, F1 measurement, and area under the ROC curve (AUC) of the model performance are taken as evaluation metrics. We conducted a performance comparison of our proposed model on numerous platforms, like Apache Spark, GPU, and CPU, to depreciate the training time without compromising the accuracy percentage. Our results show that Apache Spark, integrated with a deep learning framework, is suitable for parallel training computation with high accuracy.

Sign in / Sign up

Export Citation Format

Share Document