A Secured Healthcare Management and Service Retrieval for Society Over Apache Spark Hadoop Environment

Роботу присвячено питанням розподіленої обробки транзакцій при проведенні аналізу великих обсягів даних з метою пошуку асоціативних правил. На основі відомих алгоритмів глибинного аналізу даних для пошуку частих предметних наборів AIS та Apriori було визначено можливі варіанти паралелізації, які позбавлені необхідності ітераційного сканування бази даних та великого споживання пам'яті. Досліджено можливість перенесення обчислень на різні платформи, які підтримують паралельну обробку даних. В якості обчислювальних платформ було обрано MapReduce – потужну базу для обробки великих, розподілених наборів даних на кластері Hadoop, а також програмний інструмент для обробки надзвичайно великої кількості даних Apache Spark. Проведено порівняльний аналіз швидкодії розглянутих методів, отримано рекомендації щодо ефективного використання паралельних обчислювальних платформ, запропоновано модифікації алгоритмів пошуку асоціативних правил. В якості основних завдань, реалізованих в роботі, слід визначити дослідження сучасних засобів розподіленої обробки структурованих і не структурованих даних, розгортання тестового кластера в хмарному сервісі, розробку скриптів для автоматизації розгортання кластера, проведення модифікацій розподілених алгоритмів з метою адаптації під необхідні фреймворки розподілених обчислень, отримання показників швидкодії обробки даних в послідовному і розподіленому режимах з застосуванням Hadoop MapReduce. та Apache Spark, проведення порівняльного аналізу результатів тестових вимірів швидкодії, отримання та обґрунтування залежності між кількістю оброблюваних даних, і часом, витраченим на обробку, оптимізацію розподілених алгоритмів пошуку асоціативних правил при обробці великих обсягів транзакційних даних, отримання показників швидкодії розподіленої обробки існуючими програмними засобами. Ключові слова: розподілена обробка, транзакційні дані, асоціативні правила, обчислюваний кластер, Hadoop, MapReduce, Apache Spark

Download Full-text

Barriers to Artificial Intelligence Adoption in Healthcare Management: A Systematic Review

SSRN Electronic Journal ◽

10.2139/ssrn.3530598 ◽

2019 ◽

Author(s):

Mir Mohammed Assadullah

Keyword(s):

Artificial Intelligence ◽

Systematic Review ◽

Healthcare Management

Download Full-text

Increase the Performance of K-Means Clustering Algorithm Using Apache Spark

The International Journal of Internet of Things and its Applications ◽

10.21742/ijiota.2017.1.1.02 ◽

2017 ◽

Vol 1 (1) ◽

pp. 13-28 ◽

Cited By ~ 1

Author(s):

Chang Xie ◽

Keyword(s):

Clustering Algorithm ◽

Apache Spark

Download Full-text

Diabetes related disease and disorder in a Chinese Q&A website: Comparison on frequency and position (Preprint)

10.2196/preprints.22240 ◽

2020 ◽

Author(s):

Wei Feng ◽

Ruocheng Huang ◽

Shan Lu ◽

Tao Shan ◽

Hong Wang ◽

...

Keyword(s):

Kidney Failure ◽

Medical Information ◽

Healthcare Management ◽

Medical Community ◽

Circulation System ◽

Age Group ◽

Disease Category ◽

Old Patients ◽

Gender And Age ◽

Question And Answer

BACKGROUND With the development of the Internet, online medical community can help patient access to medical information and relevant decisions more conveniently, and meet the needs of patients for their own healthcare management. Mining these Q&A (Question and Answer) data, we can help doctors give more targeted feedback which improve the efficiency of question-and-answer, and patient satisfaction. OBJECTIVE This study aimed to (1) analysis frequency and position of diabetes related diseases or symptoms in Q&A website and (2) find out the differences of disease terms in gender and age using in the questions. METHODS We collected 5766 Q&A diabetes related data on the website of Chunyuyisheng from June 2012 to April 2020. In 38176 combined sentences, a vocabulary contains 3 categories of 3851 word and 2094 ICD (International Classification of Diseases) matching terms were obtained by calculating the similarity using word vectors. Proportion of the frequency of words and Mann-Whitney U test on word position were used to quantify the difference in patient’s gender and age group. RESULTS The vocabulary of the disease category accounts for 70%. We analyzed the word frequency and position in questions for different gender and age group. For gender, women participate in question answering more, accounting for 53% of total questions. They pay more attention to pregnancy, sleep and thyroid gland related vocabulary compared to men. Men focus more on circulation system, kidney failure related vocabulary. For different age group, pregnancy, glucose regulation, digestive and respiratory system related vocabulary have a higher proportion for patients under 40 years old. Patients over 40 years old pay more attention on kidney failure, cerebral ischaemia, infectious and circulation system. CONCLUSIONS This study provides a new insight into frequency and position of diabetes related diseases or symptoms in online medical services. It can show patients’ different attention by comparing disease or symptom categories for gender and age with ICD disease codes. The frequency and position of disease category words in patients’ conversation can be used for further risk evaluation for chronic diseases research.

Download Full-text