Deep learning methods for data analysis

2018 ◽  
Author(s):  
Νικόλαος Πασσαλής
Keyword(s):  
Neural Networks ◽  
Deep Learning ◽  
Data Analysis ◽  
Probability Density Function ◽  
Knowledge Transfer ◽  
Dimensionality Reduction ◽  
Probability Density ◽  
Deep Convolutional Neural Networks ◽  
Bag Of Features ◽  
Probability Density Function Pdf

Οι πρόσφατες εξελίξεις στον τομέα της Βαθιάς Μάθησης (Deep Learning) παρείχαν ισχυρά εργαλεία ανάλυσης δεδομένων. Παρόλα αυτά, η μεγάλη υπολογιστική πολυπλοκότητα των μεθόδων Βαθιάς Μάθησης περιορίζει σημαντικά τη δυνατότητα εφαρμογής τους, ειδικά όταν οι διαθέσιμοι υπολογιστικοί πόροι είναι περιορισμένοι. Επιπλέον, η ευελιξία πολλών μεθόδων βαθιάς μάθησης περιορίζεται σημαντικά από την αδυναμία τους να συνδυαστούν αποτελεσματικά με κλασικές μεθόδους Μηχανικής Μάθησης. Η κύρια στόχευση της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη μεθόδων Βαθιάς Μάθησης οι οποίες θα μπορούν να χρησιμοποιηθούν αποτελεσματικά για την επίλυση διαφόρων προβλημάτων ανάλυσης δεδομένων (κατηγοριοποίηση, ομαδοποίηση, παλινδρόμηση, κτλ.) με τη χρήση διαφορετικών δεδομένων (εικόνα, βίντεο, κείμενο, χρονοσειρές), ενώ ταυτόχρονα αντιμετωπίζουν αποτελεσματικά τα παραπάνω προβλήματα. Για τον σκοπό αυτό, πρώτα αναπτύχθηκε μία νευρωνική επέκταση του μοντέλου του Σάκου Χαρακτηριστικών (Bag-of-Features), η οποία συνδυάστηκε με πολλούς διαφορετικούς εξαγωγείς χαρακτηριστικών (feature extractors), συμπεριλαμβανομένων Βαθιών Συνελικτικών Νευρωνικών Δικτύων (Deep Convolutional Neural Networks). Αυτό επέτρεψε τη σημαντική αύξηση και της ακρίβειας των δικτύων, όσο και της αντοχής τους σε μεταβολές στην κατανομή εισόδου, καθώς και τη μείωση του πλήθους των παραμέτρων που απαιτούνται σε σύγκριση με ανταγωνιστικές μεθόδους. Στη συνέχεια, προτάθηκε μία μέθοδος μάθησης αναπαραστάσεων η οποία είναι ικανή να παράγει αναπαραστάσεις προσαρμοσμένες για το πρόβλημα της ανάκτησης πληροφορίας, αυξάνοντας σημαντικά την επίδοση των αναπαραστάσεων στα αντίστοιχα προβλήματα. Έπειτα, προτάθηκε μία ευέλικτη και αποδοτική μέθοδος μεταφοράς γνώσης (knowledge transfer), η οποία είναι σε θέση να ‘‘αποστάξει’’ τη γνώση από ένα μεγάλο και περίπλοκο νευρωνικό δίκτυο σε ένα γρηγορότερο και μικρότερο. Η αποτελεσματικότητα της προτεινόμενης μεθόδου διαπιστώθηκε με τη χρήση πολλών διαφορετικών πρωτοκόλλων αξιολόγησης. Επίσης, διαπιστώθηκε ότι το πρόβλημα μείωσης διάστασης (dimensionality reduction) μπορεί να εκφραστεί ως ένα πρόβλημα μεταφοράς γνώσης από μία κατάλληλα ορισμένη Συνάρτηση Πυκνότητας Πιθανότητας (Probability Density Function, PDF) σε ένα μοντέλο Μηχανικής Μάθησης με τη χρήση της μεθόδου που περιεγράφηκε προηγουμένως. Έτσι είναι εφικτό να οριστεί ένα γενικό πλαίσιο (framework) μείωσης διάστασης, το οποίο επίσης συνδυάστηκε με μοντέλα Βαθιάς Μάθησης, ώστε να εξάγει αναπαραστάσεις βελτιστοποιημένες για προβλήματα ομαδοποίησης. Τέλος, αναπτύχθηκε μία βιβλιοθήκη ανοικτού κώδικα η οποία υλοποιεί την παραπάνω μέθοδο μείωσης διάστασης, καθώς και μία μέθοδο σταθεροποίησης της σύγκλισης στοχαστικών τεχνικών βελτιστοποίησης αρχιτεκτονικών Βαθιάς Μάθησης.

scholarly journals Deep convolutional neural networks for cardiovascular vulnerable plaque detection

2019 ◽  
Vol 277 ◽  
pp. 02024 ◽  
Author(s):  
Lincan Li ◽  
Tong Jia ◽  
Tianqi Meng ◽  
Yizhe Liu
Keyword(s):  
Neural Networks ◽  
Deep Learning ◽  
Convolutional Neural Networks ◽  
Vulnerable Plaque ◽  
Recall Rate ◽  
Superior Performance ◽  
Learning Approaches ◽  
Deep Convolutional Neural Networks ◽  
Vulnerable Plaques ◽  
Plaque Detection

In this paper, an accurate two-stage deep learning method is proposed to detect vulnerable plaques in ultrasonic images of cardiovascular. Firstly, a Fully Convonutional Neural Network (FCN) named U-Net is used to segment the original Intravascular Optical Coherence Tomography (IVOCT) cardiovascular images. We experiment on different threshold values to find the best threshold for removing noise and background in the original images. Secondly, a modified Faster RCNN is adopted to do precise detection. The modified Faster R-CNN utilize six-scale anchors (122,162,322,642,1282,2562) instead of the conventional one scale or three scale approaches. First, we present three problems in cardiovascular vulnerable plaque diagnosis, then we demonstrate how our method solve these problems. The proposed method in this paper apply deep convolutional neural networks to the whole diagnostic procedure. Test results show the Recall rate, Precision rate, IoU (Intersection-over-Union) rate and Total score are 0.94, 0.885, 0.913 and 0.913 respectively, higher than the 1st team of CCCV2017 Cardiovascular OCT Vulnerable Plaque Detection Challenge. AP of the designed Faster RCNN is 83.4%, higher than conventional approaches which use one-scale or three-scale anchors. These results demonstrate the superior performance of our proposed method and the power of deep learning approaches in diagnose cardiovascular vulnerable plaques.

Online Estimation of Lithium-Ion Battery Capacity Using Deep Convolutional Neural Networks

2018 ◽  
Author(s):  
Sheng Shen ◽  
M. K. Sadoughi ◽  
Xiangyi Chen ◽  
Mingyi Hong ◽  
Chao Hu
Keyword(s):  
Neural Networks ◽  
Deep Learning ◽  
Convolutional Neural Networks ◽  
Lithium Ion ◽  
Relevance Vector Machine ◽  
Rechargeable Batteries ◽  
Li Ion Battery ◽  
Deep Convolutional Neural Networks ◽  
Battery Capacity ◽  
Li Ion

Over the past two decades, safety and reliability of lithium-ion (Li-ion) rechargeable batteries have been receiving a considerable amount of attention from both industry and academia. To guarantee safe and reliable operation of a Li-ion battery pack and build failure resilience in the pack, battery management systems (BMSs) should possess the capability to monitor, in real time, the state of health (SOH) of the individual cells in the pack. This paper presents a deep learning method, named deep convolutional neural networks, for cell-level SOH assessment based on the capacity, voltage, and current measurements during a charge cycle. The unique features of deep convolutional neural networks include the local connectivity and shared weights, which enable the model to estimate battery capacity accurately using the measurements during charge. To our knowledge, this is the first attempt to apply deep learning to online SOH assessment of Li-ion battery. 10-year daily cycling data from implantable Li-ion cells are used to verify the performance of the proposed method. Compared with traditional machine learning methods such as relevance vector machine and shallow neural networks, the proposed method is demonstrated to produce higher accuracy and robustness in capacity estimation.

scholarly journals Dynamic Reliability Analysis Method of Degraded Mechanical Components Based on Process Probability Density Function of Stress

2014 ◽  
Vol 2014 ◽  
pp. 1-12 ◽  
Author(s):  
Peng Gao ◽  
Liyang Xie
Keyword(s):  
Probability Density Function ◽  
Probability Density ◽  
Density Function ◽  
Solar Array ◽  
Dynamic Reliability ◽  
Reliability Models ◽  
Practical Engineering ◽  
Mechanical Components ◽  
Reliability Computation ◽  
Probability Density Function Pdf

It is necessary to develop dynamic reliability models when considering strength degradation of mechanical components. Instant probability density function (IPDF) of stress and process probability density function (PPDF) of stress, which are obtained via different statistical methods, are defined, respectively. In practical engineering, the probability density function (PDF) for the usage of mechanical components is mostly PPDF, such as the PDF acquired via the rain flow counting method. For the convenience of application, IPDF is always approximated by PPDF when using the existing dynamic reliability models. However, it may cause errors in the reliability calculation due to the approximation of IPDF by PPDF. Therefore, dynamic reliability models directly based on PPDF of stress are developed in this paper. Furthermore, the proposed models can be used for reliability assessment in the case of small amount of stress process samples by employing the fuzzy set theory. In addition, the mechanical components in solar array of satellites are chosen as representative examples to illustrate the proposed models. The results show that errors are caused because of the approximation of IPDF by PPDF and the proposed models are accurate in the reliability computation.

scholarly journals A Probability Density Function Generator Based on Deep Learning

2018 ◽  
Author(s):  
Chi-Hua Chen ◽  
Fangying Song ◽  
Feng-Jang Hwang ◽  
Ling Wu
Keyword(s):  
Deep Learning ◽  
Probability Density Function ◽  
Probability Density ◽  
Density Function ◽  
Probability Distributions ◽  
Real Data ◽  
Learning Model ◽  
Cumulative Distribution ◽  
Function Generator ◽  
Deep Learning Model

To generate a probability density function (PDF) for fitting probability distributions of real data, this study proposes a deep learning method which consists of two stages: (1) a training stage for estimating the cumulative distribution function (CDF) and (2) a performing stage for predicting the corresponding PDF. The CDFs of common probability distributions can be adopted as activation functions in the hidden layers of the proposed deep learning model for learning actual cumulative probabilities, and the differential equation of trained deep learning model can be used to estimate the PDF. To evaluate the proposed method, numerical experiments with single and mixed distributions are performed. The experimental results show that the values of both CDF and PDF can be precisely estimated by the proposed method.

scholarly journals Skin Lesion Classification Based on Deep Convolutional Neural Networks Architectures

2021 ◽  
Vol 2 (01) ◽  
pp. 41-51
Author(s):  
Jwan Saeed ◽  
Subhi Zeebaree
Keyword(s):  
Neural Networks ◽  
Deep Learning ◽  
Skin Cancer ◽  
Cancer Detection ◽  
Deep Convolutional Neural Networks ◽  
Color Structure ◽  
Malignant Skin ◽  
Dermatological Disorders ◽  
Detection And Diagnosis ◽  
Skin Cancer Detection

Skin cancer is among the primary cancer types that manifest due to various dermatological disorders, which may be further classified into several types based on morphological features, color, structure, and texture. The mortality rate of patients who have skin cancer is contingent on preliminary and rapid detection and diagnosis of malignant skin cancer cells. Limitations in current dermoscopic images, including shadow, artifact, and noise, affect image quality, which may hamper detection effort. Attempts to overcome these challenges have been made by analyzing the images using deep learning neural networks to perform skin cancer detection. In this paper, the authors review the state-of-the-art in authoritative deep learning concepts pertinent to skin cancer detection and classification.

Sign in / Sign up

Export Citation Format

Share Document