scholarly journals Evidence transfer

2021 ◽  
Author(s):  
Αθανάσιος Δαββέτας
Keyword(s):  
Deep Learning ◽  
Transfer Learning ◽  
Information Fusion ◽  
Representation Learning ◽  
Hybrid Modelling ◽  
Information Bottleneck ◽  
Joint Representation

Τα τελευταία χρόνια, η διαδικασία συλλογής ολοένα και περισσότερων δεδομένων έχει ως αποτέλεσμα την ύπαρξη πληθώρας δεδομένων. Μετά τη διερεύνηση αποτελεσματικών τρόπων αποθήκευσης, διαχείρισης και συλλογής δεδομένων μεγάλης κλίμακας ή ποικίλων τύπων, το ερευνητικό ενδιαφέρον της επιστημονικής κοινότητας μετατοπίστηκε στην εξαγωγή πληροφορίας από τέτοιου είδους συλλογές. Η βαθιά μάθηση (deep learning) χρησιμοποιείται συχνά για τη διαδικασία εξαγωγής πολύτιμης πληροφορίας. Οι μέθοδοι βαθιάς μάθησης ευδοκιμούν με σύνολα δεδομένων μεγάλης κλίμακας, λόγω της ικανότητάς τους να μαθαίνουν εναλλακτικές αναπαραστάσεις από ακατέργαστες παρατηρήσεις. Η διαθέσιμη πληθώρα δεδομένων επιτρέπει την εκμάθηση γενικευμένων αναπαραστάσεων. Με τη σειρά τους, οι γενικευμένες αναπαραστάσεις επιτρέπουν την αποτελεσματική εκμάθηση πολύπλοκων εργασιών. Παρά τις επιτυχείς προσπάθειες για την εξαγωγή πληροφοριών από μεμονωμένες πηγές δεδομένων ή τύπους δεδομένων, η αντιμετώπιση πολλαπλών διαφορετικών πηγών δεδομένων παραμένει ένα ανοιχτό ερώτημα στην επιστημονική κοινότητα. Η εκμάθηση αναπαραστάσεων (representation learning) επιτρέπει τον συνδυασμό και την αντιπαράθεση πολλαπλών διαφορετικών πηγών δεδομένων σε έναν χώρο κοινό, ουσιαστικό και χαμηλότερων διαστάσεων. Ωστόσο, τα τυπικά πλαίσια μάθησης για κοινή εκμάθηση αναπαραστάσεων (joint representation learning) πρέπει να αντιμετωπίσουν μια πληθώρα προκλήσεων. Αρχικά, οι αρχιτεκτονικές αποφάσεις των εμπλεκόμενων νευρωνικών δικτύων είναι συχνά προϊόντα προερχόμενα από διαδικασίες ή αποφάσεις που εμπλέκουν ανθρώπινη παρέμβαση (μη αυτόματες). Οι συγκεκριμένες διαδικασίες ή αποφάσεις συνήθως αφορούν συγκεκριμένες εφαρμογές και σπάνια γενικεύονται σε πολλαπλούς τομείς ή εργασίες. Ταυτόχρονα, η απευθείας σύνδεση πηγών δεδομένων στα επίπεδα εισόδου του νευρωνικού δικτύου εισάγει μια προσδοκία σταθερής διαθεσιμότητας. Ωστόσο, σε πραγματικές εφαρμογές, η προσδοκία διαθεσιμότητας όλων των πηγών δεδομένων δεν είναι ρεαλιστική. Επιπλέον, η επίδοση των τυπικών πλαισίων μάθησης μπορεί να μειωθεί κατά τη χρήση περιττών ή μη συμπληρωματικών πηγών δεδομένων. Η αντιμετώπιση μια τέτοιας συμπεριφοράς, επίσης απαιτεί τη χρήση μη-αυτόματων διαδικασιών. Η χειρωνακτική εργασία που καταβάλλεται, σκοπεύει στη δημιουργία συγκεκριμένων υποθέσεων ή κανόνων που θα διασφαλίζουν τη σταθερότητα ή στην κατανόηση των περίπλοκων σχέσεων μεταξύ των πηγών δεδομένων, προκειμένου να αποφευχθούν οι μη συμπληρωματικές σχέσεις. Σε αυτή τη διατριβή, διερευνάται η υπόθεση ότι η χρήση εξωτερικών δεδομένων βελτιώνει την εκμάθηση αναπαραστάσεων. Η παραπάνω έρευνα καταλήγει στην πρόταση μιας μεθόδου εκμάθησης αναπαραστάσεων, που ονομάζεται Evidence Transfer (EviTraN). Η EviTraN είναι ένα ευέλικτο και αυτοματοποιημένο σχήμα σύντηξης πληροφορίας (information fusion) που βασίζεται στην εκμάθηση αναπαραστάσεων, τη μεταφορά μάθησης (transfer learning) και την υβριδική μοντελοποίηση (hybrid modelling). Επιπλέον, προτείνεται μια σειρά κριτηρίων αξιολόγησης για την εκμάθηση αναπαραστάσεων για τους σκοπούς της σύντηξης πληροφοριών. Ακόμα, η διατριβή περιλαμβάνει μια θεωρητική ερμηνεία της παραπάνω μεθόδου, βασισμένη στη σύγκριση με τη μέθοδο Information Bottleneck, η οποία αποτελεί θεμέλιο λίθο για επεξηγηματική μοντελοποίηση και ανοιχτή επιστήμη. Η διαδικασία αξιολόγησης της EviTraN περιλαμβάνει επίσης ένα ρεαλιστικό σενάριο ανίχνευσης έντονων καιρικών συνθηκών χωρίς επίβλεψη, αποδεικνύοντας έτσι τον αντίκτυπό της, καθώς και την πιθανή χρήση της σε πρόσθετες πραγματικές εφαρμογές. Η πειραματική αξιολόγηση με τεχνητά παραγόμενες, καθώς και ρεαλιστικές πηγές πληροφορίας υποδηλώνει ότι η EviTraN είναι μια σταθερή και αποτελεσματική μέθοδος. Επιπλέον, είναι ευέλικτη, καθώς επιτρέπει την εισαγωγή ποικίλων σχέσεων, συμπεριλαμβανομένων των μη συμπληρωματικών. Ακόμα, λόγω της διαδικασίας εκμάθησής της που βασίζεται στη μεταφορά εκμάθησης (transfer learning), είναι ένα αρθρωτό σχήμα σύντηξης που δεν απαιτεί να υπάρχουν όλες οι πηγές δεδομένων κατά την εξαγωγή συμπερασμάτων (μόνο δεδομένα που ανήκουν στην κύρια συλλογή δεδομένων).

scholarly journals Utilizing Information Bottleneck to Evaluate the Capability of Deep Neural Networks for Image Classification

Entropy ◽  
2019 ◽  
Vol 21 (5) ◽  
pp. 456 ◽  
Author(s):  
Hao Cheng ◽  
Dongze Lian ◽  
Shenghua Gao ◽  
Yanlin Geng
Keyword(s):  
Neural Networks ◽  
Deep Learning ◽  
Model Selection ◽  
Image Classification ◽  
Transfer Learning ◽  
Deep Neural Networks ◽  
Classification Problem ◽  
Distribution Model ◽  
Classification Problems ◽  
Information Bottleneck

Inspired by the pioneering work of the information bottleneck (IB) principle for Deep Neural Networks’ (DNNs) analysis, we thoroughly study the relationship among the model accuracy, I ( X ; T ) and I ( T ; Y ) , where I ( X ; T ) and I ( T ; Y ) are the mutual information of DNN’s output T with input X and label Y. Then, we design an information plane-based framework to evaluate the capability of DNNs (including CNNs) for image classification. Instead of each hidden layer’s output, our framework focuses on the model output T. We successfully apply our framework to many application scenarios arising in deep learning and image classification problems, such as image classification with unbalanced data distribution, model selection, and transfer learning. The experimental results verify the effectiveness of the information plane-based framework: Our framework may facilitate a quick model selection and determine the number of samples needed for each class in the unbalanced classification problem. Furthermore, the framework explains the efficiency of transfer learning in the deep learning area.

Deep Learning for text in limted data settings

2020 ◽  
Author(s):  
Pathikkumar Patel ◽  
Bhargav Lad ◽  
Jinan Fiaidhi
Keyword(s):  
Machine Learning ◽  
Time Series ◽  
Deep Learning ◽  
Sentiment Analysis ◽  
Transfer Learning ◽  
Text Classification ◽  
State Of The Art ◽  
Time Series Forecasting ◽  
Text Data ◽  
Performance Levels

During the last few years, RNN models have been extensively used and they have proven to be better for sequence and text data. RNNs have achieved state-of-the-art performance levels in several applications such as text classification, sequence to sequence modelling and time series forecasting. In this article we will review different Machine Learning and Deep Learning based approaches for text data and look at the results obtained from these methods. This work also explores the use of transfer learning in NLP and how it affects the performance of models on a specific application of sentiment analysis.

scholarly journals Deep Transfer Learning Based Intrusion Detection System for Electric Vehicular Networks

Sensors ◽  
2021 ◽  
Vol 21 (14) ◽  
pp. 4736
Author(s):  
Sk. Tanzir Mehedi ◽  
Adnan Anwar ◽  
Ziaur Rahman ◽  
Kawsar Ahmed
Keyword(s):  
Machine Learning ◽  
Deep Learning ◽  
Intrusion Detection ◽  
Real Time ◽  
Transfer Learning ◽  
Security Requirements ◽  
Detection Accuracy ◽  
Area Network ◽  
Complex Data ◽  
Network Intrusion

The Controller Area Network (CAN) bus works as an important protocol in the real-time In-Vehicle Network (IVN) systems for its simple, suitable, and robust architecture. The risk of IVN devices has still been insecure and vulnerable due to the complex data-intensive architectures which greatly increase the accessibility to unauthorized networks and the possibility of various types of cyberattacks. Therefore, the detection of cyberattacks in IVN devices has become a growing interest. With the rapid development of IVNs and evolving threat types, the traditional machine learning-based IDS has to update to cope with the security requirements of the current environment. Nowadays, the progression of deep learning, deep transfer learning, and its impactful outcome in several areas has guided as an effective solution for network intrusion detection. This manuscript proposes a deep transfer learning-based IDS model for IVN along with improved performance in comparison to several other existing models. The unique contributions include effective attribute selection which is best suited to identify malicious CAN messages and accurately detect the normal and abnormal activities, designing a deep transfer learning-based LeNet model, and evaluating considering real-world data. To this end, an extensive experimental performance evaluation has been conducted. The architecture along with empirical analyses shows that the proposed IDS greatly improves the detection accuracy over the mainstream machine learning, deep learning, and benchmark deep transfer learning models and has demonstrated better performance for real-time IVN security.

scholarly journals Effectiveness of transfer learning for enhancing tumor classification with a convolutional neural network on frozen sections

2020 ◽  
Vol 10 (1) ◽  
Author(s):  
Young-Gon Kim ◽  
Sungchul Kim ◽  
Cristina Eunbee Cho ◽  
In Hye Song ◽  
Hee Jin Lee ◽  
...  
Keyword(s):  
Neural Network ◽  
Deep Learning ◽  
Convolutional Neural Network ◽  
Transfer Learning ◽  
Frozen Section ◽  
Medical Center ◽  
External Validation ◽  
Model Performance ◽  
Classification Model ◽  
Training Dataset

AbstractFast and accurate confirmation of metastasis on the frozen tissue section of intraoperative sentinel lymph node biopsy is an essential tool for critical surgical decisions. However, accurate diagnosis by pathologists is difficult within the time limitations. Training a robust and accurate deep learning model is also difficult owing to the limited number of frozen datasets with high quality labels. To overcome these issues, we validated the effectiveness of transfer learning from CAMELYON16 to improve performance of the convolutional neural network (CNN)-based classification model on our frozen dataset (N = 297) from Asan Medical Center (AMC). Among the 297 whole slide images (WSIs), 157 and 40 WSIs were used to train deep learning models with different dataset ratios at 2, 4, 8, 20, 40, and 100%. The remaining, i.e., 100 WSIs, were used to validate model performance in terms of patch- and slide-level classification. An additional 228 WSIs from Seoul National University Bundang Hospital (SNUBH) were used as an external validation. Three initial weights, i.e., scratch-based (random initialization), ImageNet-based, and CAMELYON16-based models were used to validate their effectiveness in external validation. In the patch-level classification results on the AMC dataset, CAMELYON16-based models trained with a small dataset (up to 40%, i.e., 62 WSIs) showed a significantly higher area under the curve (AUC) of 0.929 than those of the scratch- and ImageNet-based models at 0.897 and 0.919, respectively, while CAMELYON16-based and ImageNet-based models trained with 100% of the training dataset showed comparable AUCs at 0.944 and 0.943, respectively. For the external validation, CAMELYON16-based models showed higher AUCs than those of the scratch- and ImageNet-based models. Model performance for slide feasibility of the transfer learning to enhance model performance was validated in the case of frozen section datasets with limited numbers.

Hybrid multitask multi-information fusion deep learning for household short-term load forecasting

2021 ◽  
pp. 1-1
Author(s):  
Lianjie Jiang ◽  
Xinli Wang ◽  
Wei Li ◽  
Lei Wang ◽  
Xiaohong Yin ◽  
...  
Keyword(s):  
Deep Learning ◽  
Information Fusion ◽  
Load Forecasting ◽  
Short Term ◽  
Short Term Load Forecasting
Sign in / Sign up

Export Citation Format

Share Document