A hybrid feature fusion strategy for early fusion and majority voting for late fusion towards melanocytic skin lesion detection

2021 ◽  
Author(s):  
Lokesh Singh ◽  
Rekh Ram Janghel ◽  
Satya Prakash Sahu
Keyword(s):  
Skin Lesion ◽  
Feature Fusion ◽  
Lesion Detection ◽  
Majority Voting ◽  
Late Fusion ◽  
Fusion Strategy ◽  
Early Fusion

scholarly journals Multi-View Attention-based Late Fusion (MVALF) CADx system for breast cancer using deep learning

2020 ◽  
Vol 29 (1) ◽  
pp. 55-78
Author(s):  
Hina Iftikhar ◽  
Hasan Khan ◽  
Basit Raza ◽  
Ahmad Shahir
Keyword(s):  
Breast Cancer ◽  
Feature Fusion ◽  
Predictive Ability ◽  
Late Fusion ◽  
Fusion Strategy ◽  
Single View ◽  
Normal Mass ◽  
Issue Attention ◽  
Aided Diagnosis

Breast cancer is a leading cause of death among women. Early detection can significantly reduce the mortality rate among women and improve their prognosis. Mammography is the first line procedure for early diagnosis. In the early era, conventional Computer-Aided Diagnosis (CADx) systems for breast lesion diagnosis were based on just single view information. The last decade evidence the use of two views mammogram: Medio-Lateral Oblique (MLO) and Cranio-Caudal (CC) view for the CADx systems. Most recent studies show the effectiveness of four views of mammogram to train CADx system with feature fusion strategy for classification task. In this paper, we proposed an end-to-end Multi-View Attention-based Late Fusion (MVALF) CADx system that fused the obtained predictions of four view models, which is trained for each view separately. These separate models have different predictive ability for each class. The appropriate fusion of multi-view models can achieve better diagnosis performance. So, it is necessary to assign the proper weights to the multi-view classification models. To resolve this issue, attention-based weighting mechanism is adopted to assign the proper weights to trained models for fusion strategy. The proposed methodology is used for the classification of mammogram into normal, mass, calcification, malignant masses and benign masses. The publicly available datasets CBIS-DDSM and mini-MIAS are used for the experimentation. The results show that our proposed system achieved 0.996 AUC for normal vs. abnormal, 0.922 for mass vs. calcification and 0.896 for malignant vs. benign masses. Superior results are seen for the classification of malignant vs benign masses with our proposed approach, which is higher than the results using single view, two views and four views early fusion-based systems. The overall results of each level show the potential of multi-view late fusion with transfer learning in the diagnosis of breast cancer.

scholarly journals Predicting Implicit User Preferences with Multimodal Feature Fusion for Similar User Recommendation in Social Media

2021 ◽  
Vol 11 (3) ◽  
pp. 1064
Author(s):  
Jenq-Haur Wang ◽  
Yen-Tsang Wu ◽  
Long Wang
Keyword(s):  
Social Media ◽  
Feature Fusion ◽  
Relevant Information ◽  
Image Features ◽  
User Preferences ◽  
User Preference ◽  
Late Fusion ◽  
Multimodal Features ◽  
Fusion Methods ◽  
Text Features

In social networks, users can easily share information and express their opinions. Given the huge amount of data posted by many users, it is difficult to search for relevant information. In addition to individual posts, it would be useful if we can recommend groups of people with similar interests. Past studies on user preference learning focused on single-modal features such as review contents or demographic information of users. However, such information is usually not easy to obtain in most social media without explicit user feedback. In this paper, we propose a multimodal feature fusion approach to implicit user preference prediction which combines text and image features from user posts for recommending similar users in social media. First, we use the convolutional neural network (CNN) and TextCNN models to extract image and text features, respectively. Then, these features are combined using early and late fusion methods as a representation of user preferences. Lastly, a list of users with the most similar preferences are recommended. The experimental results on real-world Instagram data show that the best performance can be achieved when we apply late fusion of individual classification results for images and texts, with the best average top-k accuracy of 0.491. This validates the effectiveness of utilizing deep learning methods for fusing multimodal features to represent social user preferences. Further investigation is needed to verify the performance in different types of social media.

Multi-Class Skin Lesion Detection and Classification via Teledermatology

2021 ◽  
pp. 1-1
Author(s):  
Muhammad Attique Khan ◽  
Khan Muhammad ◽  
Muhammad Sharif ◽  
Tallha Akram ◽  
Victor Hugo C. de Albuquerque
Keyword(s):  
Skin Lesion ◽  
Lesion Detection

Anti-Occlusion Algorithm for Object Tracking Based on Multi-Feature Fusion

2014 ◽  
Vol 610 ◽  
pp. 393-400
Author(s):  
Jie Cao ◽  
Xuan Liang
Keyword(s):  
Object Tracking ◽  
Feature Fusion ◽  
Experimental Results ◽  
Occlusion Detection ◽  
Fusion Algorithm ◽  
Fusion Strategy ◽  
Complex Background ◽  
Complex Scenes

Complex background, especially when the object is similar to the background in color or the target gets blocked, can easily lead to tracking failure. Therefore, a fusion algorithm based on features confidence and similarity was proposed, it can adaptively adjust fusion strategy when occlusion occurs. And this confidence is used among occlusion detection, to overcome the problem of inaccurate occlusion determination when blocked by analogue. The experimental results show that the proposed algorithm is more robust in the case of the cover, but also has good performance under other complex scenes.

Melanoma and Other Skin Lesion Detection Using Smart Handheld Devices

2014 ◽  
pp. 459-496 ◽  
Author(s):  
George Zouridakis ◽  
Tarun Wadhawan ◽  
Ning Situ ◽  
Rui Hu ◽  
Xiaojing Yuan ◽  
...  
Keyword(s):  
Skin Lesion ◽  
Lesion Detection ◽  
Handheld Devices

Multimedia object classification and retrieval

2018 ◽  
Author(s):  
Σπυρίδωνας Σταθόπουλος
Keyword(s):  
Kernel Function ◽  
Object Classification ◽  
Bag Of Visual Words ◽  
Late Fusion ◽  
Visual Words ◽  
Early Fusion ◽  
Multimedia Object

Η παρούσα διατριβή ερευνά το πρόβλημα της ανάκτησης και κατηγοριοποίησης πολυμεσικού περιεχομένου. Στο πρώτο μέρος γίνεται μία διερεύνηση της εφαρμογής Λανθάνουσας Σημασιολογικής Ανάλυσης για ανάκτηση εικόνας σε συλλογές μεγάλης κλίμακας (LSA). Παρουσιάζεται μία αποτελεσματική προσέγγιση για την εφαρμογή LSA η οποία παρακάμπτει την Ανάλυση Ιδιαζουσών Τιμών (SVD) στον πίνακα χαρακτηριστικών, ξεπερνώντας με αυτόν τον τρόπο το πρόβλημα της εφαρμογής της μεθόδου σε σύνολα δεδομένων μεγάλης κλίμακας. Στη μελέτη αυτή διερευνάται ο συνδυασμός διαφορετικών αναπαραστάσεων εικόνας είτε σε πρώιμο στάδιο (Early fusion) είτε σε μεταγενέστερο (Late fusion) με στόχο την αποτελεσματικότερη ανάκτηση εικόνας. Επιπλέον, προτείνεται μία συνάρτηση πυρήνα (Kernel function) βασισμένη στην LSA η οποία συσχετίζει χαρακτηριστικά από διαφορετικές πηγές σε ένα κοινό λανθάνοντα χώρο. Η προτεινόμενη προσέγγιση συνδυάζει την ταξινόμηση με την ανάκτηση, αναπαριστώντας τις εικόνες με ένα σύνθετο διάνυσμα ενσωματώνοντας την πληροφορία που προκύπτει από την κατηγοριοποίηση. Τα πειραματικά αποτελέσματα δείχνουν ότι υπερέχει της λανθάνουσας ευρετηρίασης που προκύπτει από την εφαρμογή SVD.Για την αναπαράσταση εικόνων, προτείνεται μια γενίκευση του μοντέλου Bag-of-Colors (BoC). Ο νέος αλγόριθμος, που αναφέρεται ως QBoC, βασίζεται στην αποσύνθεση των εικόνων σε ένα δέντρο από τεταρτημόρια κωδικοποιώντας με αυτόν τον τρόπο χωρικές πληροφορίες στην τελική απεικόνιση της εικόνας. Σε συνδυασμό με το μοντέλο Bag-of-Visual-Words (BoVW) χρησιμοποιείται για την αποτελεσματική κατηγοριοποίηση ιατρικών εικόνων.Τέλος, παρουσιάζεται μια νέα προσέγγιση για το συνδυασμό του LSA με Νευρωνικά Δίκτυα Συνέλιξης (CNNs) για την ταξινόμηση εικόνων βάση περιεχομένου. Για το σκοπό αυτό, κατασκευάζεται ένας βελτιστοποιημένος λανθάνων σημασιολογικός χώρος που καταγράφει τη συσχέτιση των εικόνων σε κάθε κατηγορία χρησιμοποιώντας ένα προ-εκπαιδευμένο νευρωνικό δίκτυο.Τα χαρακτηριστικά των εικόνων προβάλλονται μέσο ενός σταθμισμένου Latent Semantic Tensor σε ένα χαμηλότερο χώρο και χρησιμοποιούνται για να εκπαιδεύσουν ένα CNN που πραγματοποιεί την τελική ταξινόμηση. Τα πειραματικά αποτελέσματα καταδεικνύουν την αποτελεσματικότητα αυτής της προσέγγισης σε ότι αφορά την ακρίβεια της ταξινόμησης, επιτυγχάνοντας συγκρίσιμα αποτελέσματα με αντίστοιχες σύγχρονες προσεγγίσεις.

Sign in / Sign up

Export Citation Format

Share Document