Twizzle - A Multi-purpose Benchmarking Framework for Semantic Comparisons of Multimedia Object Pairs

Η παρούσα διατριβή ερευνά το πρόβλημα της ανάκτησης και κατηγοριοποίησης πολυμεσικού περιεχομένου. Στο πρώτο μέρος γίνεται μία διερεύνηση της εφαρμογής Λανθάνουσας Σημασιολογικής Ανάλυσης για ανάκτηση εικόνας σε συλλογές μεγάλης κλίμακας (LSA). Παρουσιάζεται μία αποτελεσματική προσέγγιση για την εφαρμογή LSA η οποία παρακάμπτει την Ανάλυση Ιδιαζουσών Τιμών (SVD) στον πίνακα χαρακτηριστικών, ξεπερνώντας με αυτόν τον τρόπο το πρόβλημα της εφαρμογής της μεθόδου σε σύνολα δεδομένων μεγάλης κλίμακας. Στη μελέτη αυτή διερευνάται ο συνδυασμός διαφορετικών αναπαραστάσεων εικόνας είτε σε πρώιμο στάδιο (Early fusion) είτε σε μεταγενέστερο (Late fusion) με στόχο την αποτελεσματικότερη ανάκτηση εικόνας. Επιπλέον, προτείνεται μία συνάρτηση πυρήνα (Kernel function) βασισμένη στην LSA η οποία συσχετίζει χαρακτηριστικά από διαφορετικές πηγές σε ένα κοινό λανθάνοντα χώρο. Η προτεινόμενη προσέγγιση συνδυάζει την ταξινόμηση με την ανάκτηση, αναπαριστώντας τις εικόνες με ένα σύνθετο διάνυσμα ενσωματώνοντας την πληροφορία που προκύπτει από την κατηγοριοποίηση. Τα πειραματικά αποτελέσματα δείχνουν ότι υπερέχει της λανθάνουσας ευρετηρίασης που προκύπτει από την εφαρμογή SVD.Για την αναπαράσταση εικόνων, προτείνεται μια γενίκευση του μοντέλου Bag-of-Colors (BoC). Ο νέος αλγόριθμος, που αναφέρεται ως QBoC, βασίζεται στην αποσύνθεση των εικόνων σε ένα δέντρο από τεταρτημόρια κωδικοποιώντας με αυτόν τον τρόπο χωρικές πληροφορίες στην τελική απεικόνιση της εικόνας. Σε συνδυασμό με το μοντέλο Bag-of-Visual-Words (BoVW) χρησιμοποιείται για την αποτελεσματική κατηγοριοποίηση ιατρικών εικόνων.Τέλος, παρουσιάζεται μια νέα προσέγγιση για το συνδυασμό του LSA με Νευρωνικά Δίκτυα Συνέλιξης (CNNs) για την ταξινόμηση εικόνων βάση περιεχομένου. Για το σκοπό αυτό, κατασκευάζεται ένας βελτιστοποιημένος λανθάνων σημασιολογικός χώρος που καταγράφει τη συσχέτιση των εικόνων σε κάθε κατηγορία χρησιμοποιώντας ένα προ-εκπαιδευμένο νευρωνικό δίκτυο.Τα χαρακτηριστικά των εικόνων προβάλλονται μέσο ενός σταθμισμένου Latent Semantic Tensor σε ένα χαμηλότερο χώρο και χρησιμοποιούνται για να εκπαιδεύσουν ένα CNN που πραγματοποιεί την τελική ταξινόμηση. Τα πειραματικά αποτελέσματα καταδεικνύουν την αποτελεσματικότητα αυτής της προσέγγισης σε ότι αφορά την ακρίβεια της ταξινόμησης, επιτυγχάνοντας συγκρίσιμα αποτελέσματα με αντίστοιχες σύγχρονες προσεγγίσεις.

Download Full-text

Parallel Database Systems and Multimedia Object Servers

Handbook on Parallel and Distributed Processing ◽

10.1007/978-3-662-04303-5_8 ◽

2000 ◽

pp. 364-409 ◽

Cited By ~ 1

Author(s):

Leana Golubchik ◽

Richard R. Muntz

Keyword(s):

Database Systems ◽

Parallel Database ◽

Multimedia Object ◽

Parallel Database Systems

Download Full-text

COOLIS: a distributed multimedia object-oriented layer

Eurographics - Multimedia/Hypermedia in Open Distributed Environments ◽

10.1007/978-3-7091-9361-7_11 ◽

1994 ◽

pp. 143-158

Author(s):

Nour Didi ◽

Maurizzio DeCecco ◽

Antoine Rizk ◽

Anne Béguin ◽

Eric Pillevesse

Keyword(s):

Object Oriented ◽

Distributed Multimedia ◽

Multimedia Object ◽

Oriented Layer

Download Full-text

Assisting Cognitive Recall and Contextual Reuse by Creating a Self-Describing, Shareable Multimedia Object

Cognitively Informed Systems ◽

10.4018/978-1-59140-842-0.ch003 ◽

2011 ◽

pp. 50-73 ◽

Cited By ~ 2

Author(s):

Michael Verhaart ◽

Kinshuk

Keyword(s):

Digital Media ◽

Cognitive Processes ◽

Computer Systems ◽

Multiple Representations ◽

Multimedia Object ◽

Metadata File ◽

Digital Asset ◽

Digital Assets ◽

Over Time

Digital media elements, or digital assets, are used to illustrate things such as images, sounds, or events. As humans, we use many senses to assist our cognitive processes, and providing multiple representations will enhance our ability to store, recall, and synthesise the knowledge and information contained in the digital asset. This chapter introduces a model for a multimedia object, that allows multiple representations to be managed, and includes a structured metadata file describing the asset that captures the original context. Humans are capable of classifying and describing millions of such objects, but recalling context and content often blurs over time. Computer systems provide us with a way to store electronic objects, and with a variety of representations and sufficient metadata they can be used to assist cognitive recall.

Download Full-text