Data-parallel query processing on non-uniform data

Μαζικά σύνολα δεδομένων με πρωτοφανείς διαστάσεις εμφανίζονται πρόσφατα σε πολλούς τομείς. Αυτά τα σύνολα δεδομένων απαιτούν ειδικά εργαλεία ώστε να αναλύονται αποτελεσματικά και να εξάγονται χρήσιμες πληροφορίες από αυτά. Για την αντιμετώπιση αυτών των προκλήσεων έχουν δημιουργηθεί παράλληλα εργαλεία κατάλληλα για μαζικά δεδομένα. Το σημαντικότερο είναι να δοθεί ιδιαίτερη έμφαση ώστε να μπορούμε να παραλληλίσουμε διεργασίες στον βέλτιστο δυνατό βαθμό. Εν αντιστοιχία,ο σκοπός αυτής της διατριβής είναι να παράσχει μια μέθοδο απάντησης επερωτήσεων χρησιμοποιώντας ένα μόνο γύρο της τεχνικής του MapReduce. Αυτό επιτυγχάνεται δίδοντας ιδιαίτερη έμφαση στα δεδομένα εισόδου,δηλαδή σε δυαδικές ή «παχιές» σχέσεις δεδομένων . Yλοποιούμε έναν αλγόριθμο πολλαπλών συζεύξεων (“multiway join”) στους δύο αυτούς τύπους εισόδων και πραγματοποιούμε συγκρίσεις, όπου διαπιστώνουμε ότι οι «παχιές» σχέσεις δεδομένων επιτυγχάνουν καλύτερο χρόνο επεξεργασίας λόγω της φύσης αυτών των συνόλων δεδομένων. Η περίπτωση των "παχιών"σχέσεων δεδομένων, εξετάζεται στο πλαίσιο της ενοποίησης δεδομένων,συγκεκριμένα προτείνεται μια εφαρμογή για τη διασταύρωση των πληροφοριών στις πηγές των πολλαπλών δεδομένων, όταν υπάρχουν αντικρουόμενες πληροφορίες. Η περίπτωση των δυαδικών σχέσεων δεδομένων μελετάται επίσης σε σχέση με τα σύνολα δεδομένων RDF, τα οποία αποτελούν μια σημαντική εφαρμογή στον τομέα της διαχείρισης των σημασιολογικών δεδομένων ιστού και επιτυγχάνουμε σημαντική αύξηση στην ταχύτητα της επεξεργασίας επερωτημάτων.

Download Full-text

Efficient Storage and Parallel Query of Massive XML Data in Hadoop

Advances in Data Mining and Database Management - Emerging Technologies and Applications in Data Processing and Management ◽

10.4018/978-1-5225-8446-9.ch012 ◽

2019 ◽

pp. 242-262

Author(s):

Wei Yan

Keyword(s):

Query Processing ◽

Query Optimization ◽

Data Transfer ◽

Programming Model ◽

Xml Data ◽

Efficient Storage ◽

Parallel Query ◽

Parallel Query Processing

In order to solve the problem of storage and query for massive XML data, a method of efficient storage and parallel query for a massive volume of XML data with Hadoop is proposed. This method can store massive XML data in Hadoop and the massive XML data is divided into many XML data blocks and loaded on HDFS. The parallel query method of massive XML data is proposed, which uses parallel XPath queries based on multiple predicate selection, and the results of parallel query can satisfy the requirement of query given by the user. In this chapter, the map logic algorithm and the reduce logic algorithm based on parallel XPath queries based using MapReduce programming model are proposed, and the parallel query processing of massive XML data is realized. In addition, the method of MapReduce query optimization based on multiple predicate selection is proposed to reduce the data transfer volume of the system and improve the performance of the system. Finally, the effectiveness of the proposed method is verified by experiment.

Download Full-text