A Service for Parallel Processing of Protected Information Queries in a Multi-Server Environment

The principles of organizing an Internet service designed to implement parallel processing of protected queries in distributed information systems that are oriented to work in complex network environments with many processing servers are considered. Distinctive feature of the service consists in a possibility to combine sequential ("pipelined") and parallel query processing in a multi-server environment. The service architecture is based on the concept of a "Protected message" corresponding to a container for electronic documents (information query or response) that can be provided with one or more electronic digital signatures. In contrast, for example, to the Web services technology, the described service is based not on the model of calling methods of remote objects, but on the message exchange model. In this case, this means that all service processing functions (methods) have the same strict specification: they receive an array of objects of the "Protected message" program class as a parameter and return an array of objects of the same class. In sequential processing, both arrays usually contain one "Protected message" object each. However, when using parallel processing, arrays can contain multiple elements that correspond to the results of processing by multiple software threads. These processing functions are grouped into one or more dynamic libraries, which are connected to the PMS server when it starts working (each library can be considered as a remote analogue of a Web service), and become available to clients.

Improving the performance of query processing using proposed resilient distributed processing technique

PurposeResilient distributed processing technique (RDPT), in which mapper and reducer are simplified with the Spark contexts and support distributed parallel query processing.Design/methodology/approachThe proposed work is implemented with Pig Latin with Spark contexts to develop query processing in a distributed environment.FindingsQuery processing in Hadoop influences the distributed processing with the MapReduce model. MapReduce caters to the works on different nodes with the implementation of complex mappers and reducers. Its results are valid for some extent size of the data.Originality/valuePig supports the required parallel processing framework with the following constructs during the processing of queries: FOREACH; FLATTEN; COGROUP.

Efficient Storage and Parallel Query of Massive XML Data in Hadoop

In order to solve the problem of storage and query for massive XML data, a method of efficient storage and parallel query for a massive volume of XML data with Hadoop is proposed. This method can store massive XML data in Hadoop and the massive XML data is divided into many XML data blocks and loaded on HDFS. The parallel query method of massive XML data is proposed, which uses parallel XPath queries based on multiple predicate selection, and the results of parallel query can satisfy the requirement of query given by the user. In this chapter, the map logic algorithm and the reduce logic algorithm based on parallel XPath queries based using MapReduce programming model are proposed, and the parallel query processing of massive XML data is realized. In addition, the method of MapReduce query optimization based on multiple predicate selection is proposed to reduce the data transfer volume of the system and improve the performance of the system. Finally, the effectiveness of the proposed method is verified by experiment.

Parallel query processing for cloud computing environments

Μαζικά σύνολα δεδομένων με πρωτοφανείς διαστάσεις εμφανίζονται πρόσφατα σε πολλούς τομείς. Αυτά τα σύνολα δεδομένων απαιτούν ειδικά εργαλεία ώστε να αναλύονται αποτελεσματικά και να εξάγονται χρήσιμες πληροφορίες από αυτά. Για την αντιμετώπιση αυτών των προκλήσεων έχουν δημιουργηθεί παράλληλα εργαλεία κατάλληλα για μαζικά δεδομένα. Το σημαντικότερο είναι να δοθεί ιδιαίτερη έμφαση ώστε να μπορούμε να παραλληλίσουμε διεργασίες στον βέλτιστο δυνατό βαθμό. Εν αντιστοιχία,ο σκοπός αυτής της διατριβής είναι να παράσχει μια μέθοδο απάντησης επερωτήσεων χρησιμοποιώντας ένα μόνο γύρο της τεχνικής του MapReduce. Αυτό επιτυγχάνεται δίδοντας ιδιαίτερη έμφαση στα δεδομένα εισόδου,δηλαδή σε δυαδικές ή «παχιές» σχέσεις δεδομένων . Yλοποιούμε έναν αλγόριθμο πολλαπλών συζεύξεων (“multiway join”) στους δύο αυτούς τύπους εισόδων και πραγματοποιούμε συγκρίσεις, όπου διαπιστώνουμε ότι οι «παχιές» σχέσεις δεδομένων επιτυγχάνουν καλύτερο χρόνο επεξεργασίας λόγω της φύσης αυτών των συνόλων δεδομένων. Η περίπτωση των "παχιών"σχέσεων δεδομένων, εξετάζεται στο πλαίσιο της ενοποίησης δεδομένων,συγκεκριμένα προτείνεται μια εφαρμογή για τη διασταύρωση των πληροφοριών στις πηγές των πολλαπλών δεδομένων, όταν υπάρχουν αντικρουόμενες πληροφορίες. Η περίπτωση των δυαδικών σχέσεων δεδομένων μελετάται επίσης σε σχέση με τα σύνολα δεδομένων RDF, τα οποία αποτελούν μια σημαντική εφαρμογή στον τομέα της διαχείρισης των σημασιολογικών δεδομένων ιστού και επιτυγχάνουμε σημαντική αύξηση στην ταχύτητα της επεξεργασίας επερωτημάτων.