Performance Evaluation of Map Reduce vs. Spark framework on Amazon Machine Image for TeraSort Algorithm

TeraSort is one of Hadoop’s widely used benchmarks. Hadoop’s distribution contains both the input generator and sorting implementations: the TeraGen generates the input and TeraSort conducts the sorting. We focus on the comparison of TeraSort algorithm on the different distributed platforms with different configurations of the resources. We have considered the parameters of measure of efficiency as Compute Time, Data Read, Data Write, Compute Time, and Speedup. We have conducted experiments using Hadoop map reduce and Spark (Java). We empirically evaluate the performance of TeraSort algorithm on Amazon EC2 Machine Images, and demonstrate that it achieves 3.95 × - 2.4 × speedup, compared with TeraSort, for typical settings of interest.

Repair Pipelining for Erasure-coded Storage: Algorithms and Evaluation

We propose repair pipelining , a technique that speeds up the repair performance in general erasure-coded storage. By carefully scheduling the repair of failed data in small-size units across storage nodes in a pipelined manner, repair pipelining reduces the single-block repair time to approximately the same as the normal read time for a single block in homogeneous environments. We further design different extensions of repair pipelining algorithms for heterogeneous environments and multi-block repair operations. We implement a repair pipelining prototype, called ECPipe , and integrate it as a middleware system into two versions of Hadoop Distributed File System (HDFS) (namely, HDFS-RAID and HDFS-3) as well as Quantcast File System. Experiments on a local testbed and Amazon EC2 show that repair pipelining significantly improves the performance of degraded reads and full-node recovery over existing repair techniques.

Distrinet

Networks have become complex systems that combine various concepts, techniques, and technologies. As a consequence, modelling or simulating them now is extremely complicated and researchers massively resort to prototyping techniques. Mininet is the most popular tool when it comes to evaluate SDN propositions. Mininet allows to emulate SDN networks on a single computer but shows its limitations with resource intensive experiments as the emulating host may become overloaded. To tackle this issue, we propose Distrinet , a distributed implementation of Mininet over multiple hosts, based on LXD/LXC, Ansible, and VXLAN tunnels. Distrinet uses the same API than Mininet, meaning that it is compatible with Mininet programs. It is generic and can deploy experiments on Linux clusters (e.g., Grid'5000), as well as on the Amazon EC2 cloud platform.

Sosialisasi Implementasi Prototype Portal Manajemen Sumber Daya High Performance Computing (HPC): Simulasi Dinamika Molekular

Masalah pertama yang dihadapi terkait kegiatan ini adalah Penggunaan sumber daya High Performance Computing (HPC) membutuhkan fasilitas superkomputer yang sangat mahal, baik pengadaan maupun perawatannya. Sehingga fasilitas HPC tersebut hanya dimiliki institusi tertentu yang memiliki sumber pendanaan cukup besar. Terutama di Indonesia, mungkin hanya segelintir lembaga pendidikan dan penelitian yang mampu memilikinya. Hal ini mengakibatkan, pemanfaatan HPC untuk penelitian menjadi terbatas, karena sangat sedikit sekali aktivitas penelitian yang memiliki akses ke fasilitas HPC tertentu. Sehingga hal ini menjadi suatu hambatan tersendiri, terutama untuk kasus penelitian yang menuntut sumber daya komputasi besar. Masalah kedua yakni para peneliti yang umumnya berasal dari berbagai macam disiplin ilmu pengetahuan sering tidak memiliki kemampuan tentang bagaimana menggunakan infrastruktur HPC tersebut. Umumnya, pengguna HPC cloud akan diberikan beberapa server virtual, kemudian server virtual tersebut harus disiapkan secara mandiri sesuai kebutuhan aplikasinya. Setup tersebut berkaitan dengan instalasi Sistem operasi, midleware, aplikasi, serta beberapa konfigurasi yang tidak sederhana. (Rajan et all, 2011) Sehingga, peneliti tersebut harus bertambah pekerjaan dan waktu tambahan untuk mempelajari suatu kemampuan lain yang cukup rumit di luar esensi penelitian itu sendiri agar mampu menggunakan cloud IAAS tersebut Untuk mengatasi masalah masalah pertama tersebut, muncul satu alternatif solusi, yaitu dengan penggunaan layanan cloud Infrastruktur-as-a-Service (IAAS), di mana layanan cloud tersebut menyediakan infrastruktur HPC. Layanan infrastruktur tersebut meliputi prosesor, memory, storage, jaringan internet, listrik serta perawatan. Saat ini banyak bermunculan vendor IAAS, seperti Amazon EC2 (Elastic Computing Cloud for Computing Service), S3 (Simple Storage Service), Microsoft Azure (PAAS), Google AppEngine, dan lainnya. Penulis telah mengembangkan prototype portal Sumber Daya HPC untuk simulasi dinamika molekuler sebagai output dari kegiatan penelitian beberapa tahun belakangan ini. Dalam kegiatan ini, dilakukan ujicoba implementasi prototype tersebut kepada usernya yakni para peneliti baik dosen dan mahasiswa. Sosialisasi pengenalan dan ujicoba prototype tersebut telah dilakukan kepada beberapa rekan dosen, peneliti dan mahasiswa di Universitas Padjajadan dan Institute Teknologi Bandung. Berdasarkan hasil kuesioner kegiatan sosialisasi ini, seluruh peserta merasa puas dengan kegiatan sosialisasi ini dan menganggap prototype tersebut dapat membantu memperbaiki kondisi mereka. Sistem yang diperkenalkan ini juga dianggap sesuai oleh seluruh peserta untuk mengangkat potensi bidang mereka (farmasi/kimia). Sebagian besar peserta juga merasa puas dengan acara yang diselenggarakan ini dan merasa cukup mampu untuk memanfaatkan sistem ini secara mandiri tanpa bantuan/pendampingan dari tim UI.