Building Efficient HPC Cloud with SR-IOV-Enabled InfiniBand: The MVAPICH2 Approach

Author(s):  
Xiaoyi Lu ◽  
Jie Zhang ◽  
Dhabaleswar K. Panda
Keyword(s):  
2021 ◽  
Vol 11 (3) ◽  
pp. 923
Author(s):  
Guohua Li ◽  
Joon Woo ◽  
Sang Boem Lim

The complexity of high-performance computing (HPC) workflows is an important issue in the provision of HPC cloud services in most national supercomputing centers. This complexity problem is especially critical because it affects HPC resource scalability, management efficiency, and convenience of use. To solve this problem, while exploiting the advantage of bare-metal-level high performance, container-based cloud solutions have been developed. However, various problems still exist, such as an isolated environment between HPC and the cloud, security issues, and workload management issues. We propose an architecture that reduces this complexity by using Docker and Singularity, which are the container platforms most often used in the HPC cloud field. This HPC cloud architecture integrates both image management and job management, which are the two main elements of HPC cloud workflows. To evaluate the serviceability and performance of the proposed architecture, we developed and implemented a platform in an HPC cluster experiment. Experimental results indicated that the proposed HPC cloud architecture can reduce complexity to provide supercomputing resource scalability, high performance, user convenience, various HPC applications, and management efficiency.


Author(s):  
Thierry Goubier ◽  
Andrea Ajmar ◽  
Carmine D’Amico ◽  
Paul Dubrulle ◽  
Susanna Grita ◽  
...  
Keyword(s):  

Author(s):  
David Guyon ◽  
Anne-Cecile Orgerie ◽  
Chrtistine Morin ◽  
Deb Agarwal
Keyword(s):  

2017 ◽  
Vol 8 ◽  
pp. 39-49 ◽  
Author(s):  
Iman I. Yusuf ◽  
Ian E. Thomas ◽  
Maria Spichkova ◽  
Heinz W. Schmidt
Keyword(s):  
Big Data ◽  

Author(s):  
Myungil Kim ◽  
Dongwoo Seo ◽  
Daeyong Jung ◽  
Jaesung Kim

Charity ◽  
2020 ◽  
Vol 3 (2) ◽  
Author(s):  
Heru Suhartanto ◽  
Arry Yanuar ◽  
Ari Wibisono ◽  
Yohanes Gultom

Masalah pertama yang dihadapi terkait kegiatan ini adalah Penggunaan sumber daya High Performance Computing (HPC) membutuhkan fasilitas superkomputer yang sangat mahal, baik pengadaan maupun perawatannya. Sehingga fasilitas HPC tersebut hanya dimiliki institusi tertentu yang memiliki sumber pendanaan cukup besar. Terutama di Indonesia, mungkin hanya segelintir lembaga pendidikan dan penelitian yang mampu memilikinya. Hal ini mengakibatkan, pemanfaatan HPC untuk penelitian menjadi terbatas, karena sangat sedikit sekali aktivitas penelitian yang memiliki akses ke fasilitas HPC tertentu. Sehingga hal ini menjadi suatu hambatan tersendiri, terutama untuk kasus penelitian yang menuntut sumber daya komputasi besar. Masalah kedua yakni para peneliti yang umumnya berasal dari berbagai macam disiplin ilmu pengetahuan sering tidak memiliki kemampuan tentang bagaimana menggunakan infrastruktur HPC tersebut. Umumnya, pengguna HPC cloud akan diberikan beberapa server virtual, kemudian server virtual tersebut harus disiapkan secara mandiri sesuai kebutuhan aplikasinya. Setup tersebut berkaitan dengan instalasi Sistem operasi, midleware, aplikasi, serta beberapa konfigurasi yang tidak sederhana. (Rajan et all, 2011) Sehingga, peneliti tersebut harus bertambah pekerjaan dan waktu tambahan untuk mempelajari suatu kemampuan lain yang cukup rumit di luar esensi penelitian itu sendiri agar mampu menggunakan cloud IAAS tersebut Untuk mengatasi masalah masalah pertama tersebut, muncul satu alternatif solusi, yaitu dengan penggunaan layanan cloud Infrastruktur-as-a-Service (IAAS), di mana layanan cloud tersebut menyediakan infrastruktur HPC. Layanan infrastruktur tersebut meliputi prosesor, memory, storage, jaringan internet, listrik serta perawatan. Saat ini banyak bermunculan vendor IAAS, seperti Amazon EC2 (Elastic Computing Cloud for Computing Service), S3 (Simple Storage Service), Microsoft Azure (PAAS), Google AppEngine, dan lainnya. Penulis telah mengembangkan prototype portal Sumber Daya HPC untuk simulasi dinamika molekuler sebagai output dari kegiatan penelitian beberapa tahun belakangan ini. Dalam kegiatan ini, dilakukan ujicoba implementasi prototype tersebut kepada usernya yakni para peneliti baik dosen dan mahasiswa. Sosialisasi pengenalan dan ujicoba prototype tersebut telah dilakukan kepada beberapa rekan dosen, peneliti dan mahasiswa di Universitas Padjajadan dan Institute Teknologi Bandung. Berdasarkan hasil kuesioner kegiatan sosialisasi ini, seluruh peserta merasa puas dengan kegiatan sosialisasi ini dan menganggap prototype tersebut dapat membantu memperbaiki kondisi mereka. Sistem yang diperkenalkan ini juga dianggap sesuai oleh seluruh peserta untuk mengangkat potensi bidang mereka (farmasi/kimia). Sebagian besar peserta juga merasa puas dengan acara yang diselenggarakan ini dan merasa cukup mampu untuk memanfaatkan sistem ini secara mandiri tanpa bantuan/pendampingan dari tim UI.


2019 ◽  
Vol 17 (4) ◽  
pp. 771-795 ◽  
Author(s):  
F. Salvadore ◽  
R. Ponzini

Sign in / Sign up

Export Citation Format

Share Document