UTS Komputasi Tersebar dan Paralel 2025

1. SIMD

Single Instruction Multiple Data menjalankan operasi yang sama pada beberapa elemen data secara bersamaan, misalnya menambah dua vektor. Contoh pseudocode parallel_for i in 0..N-1: C[i] = A[i] + B[i]; lane berbeda mengerjakan indeks berbeda pada instruksi tambah yang sama. Ukuran vektor yang tidak habis dibagi jumlah lane memerlukan penanganan elemen sisa.

2. Lima tahap pengembangan

Contoh penjumlahan elemen vektor besar: (1) analisis/dekomposisi bagi vektor menjadi rentang independen; (2) analisis dependensi dan komunikasi identifikasi bahwa hanya hasil parsial yang perlu dikumpulkan; (3) aglomerasi gabungkan elemen menjadi blok cukup besar agar overhead tugas kecil; (4) pemetaan bagi blok secara merata ke proses/core/GPU; (5) implementasi, pengukuran, dan penyempurnaan reduksi hasil, bandingkan dengan hasil serial, ukur waktu termasuk komunikasi, dan sesuaikan ukuran blok. Penamaan tahap dapat berbeda menurut kerangka; kelima langkah menunjukkan keputusan sampai evaluasi.

3. Contoh proyek dan kontribusi

a. Asumsi judul: “Penjumlahan vektor skala besar dengan MPI dan CUDA”. MPI membagi data ke proses dengan ruang alamat sendiri; CUDA menjalankan banyak thread GPU. MPI memakai pesan seperti Scatter/Reduce, CUDA memakai transfer host-device dan memori GPU; keduanya memiliki biaya komunikasi. Performa MPI dipengaruhi jaringan dan distribusi beban, sedangkan CUDA dipengaruhi bandwidth memori GPU, transfer PCIe, dan okupansi. MPI dapat diskalakan lintas mesin, CUDA contoh ini dalam satu GPU; multi-GPU memerlukan koordinasi tambahan. MPI membutuhkan pengelolaan proses, komunikasi, dan kegagalan; CUDA membutuhkan kernel, hirarki thread, dan batasan memori GPU. Keunggulan aktual harus diukur pada perangkat dan ukuran input yang sama.

b. Contoh tim empat orang: A kode MPI 25%, B kode CUDA 25%, C pengujian dan benchmark 25%, D dokumentasi serta presentasi 25%; total 100%. Ganti nama, tugas, dan persentase sesuai kontribusi tim sebenarnya, dan pastikan totalnya 100%.