Partisi dan skew pada pemrosesan data besar

Yang akan kamu pahami

Bedakan jumlah partisi dari pemerataan pekerjaan.

Konsep inti

Partisi membagi data agar banyak worker bisa memprosesnya. Bila kunci sangat tidak seimbang, worker yang mendapat kunci populer memproses jauh lebih banyak. Untuk agregasi yang dapat digabung, lakukan agregasi parsial atau pecah kunci panas ke beberapa shard lalu gabungkan hasilnya.

Coba langkahnya

Tiga worker menerima 100, 120, dan 1.800 record dengan biaya per record seragam.

Beban tiap worker sebelum dan sesudah hot key dipecah

↺‹▶›

Worker 1100 record

Worker 2120 record

Worker 31.800 record

Worker terberat—

01.0002.000 record

Cek pemahaman

Cek pemahaman

1. Kenapa menambah worker saja bisa gagal memperbaiki hot key?

   A.Seluruh record dengan kunci sama masih bisa menuju satu workerB.Jumlah record otomatis berkurangC.Partisi tidak pernah menggunakan kunci