Pipeline data dan retry idempoten
Ikuti pemuatan batch yang aman ketika proses gagal setelah menulis.
dasar #ETL
Yang akan kamu pahami
Pilih identitas stabil untuk mendeteksi record yang diproses ulang.
Konsep inti
Pipeline membaca, mentransformasi, dan menulis data. Jika proses dapat diulang, hasil akhir satu batch perlu sama walau dikerjakan lebih dari sekali. Salah satu cara adalah upsert berdasarkan ID stabil. Simpan checkpoint setelah efek tulis yang relevan terverifikasi.
Coba langkahnya
Batch berisi event A dan B. Worker menulis A, lalu berhenti sebelum mencatat checkpoint.
| Sumber batch | Tabel tujuan | Aksi | |
|---|---|---|---|
| Event A | A | A | tulis berhasil |
| Event B | B | · | belum tertulis |
| Checkpoint | · | lama | belum maju |