왜 단순한 script 실행만으로는 부족했을까
cron이 script를 실행하는 단순한 구조에서 출발해, 왜 데이터 작업을 상태로 다뤄야 한다는 생각까지 이어졌는지 정리한다.
Category: Data-Engineering
queue, lease, lock은 왜 같이 등장했을까
여러 worker가 데이터 작업을 처리할 때 왜 queue, lease, 대상 단위 lock이 함께 필요해지는지 쉬운 예시로 정리한다.
Categories:
pipeline과 cancel, recovery를 상태로 다루기
fetch, validate, load, aggregate 같은 데이터 작업 단계를 상태 전이와 recovery 관점에서 어떻게 바라볼 수 있는지 정리한다.
Categories:
이 상태 모델은 언제 쓸 만하고 언제 과할까
데이터 엔지니어링에서 queue, lease, lock, 상태 전이 모델이 반복해서 등장하는 이유와 도입 기준을 정리한다.
Categories:
Treating Data Jobs as State
cron과 script 중심으로 충분해 보였던 데이터 작업이 왜 queue, lease, lock, 상태 전이 모델로 옮겨 가게 되는지 고민의 흐름을 따라 정리한다.