Data Engineering

데이터 작업, 배치 처리, 파이프라인 운영, 상태 기반 작업 제어 관련 문서를 모아 둔 섹션입니다.

Data Engineering 섹션은 데이터 작업, 배치 처리, 파이프라인 운영, 상태 기반 작업 제어를 실무 관점에서 정리합니다.

In this section

문서 목록

개요 문서에서 세부 문서로 자연스럽게 내려갈 수 있도록 현재 섹션에 속한 항목만 묶어 보여줍니다.

Treating Data Jobs as State

cron과 script 중심으로 충분해 보였던 데이터 작업이 왜 queue, lease, lock, 상태 전이 모델로 옮겨 가게 되는지 고민의 흐름을 따라 정리한다.