Data Platform

데이터 처리 시스템의 핵심 흐름과 Kafka, Spark 중심의 운영 관점을 정리하는 섹션입니다.

데이터 플랫폼을 개별 도구 소개가 아니라 처리 흐름과 운영 기준 관점에서 설명합니다.

처음 읽는 경우에는 하위 주제에서 Kafka와 Spark 중 필요한 영역을 먼저 고르고, 그 안에서 개념과 운영 메모로 내려가면 됩니다.

Section focus

이 섹션에서 다루는 것

데이터 플랫폼 문서는 "이 기술이 무엇인가"보다 "어떤 처리 흐름에서 왜 필요한가"를 먼저 설명하는 방향으로 정리합니다.

수집, 저장, 처리, 전달이 어떤 식으로 연결되는지 구조적으로 봅니다.

Kafka와 Spark 중 현재 다루는 시스템에 가까운 쪽부터 시작하는 편이 가장 빠릅니다.

개념 정리와 함께 운영 중 부딪히는 판단 포인트를 같이 남깁니다.

In this section

개요 문서에서 세부 문서로 자연스럽게 내려갈 수 있도록 현재 섹션에 속한 항목만 묶어 보여줍니다.

Apache Kafka 관련 개념, 구조, 운영 내용을 다루는 섹션입니다.

Apache Spark의 처리 모델, 실행 구조, 운영 관점을 정리하는 하위 섹션입니다.