대규모 데이터 웨어하우징 환경을 설계하고 운영하는 데이터브릭스 플랫폼 담당자와 관계자들을 위한 실전 가이드로, 데이터브릭스를 잘 사용해 보시려는 분들에게는 필수 내용들만 모여 있습니다.
아직까지 Databricks Academy에는 영문 버전의 코스만 있어서 이번 연휴 기간에 핵심 내용과 데모를 한국어로 정리해 보았습니다.
Databricks Lakehouse 아키텍처 기반의 데이터 수집·저장 전략, 다중 워크스페이스 설계, Unity Catalog를 활용한 보안·거버넌스, 그리고 ID 관리와 Infrastructure-as-Code 배포까지 엔터프라이즈 확장의 핵심 주제가 다루어지며, 성능 최적화, 비용 제어, 컴플라이언스를 동시에 충족하는 아키텍처 원칙이 단계별로 잘 정리되어 있습니다.
- 📁 GitHub Repository: hwantkim/enterprise-dwh-arch
🎬 시연 영상 목록
0. 노트북 설치 및 필수 설정 실행
-
🔗
1.3 데모 - Lakeflow SDP를 사용한 대규모 수집 및 변환
-
🔗
3.3 데모 - Unity Catalog에서 FGAC 구현하기
-
🔗
4.3 데모 - DABs를 사용한 솔루션 배포
-
🔗