Delta Lake
lastmod 2026-11-16created 2025-11-173 edits
Delta Lake는 데이터 레이크 위에 ACID 트랜잭션과 스키마 관리를 더하는 오픈 소스 스토리지 레이어이다. Parquet 파일과 함께 트랜잭션 로그를 기록하는 방식으로 동작하며, Apache Spark 생태계에서 출발해 여러 쿼리 엔진이 읽고 쓸 수 있는 테이블 형식으로 자리 잡았다. 데이터 웨어하우스의 신뢰성과 데이터 레이크의 유연성을 합친 레이크하우스 구조의 기반 기술 가운데 하나다.
데이터 레이크에 안정성 제공하는 스토리지 레이어 프레임워크
See also
Favorite site
- 650GB 데이터(S3의 Delta Lake). Polars vs. DuckDB vs. Daft vs. Spark | GeekNews
- [원문] 650GB of Data (Delta Lake on S3). Polars vs DuckDB vs Daft vs Spark.
- Daniel Beach 가 S3 에 둔 650GB Delta Lake 테이블(가짜 소셜 미디어 게시물, 연·월 파티션)을 메모리 32GB·16 CPU EC2 한 대에서 DuckDB·Polars·Daft 로 읽어 집계해 본 실험
- 걸린 시간은 Polars 12분, DuckDB 16분, Daft 50분. 비교 기준으로 돌린 Databricks 단일 노드(32GB, 4 CPU) PySpark 는 1시간 넘게 걸렸고, 셔플 파티션 수 같은 튜닝은 하지 않았음
- 세 도구 가운데 Deletion Vector 를 읽을 수 있는 것은 DuckDB 뿐이라, 테이블을 만들 때 Deletion Vector 가 쓰이지 않도록 예전 DBR 버전으로 내려야 했음
- 정식 벤치마크가 아니라 단일 노드 도구가 메모리보다 큰 레이크하우스 데이터를 OOM 없이 처리하는지 본 것이며, 저자는 값싼 하드웨어에서도 쓸 만한 시간 안에 끝난다고 결론 냄