Pg lake
lastmod 2026-11-16created 2025-11-063 edits
pg_lake는 Postgres 에서 Apache Iceberg 테이블과 객체 스토리지의 데이터 파일을 직접 다루게 하는 확장 모음이다. 2024년 초 Crunchy Data 에서 Crunchy Bridge for Analytics·Crunchy Data Warehouse 로 개발했고, 2025년 6월 Snowflake 가 Crunchy Data 를 인수한 뒤 2025년 11월 오픈 소스로 공개했다. 쿼리 일부를 DuckDB 에 넘겨 실행하되, DuckDB 를 Postgres 프로세스 안에 넣지 않고 별도 서버로 띄우는 구조가 특징이다.
About
-
CREATE TABLE ... USING iceberg로 Iceberg 테이블을 만들고 트랜잭션 안에서 읽고 씀. 만든 테이블은 다른 엔진에서도 조회 가능 - S3 등의 Parquet·CSV·JSON·Iceberg 파일을 foreign table 로 바로 조회함. 컬럼 이름과 타입은 파일에서 추론함
-
COPY로 S3 와 Parquet·CSV·줄 단위 JSON 을 주고받음. 형식은 확장자로 판단하거나 옵션으로 지정 - heap 테이블, Iceberg 테이블, 외부 파일을 한 SQL 문에서 섞어 씀. GDAL 이 읽는 GeoJSON·Shapefile 같은 공간 데이터와 key-value 용 map 타입도 지원
- 실제 스캔·연산은 Postgres wire protocol 을 구현한 별도 프로세스
pgduck_server(기본 포트 5332)가 DuckDB 로 처리함. Postgres 의 프로세스 모델과 DuckDB 의 멀티스레드 실행이 충돌하지 않게 분리한 것 -
pg_lake_iceberg,pg_lake_table,pg_lake_copy,pg_lake_engine등 여러 확장으로 나눈 모듈 구조.CREATE EXTENSION pg_lake CASCADE로 한꺼번에 설치 - 앞선 두 세대가 있어 첫 공개 버전이 3.0. Docker 로 시험 환경을 띄우거나 소스에서 빌드함
- Apache-2.0 라이선스. 빌드 중 패치하는 Avro·DuckDB 확장은 원래 라이선스를 따름