Apache Iceberg

Apache Iceberg는 데이터 레이크에 저장된 대규모 분석 데이터 세트를 위해 설계된 오픈소스 테이블 형식입니다. 또한 기존 데이터 레이크 테이블 형식의 많은 제한사항을 해결하여 데이터 레이크하우스 아키텍처에 향상된 안정성, 성능, 유연성을 제공합니다. Cloud Storage와 같은 데이터 레이크 스토리지 위에 위치한 지능형 레이어로 생각하면 됩니다. 방대한 데이터 세트에 데이터베이스와 유사한 기능을 제공합니다. Iceberg는 단순히 파일을 관리하는 것이 아니라 테이블을 데이터 파일의 컬렉션으로 관리하여 스키마 변경, 시간 이동, 보다 효율적인 쿼리 계획과 같은 기능을 지원합니다. 이를 통해 데이터 분석가, 데이터 과학자, 엔지니어는 데이터 레이크의 데이터를 더욱 쉽고 효율적으로 처리하고 분석 워크로드를 늘릴 수 있습니다.

See also

• Apache Parquet
• Data Lakehouse
• 데이터 레이크

Favorite site

• Apache Iceberg란? - Iceberg 테이블 설명 - AWS
• Apache Iceberg란 무엇인가요? 장점 및 사용 사례 | Google Cloud
• [추천] NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기 ¹

References