FastLanes
lastmod 2026-11-16created 2025-12-302 edits
FastLanes는 CWI의 Azim Afroozeh와 Peter Boncz가 만든 오픈 소스 컬럼형 빅데이터 파일 포맷이다. SIMD 나 GPU 같은 데이터 병렬 실행을 전제로 설계했고, Parquet 이 쓰는 Snappy 같은 범용 압축 대신 병렬로 풀 수 있는 경량 인코딩을 겹쳐 쓴다. 저장소는 Parquet 보다 압축률이 40% 좋고 디코딩이 40배 빠르다고 소개한다.
About
- 범용 압축 없이 경량 인코딩을 표현식(expression)으로 이어 붙여 압축률을 높임. 압축할 때 쓸 인코딩 표현식은 2단계 알고리즘으로 찾음
- 같은 표현식 메커니즘으로 컬럼 사이 상관관계를 쓰는 다중 컬럼 압축(MCC) 지원. 컬럼형 저장이 오래 약했던 부분
- 행 그룹이 아닌 작은 배치 단위로 읽어, 압축 해제에 쓰는 메모리를 CPU·GPU 캐시 안에 둠
- 부분 압축 해제 API 가 있어 쿼리 엔진이 압축된 데이터에 바로 쿼리를 실행할 수 있음
- 명시적 SIMD 명령 없이 자동 벡터화되는 C++ 로 구현. 외부 라이브러리 의존성 없음
- 바탕이 된 FastLanes 압축 레이아웃 논문(PVLDB 2023)은 스칼라 코드만으로 초당 1,000억 개 넘는 정수를 디코딩함. 파일 포맷 논문은 PVLDB 18권(2025)에 실림
- Python(
pyfastlanes), C++(CMake FetchContent), Rust(fls-rs)에서read_csv()·to_fls(),read_fls()·to_csv()로 CSV 와 상호 변환. CUDA 리더는 준비 중 - MIT 라이선스