Carquet
lastmod 2026-11-16created 2026-01-192 edits
Carquet은 Apache Parquet 파일을 읽고 쓰는 순수 C11 라이브러리이다. 수십 MB 에 이르는 Arrow C++ 대신 약 500KB 짜리 라이브러리로 C·C++ 프로그램, 임베디드 시스템, 다른 언어 런타임에서 Parquet 을 다루게 하는 것이 목표다. 만든 사람은 계산 커널·데이터셋·Flight·암호화 같은 Arrow 생태계가 필요하면 여전히 Arrow 를 쓰라고 하고, Parquet 을 빠르고 정확하게 읽고 쓰기만 하면 되는 경우를 Carquet 의 자리로 둔다.
About
- 외부 의존성은 압축용 zstd·zlib·lz4·brotli 네 가지이며 없으면 빌드 때 받아 옴.
make한 번으로 1분 안에 빌드 - 8개 물리 타입 전부와 STRING·DECIMAL·UUID·GEOMETRY 등 논리 타입, PLAIN·RLE·DICTIONARY·DELTA·BYTE_STREAM_SPLIT 인코딩, V1·V2 페이지를 읽고 씀. 깊이 제한 없는 중첩 스키마(그룹·리스트·맵), 블룸 필터, 페이지 인덱스, 통계 기반 가지치기, 이어 쓰기 지원
- 압축은 Snappy·GZIP·LZ4·ZSTD·Brotli. 암호화된 파일은 지원하지 않고 오류로 알림
- SSE4.2·AVX·AVX2·AVX-512·NEON·SVE 용으로 손으로 짠 SIMD 커널 30여 개(비트 풀기, 딕셔너리, 통계, null 비트맵 등)
- Apple M3·10M 행 기준 Arrow C++ 보다 쓰기 2.0~5.6배, 같은 파일의 압축 데이터 읽기 1.5~2.1배 빠르다고 밝힘. 압축하지 않은 고정 길이 컬럼은 mmap 에서 복사 없이 포인터로 바로 돌려줌
- 만든 파일은 PyArrow·DuckDB·Spark 에서 그대로 읽힘. Arrow C Data Interface 브리지 제공
-
carquetCLI 로 파일 조회·필터·내보내기·검증,codegen으로 바로 컴파일할 C 리더 코드 생성. 의존성 없는 Python 패키지(pip install carquet)도 있음 - Linux·macOS·Windows 지원. MIT 라이선스