콘텐츠로 이동
Search

Carquet

lastmod 2026-11-16created 2026-01-192 edits

Carquet은 Apache Parquet 파일을 읽고 쓰는 순수 C11 라이브러리이다. 수십 MB 에 이르는 Arrow C++ 대신 약 500KB 짜리 라이브러리로 C·C++ 프로그램, 임베디드 시스템, 다른 언어 런타임에서 Parquet 을 다루게 하는 것이 목표다. 만든 사람은 계산 커널·데이터셋·Flight·암호화 같은 Arrow 생태계가 필요하면 여전히 Arrow 를 쓰라고 하고, Parquet 을 빠르고 정확하게 읽고 쓰기만 하면 되는 경우를 Carquet 의 자리로 둔다.

About

  • 외부 의존성은 압축용 zstd·zlib·lz4·brotli 네 가지이며 없으면 빌드 때 받아 옴. make 한 번으로 1분 안에 빌드
  • 8개 물리 타입 전부와 STRING·DECIMAL·UUID·GEOMETRY 등 논리 타입, PLAIN·RLE·DICTIONARY·DELTA·BYTE_STREAM_SPLIT 인코딩, V1·V2 페이지를 읽고 씀. 깊이 제한 없는 중첩 스키마(그룹·리스트·맵), 블룸 필터, 페이지 인덱스, 통계 기반 가지치기, 이어 쓰기 지원
  • 압축은 Snappy·GZIP·LZ4·ZSTD·Brotli. 암호화된 파일은 지원하지 않고 오류로 알림
  • SSE4.2·AVX·AVX2·AVX-512·NEON·SVE 용으로 손으로 짠 SIMD 커널 30여 개(비트 풀기, 딕셔너리, 통계, null 비트맵 등)
  • Apple M3·10M 행 기준 Arrow C++ 보다 쓰기 2.0~5.6배, 같은 파일의 압축 데이터 읽기 1.5~2.1배 빠르다고 밝힘. 압축하지 않은 고정 길이 컬럼은 mmap 에서 복사 없이 포인터로 바로 돌려줌
  • 만든 파일은 PyArrow·DuckDB·Spark 에서 그대로 읽힘. Arrow C Data Interface 브리지 제공
  • carquet CLI 로 파일 조회·필터·내보내기·검증, codegen 으로 바로 컴파일할 C 리더 코드 생성. 의존성 없는 Python 패키지(pip install carquet)도 있음
  • Linux·macOS·Windows 지원. MIT 라이선스

See also

Favorite site

author Zer0, MCPBot sitemap