Lite3
lastmod 2026-11-16created 2025-12-142 edits
Lite³는 데이터를 하나의 연속 버퍼 안에 B-tree 로 인코딩하는 제로-카피 이진 직렬화 포맷이다. 받은 버퍼를 파싱하지 않고 해시맵처럼 바로 읽고 고칠 수 있고, 수정한 버퍼를 그대로 다시 보낼 수 있어 메모리 포맷과 전송 포맷의 구분이 없다. Flatbuffers·Cap'n Proto 같은 이진 포맷과 달리 스키마가 필요 없고 JSON 과 서로 변환된다.
About
- 모든 필드의 조회·삽입·덮어쓰기가 O(log n). 작업이 끝난 버퍼는 직렬화 없이
memcpy()만으로 전송함 - 스키마리스·self-describing 구조라 IDL 이 없음. yyjson 을 선택 의존성으로 붙이면 JSON 과 상호 변환되어 메시지를 JSON 으로 찍어 볼 수 있음
- 코어 라이브러리 9.3 kB, 외부 의존성 없음. C11(GNU C 문법)으로 작성돼 gcc 나 clang 이 필요함
- 호출자가 버퍼를 넘기는 Buffer API(
malloc()없음)와, 메모리 관리를 감춘 Context API 두 가지. 처음 쓰면 Context API 를 권장함 - simdjson 의 트위터 API 데이터 벤치마크 등에서 SIMD 를 쓰는 JSON 라이브러리보다 최대 120배, Google Flatbuffers 보다 242배 빠르다고 밝힘
- 필드 이름을 함께 인코딩하므로 메시지는 Protobuf 보다 큼. README 는 CPU 가 병목이면 Lite³, 대역폭이 병목이면 Protobuf 를 고르라고 권함
- 신뢰할 수 없는 입력을 전제로 오버플로를 막는 경계 검사, 런타임 타입 검사, 재귀 깊이 제한, 댕글링 포인터를 막는 세대 포인터 매크로를 둠
- 2024년 논문 Lite²: A Schemaless Zero-Copy Serialization Format의 아이디어를 논문 저자와 관계없이 따로 구현함. 이름은 Lite² 보다 가볍다는 뜻
- 새 프로젝트라 API 가 아직 안정되지 않음
- MIT 라이선스