Walrus
lastmod 2026-11-16created 2025-12-262 edits
Walrus는 Rust 로 작성한 분산 메시지 스트리밍 엔진이다. 자체 로그 저장 엔진 위에 토픽을 세그먼트로 나눠 노드끼리 쓰기를 돌아가며 맡게 하고, 클러스터 메타데이터만 Raft 합의로 맞춘다. 데이터 경로에는 합의를 쓰지 않으므로 합의 비용이 메타데이터 변경에만 든다.
About
- 토픽은 기본 약 100만 건 단위 세그먼트로 나뉨. 세그먼트마다 리더 노드 하나가 쓰기를 맡고, 세그먼트가 넘어갈 때(rollover) 리더가 라운드로빈으로 바뀌어 부하가 퍼짐
- Raft 로 복제된 메타데이터에서 쓰기 리스를 받고 100ms 마다 동기화함. 리스를 가진 노드만 쓸 수 있어 리더 교체 중 split-brain 쓰기를 막음
- 다 찬 세그먼트는 봉인(sealed)되어 데이터를 옮기지 않고 그대로 읽기에 쓰임. 읽기 처리량은 복제본 수에 따라 늘어남
- 클라이언트는 아무 노드에나 붙으면 해당 리더로 자동 전달됨. 프로토콜은 TCP 위의 길이 접두 텍스트 형식이고
REGISTER,PUT,GET,STATE,METRICS명령을 씀 - 장애 허용에는 3개 이상 노드가 필요함. Linux 에서는 io_uring 으로 I/O 를 처리하고 끄면 mmap 을 씀
- 데이터 평면을 TLA+ 로 명세하고 TLC 모델 검사로 세그먼트당 단일 쓰기, 봉인 세그먼트 불변 같은 성질을 검증함
- 저장 엔진 벤치마크에서 fsync 없이 평균 초당 약 120만 건 쓰기로 Kafka(약 111만), RocksDB(약 43만)보다 높았음. 쓰기마다 fsync 하면 세 시스템 모두 초당 약 5천 건 수준으로 비슷함
- crates.io 에
walrus-rust로 배포. MIT 라이선스