Flide
lastmod 2026-11-11created 2026-11-111 edits
Jev같은 의사결정 모델을 최대 9.5배 빠르게 실행
About
- Jev 계열 의사결정 모델을 위한 추론 인프라. 정확한 상태 분기(exact state forking)로 vLLM, SGLang 대비 최대 9.5배 빠른 추론을 달성함
- 공유 입력은 한 번만 계산하고, 각 질문은 그 모델 상태에서 분기해 한 번의 forward pass로 답함. 각 답은 같은 입력에 그 질문만 따로 물었을 때와 동일함
-
/v1/systemoneAPI는 공유state와 여러questions를 한 요청으로 받으며, 질문 하나에 최대 256개 선택지를 지정 가능.flide verify로 자신의 모델과 요청에서 상태 분기의 정확성을 검증할 수 있음 - 이메일 분류 벤치마크에서 H200 1장과 OneJev 0.8B로 이메일 10,000건에 질문 8개씩을 28초에 처리해, 전체 처리 기준 가장 빠른 비교 엔진보다 4.1배 빠름
- 향상 폭은 모델과 작업에 따라 크게 다름. H200 1장의 요청당 지연 중앙값 기준 OneJev는 qev 대비 4.7~7.3배, Qwen3.5는 1.3~4.8배, Gemma 4는 1.0~1.7배
- Qwen3.5, Gemma 4, OneJev, Open-Jev, pplx-decider 등 채팅 모델과 의사결정 모델을 모두 지원하며 LoRA 어댑터를 바로 서빙. 모델에 따라 이미지 입력을 받고, OneJev와 Xor는 텍스트·이미지·영상을 모두 지원
- 세션 캐시로 이전 요청 상태를 유지해 에이전트의 다음 단계에서는 새로 추가된 부분만 읽음.
--batch-invariant는 속도를 일부 희생해 배치 구성과 무관하게 비트 단위로 같은 결과를 보장 - Ada, Hopper, Blackwell GPU에서 Qwen3.5 FP8 양자화 지원. HTTP 처리·렌더링·토큰화를 별도 프론트엔드 프로세스로 분리해 많은 클라이언트를 처리 가능
- Python으로 작성. Apache-2.0 라이선스이며, 일부 커널은 MIT 라이선스인 flash-linear-attention에서 파생됨