NVIDIA Personal AI Router
lastmod 2026-11-11created 2026-11-111 edits
여러 컴퓨터에 로컬 AI 요청을 나눠 보내는 도구
About
- 여러 앱과 에이전트의 AI 요청을 같은 네트워크의 여러 컴퓨터로 분산하는 NVIDIA의 로컬 추론 라우터
- Ollama, LM Studio 지원. 기존 앱과 에이전트는 OpenAI 호환 또는 Ollama 호환 API로 연결
- 추론 엔진을 실행할 수 있고 모델을 가진 컴퓨터 가운데 현재 작업량을 기준으로 요청을 보내며, 여러 에이전트가 동시에 일하는 환경에 적합
- 요청 하나는 컴퓨터 하나에서 실행됨. 여러 머신의 GPU 메모리를 합치거나 모델 하나를 여러 장치에 나누지 않음
- 분배 기준은 대기열 길이와 GPU 사용률뿐이며 GPU 종류, 남은 메모리, 모델 적재 여부는 고려하지 않아 성능이 비슷한 머신끼리 쓰는 것이 좋음
- 데스크톱 앱으로 엔진 설치, 모델 다운로드, 작업 상태, GPU/메모리 사용량을 관리하고, 6자리 PIN으로 다른 컴퓨터를 연결
- 클라이언트, 모델 출처, 추론 엔진이 모두 로컬이면 프롬프트와 응답이 로컬 네트워크 밖으로 나가지 않음
- 윈도우 11/리눅스/맥 혼용 가능, x64·arm64 지원. OS별 설치 프로그램과 헤드리스 서버용 터미널 인터페이스 제공
- Go로 작성. Apache-2.0 라이선스이며 사용하는 추론 엔진과 모델에는 각각의 라이선스가 적용됨