NVIDIA Run:ai
lastmod 2026-11-11created 2026-11-111 edits
여러 팀이 GPU를 나눠 쓰도록 관리하는 Kubernetes 기반 플랫폼
About
- 여러 팀이 공유하는 GPU 인프라에서 AI 개발·학습·추론 작업을 스케줄링하고 자원을 할당하는 NVIDIA의 오픈소스 플랫폼
- GPU 하나를 여러 작업이 나눠 쓰게 하고 유휴 용량을 동적으로 활용해 놀고 있는 GPU를 줄임
- 우선순위, 공정 할당, 자원 회수, GPU 인터커넥트 토폴로지를 고려해 작업을 배치함
- 부서·프로젝트별 GPU 할당량과 사용 정책을 설정해 특정 팀의 자원 독점을 방지
- 여러 Kubernetes 클러스터의 작업과 자원을 한곳에서 관리하며 온프레미스/클라우드/하이브리드 배포 가능
- 개발 워크스페이스, 단일·분산 학습, 추론 서빙을 다루며 Kubeflow, Ray, KServe와 연동
- 웹 UI, CLI, REST API 제공. MCP 서버로 AI 어시스턴트가 작업을 실행할 수 있음
- GPU·노드·작업별 자원 사용량 모니터링과 역할 기반 접근 제어 지원
- Kubernetes 또는 OpenShift에 직접 설치하며 에어갭 배포 지원. 오픈소스 배포판은 NGC 인증 없이 설치 가능
- Go로 작성. Apache-2.0 라이선스