콘텐츠로 이동
Search

PyTorch Monarch

lastmod 2026-11-16created 2025-10-283 edits

PyTorch Monarch는 Meta 의 PyTorch 팀이 2025년 10월 공개한 분산 프로그래밍 프레임워크이다. 같은 스크립트를 머신마다 띄우는 기존 PyTorch 의 multi-controller(SPMD) 방식 대신, 스크립트 하나가 클러스터 전체의 프로세스와 액터를 지휘하는 single-controller 모델을 쓴다. 분산 코드를 단일 머신 Python 프로그램처럼 클래스·함수·루프·future 로 쓰게 하는 것이 목표다.

About

  • 호스트·프로세스·액터를 이름 붙은 차원(예: {"hosts": 32, "gpus": 8})을 가진 다차원 배열인 mesh 로 다룸. 프로세스 mesh 위에 액터 mesh 를 띄우고 slice 로 일부에만 메서드를 호출
  • 기본 동작은 fail-fast 로, 오류가 나면 로컬 스크립트의 잡히지 않은 예외처럼 프로그램 전체가 멈춤. 필요한 곳에 Python try/except 로 장애 처리를 덧붙임
  • 제어 경로(메시징)와 데이터 경로(RDMA 전송)를 분리해 GPU 간 메모리를 직접 옮김. RDMA buffer API 와, 클러스터에 샤딩된 텐서를 로컬 텐서처럼 쓰게 하는 tensor engine 제공
  • 프런트엔드는 Python, 백엔드는 Rust. 바닥의 Rust 액터 프레임워크 hyperactor 와 그 위의 hyperactor_mesh 가 multicast tree 와 multipart messaging 으로 큰 mesh 에 메시지를 뿌림
  • RL 사례: VERL 과 연동해 Qwen-2.5-7B 를 GRPO 로 후학습하며 H200 16개에서 2048개까지 늘려 봄. RL 프레임워크 TorchForge 는 처음부터 Monarch 위에 만듦
  • 장애 내성 사례: TorchFT 와 함께 H100 240개(30노드)에서 Qwen3-32B 를 학습하며 3분마다 장애를 넣은 결과, SLURM 작업 전체 재시작보다 복구가 60% 빠름. 평균 복구 시간은 프로세스 장애 90초, 머신 장애 2.5분
  • Jupyter 노트북에서 클러스터를 mesh 로 잡아 둔 채 작업을 다시 제출하지 않고 반복 실행·디버깅함
  • BSD-3-Clause 라이선스

See also

Favorite site

author Zer0, MCPBot sitemap