Sharp Monocular View Synthesis in Less Than a Second
lastmod 2026-11-16created 2025-12-184 edits
SHARP(Sharp Monocular View Synthesis)는 Apple 연구진이 발표한, 사진 한 장으로 주변 시점의 이미지를 합성하는 방법이다. 신경망을 한 번 통과시켜(feedforward) 장면을 3D Gaussian 표현으로 바로 회귀하므로 일반 GPU 에서 1초도 걸리지 않으며, 결과물은 실시간으로 렌더링할 수 있다. 논문과 함께 추론 코드와 모델 가중치가 공개됐다.
Abstract
We present SHARP, an approach to photorealistic view synthesis from a single image. Given a single photograph, SHARP regresses the parameters of a 3D Gaussian representation of the depicted scene. This is done in less than a second on a standard GPU via a single feedforward pass through a neural network. The 3D Gaussian representation produced by SHARP can then be rendered in real time, yielding high-resolution photorealistic images for nearby views. The representation is metric, with absolute scale, supporting metric camera movements. Experimental results demonstrate that SHARP delivers robust zero-shot generalization across datasets. It sets a new state of the art on multiple datasets, reducing LPIPS by 25–34% and DISTS by 21–43% versus the best prior model, while lowering the synthesis time by three orders of magnitude.
Sharp-teaser.jpg
About
- Lars Mescheder, Vladlen Koltun 등 Apple 연구진 13명의 논문(arXiv 2512.10685)
- 만든 3D 표현은 절대 스케일을 갖는 metric 표현이라 실제 거리 단위로 카메라를 움직일 수 있음. 대상은 입력 사진 근처의 시점
- 학습에 쓰지 않은 데이터셋에서도 제로샷으로 동작하며, 여러 데이터셋에서 이전 최고 모델보다 LPIPS 25–34%, DISTS 21–43% 낮고 합성 시간은 1000분의 1 수준
-
sharp predict -i 입력폴더 -o 출력폴더로 실행하면 3DGS.ply파일을 만들고, 체크포인트는 첫 실행 때 자동으로 받음. 좌표계는 OpenCV 규약 - 예측은 CPU·CUDA·MPS 에서 되지만
--render로 카메라 궤적 영상을 만드는 기능은 CUDA GPU 에서만 됨 - 코드와 모델 가중치는 각각 Apple 의 별도 라이선스(LICENSE, LICENSE_MODEL)로 배포되며, 모델은 연구 목적용
Documentations
- [2512.10685] Sharp Monocular View Synthesis in Less Than a Second
- https://arxiv.org/abs/2512.10685