HipKittens
lastmod 2026-11-16created 2025-11-173 edits
HipKittens는 Stanford 의 Hazy Research 가 만든 AMD GPU 용 AI 커널 모음이자, 그런 커널을 짜기 위한 C++ 내장 프로그래밍 프리미티브이다. NVIDIA 용 ThunderKittens 의 타일 추상화가 AMD 에서도 통하는지 확인하려고 시작했으며, 인터페이스(타일과 타일 연산)는 그대로 두고 메모리 접근·스케줄링 같은 구현만 AMD 하드웨어에 맞게 바꿨다. 이름은 AMD 의 CUDA 대응 기술인 HIP 에서 왔다.
About
- MI355X 는 BF16 행렬 연산 성능이 2.5 PFLOPs 로 NVIDIA B200(2.2 PFLOPs)보다 높지만, AMD 에서 최고 성능을 내는 커널은 전문가가 어셈블리로 직접 짜야 한다는 문제의식에서 출발함
- 글에 따르면 MI355X 에서 AITER 와 PyTorch SDPA 의 Llama GQA backward 커널은 최고 성능의 30%, 24% 에 그침. Composable Kernel, Triton, TileLang, Mojo 커널도 성능이 들쭉날쭉함
- 텐서 코어 크기에 맞춘 타일, 타일 위의 PyTorch 식 일괄 연산 함수, 공유 메모리로의 비동기 로드, 연산과 메모리 접근을 겹치는 스케줄(8-wave ping-pong, 4-wave interleave)로 구성
- attention forward 커널은 약 500줄로, 어셈블리로 짠 AITER 커널을 포함한 AMD 기준선보다 평균적으로 빠름. GEMM 은 100줄 미만의 핫 루프로 최고 성능에 도달
- attention backward, rotary, dropout-residual-layernorm 결합 커널도 제공
- CDNA3(MI300X·MI325X), CDNA4(MI350X·MI355X) 지원. 2026년 3월 AITER, 6월 AMD Transformer Engine 의 백엔드로 들어감. 논문은 MLSys 2026 채택
- MIT 라이선스