dynamo

| 문서 | 로드맵 | 레시피 | 예제 | 컨테이너 | 다이제스트 | 설계 제안 | 기여 방법 | Slack |

English | 简体中文

Dynamo
오픈소스, 데이터센터 규모의 추론 스택. Dynamo는 추론 엔진 위에 놓이는 오케스트레이션 레이어입니다 — SGLang, TensorRT-LLM, vLLM을 대체하는 것이 아니라, 이들을 조정된 멀티노드 추론 시스템으로 바꿔줍니다. 분리형 서빙(disaggregated serving), 지능형 라우팅, 다계층 KV 캐싱, 자동 스케일링이 함께 동작하여 LLM, 추론(reasoning), 멀티모달, 비디오 생성 워크로드의 처리량을 극대화하고 지연 시간을 최소화합니다.

성능을 위해 Rust로, 확장성을 위해 Python으로 구축되었습니다.

커뮤니티 이벤트

날짜
이벤트
위치

2026년 10월 15일 목
CoreWeave x NVIDIA Dynamo 밋업
샌프란시스코

2026년 10월 13일 화
Dynamo 엔지니어링 싱크
–

이벤트는 자동으로 업데이트됩니다. 공개 캘린더를 구독하세요.

Dynamo를 사용해야 할 때

여러 GPU 또는 노드에 걸쳐 LLM을 서빙하고 있으며 이들을 조정해야 할 때
중복된 prefill 연산을 피하기 위해 KV 인식 라우팅을 원할 때
prefill과 decode를 독립적으로 확장해야 할 때 (분리형 서빙)
최소 총소유비용(TCO)으로 지연 시간 SLA를 충족하는 자동 스케일링을 원할 때
새 레플리카를 띄울 때 빠른 콜드 스타트가 필요할 때

단일 GPU에서 단일 모델을 실행 중이라면, 추론 엔진만으로도 충분할 가능성이 높습니다.

기능 지원 한눈에 보기:

SGLang
TensorRT-LLM
vLLM

분리형 서빙
✅
✅
✅

KV 인식 라우팅
✅
✅
✅

SLA 기반 플래너
✅
✅
✅

KVBM
🚧
✅
✅

멀티모달
✅
✅
✅

도구 호출
✅
✅
✅

전체 기능 매트릭스 → — LoRA, 요청 마이그레이션, 추측 디코딩, 기능 상호작용.

주요 결과

결과
맥락

GPU당 7배 높은 처리량
GB200 NVL72에서 Dynamo를 사용한 DeepSeek R1 vs Dynamo 없이 B200 ( InferenceX )

7배 빠른 모델 시작
ModelExpress 가중치 스트리밍 (H200에서 DeepSeek-V3)

2배 빠른 첫 토큰 시간
KV 인식 라우팅, Qwen3-Coder 480B ( Baseten 벤치마크 )

80% 적은 SLA 위반
5% 낮은 TCO에서 플래너 오토스케일링 ( Alibaba APSARA 2025 @ 2:50:00 )

750배 높은 처리량
GB300 NVL72에서 DeepSeek-R1 ( InferenceXv2 )

Dynamo가 하는 일
대부분의 추론 엔진은 단일 GPU 또는 단일 노드를 최적화합니다. Dynamo는 그 위에 놓이는 오케스트레이션 레이어로, GPU 클러스터를 조정된 추론 시스템으로 바꿔줍니다.

아키텍처 심층 분석 →

핵심 역량

역량
하는 일
중요한 이유

분리형 Prefill/Decode
prefill과 decode를 독립적으로 확장 가능한 GPU 풀로 분리
GPU 활용도 극대화; 각 단계가 해당 워크로드에 맞춰진 하드웨어에서 실행

KV 인식 라우팅
워커 부하와 KV 캐시 중복도에 따라 요청 라우팅
중복 prefill 연산 제거 — 2배 빠른 TTFT

KV 블록 매니저 (KVBM)
KV 캐시를 GPU → CPU → SSD → 원격 스토리지로 오프로드
GPU 메모리를 넘어 유효 컨텍스트 길이 확장

ModelExpress
NIXL/NVLink를 통해 GPU 간 모델 가중치 스트리밍
새 레플리카의 7배 빠른 콜드 스타트

플래너
워크로드를 프로파일링하고 풀 크기를 적정화하는 SLA 기반 오토스케일러
최소 총소유비용(TCO)으로 지연 시간 목표 충족

Grove
토폴로지 인식 gang 스케줄링을 위한 K8s 오퍼레이터 (NVL72)
랙, 호스트, NUMA 노드 전반에 걸쳐 워크로드를 최적으로 배치

AISimulate
서빙 동작을 예측하고 배포 구성을 오프라인으로 탐색
GPU 클러스터를 띄우지 않고도 강력한 서빙 구성 탐색

장애 허용
카나리 상태 검사 + 인플라이트 요청 마이그레이션
워커는 실패해도 사용자 요청은 실패하지 않음

1.0의 새로운 기능

제로 구성 배포 ( DGDR ) (베타): 하나의 YAML에 모델, HW, SLA를 지정 — AISimulate 성능 모델이 후보 구성을 추정하고, 플래너가 토폴로지를 최적화하며, Dynamo가 배포
에이전틱 추론: 우선순위, 예상 출력 길이, 추측 prefill에 대한 요청별 힌트, 그리고 추적 및 SGLang 서브에이전트 KV 격리를 위한 세션 메타데이터. LangChain + NeMo Agent Toolkit 통합
멀티모달 E/P/D: 임베딩 캐시를 사용한 분리형 인코드/prefill/decode — 이미지 워크로드에서 30% 빠른 TTFT
비디오 생성: 네이티브 FastVideo + SGLang Diffusion 지원 — 단일 B200에서 실시간 1080p
K8s Inference Gateway 플러그인: 표준 Kubernetes 게이트웨이 내부의 KV 인식 라우팅
스토리지 계층 KV 오프로드: S3/Azure blob 지원 + 클러스터 전체 캐시 가시성을 위한 글로벌 KV 이벤트

요청 라우팅 토폴로지
Dynamo는 두 가지 Kubernetes 요청 라우팅 토폴로지를 통해 트래픽을 노출할 수 있습니다. 둘 다
OpenAI 호환 API를 노출하며 동일한 백엔드, 분리형 서빙, KV 인식 라우팅을 지원합니다.

토폴로지
정의
사용 시기

Dynamo 네이티브 Frontend 라우팅
Dynamo Frontend가 HTTP를 서빙하고 통합된 Dynamo Router가 워커 선택을 결정합니다. 외부 게이트웨이가 필요하지 않습니다.
로컬 개발, 단일 클러스터 배포, 그리고 Dynamo가 요청 진입점을 종단 간 소유해야 하는 환경.

GAIE를 사용한 Gateway API 라우팅
Kubernetes Gateway API Inference Extension 게이트웨이가 Dynamo Endpoint Picker Plugin (EPP)을 호출한 후 선택된 워커의 Frontend 사이드카로 --router-mode direct 로 전달합니다.
Gateway API를 표준으로 삼는 Kubernetes 플랫폼, 또는 게이트웨이 수준의 정책, 인증, 속도 제한, 관측성이 클러스터 엣지에 위치해야 하는 배포.

Dynamo 네이티브 경로의 요청 흐름은 client → Frontend → Router → workers 입니다. Gateway API 경로의 요청 흐름은
client → Gateway → EPP → Frontend 사이드카 (direct) → workers 입니다.

Gateway API 설정, 지원 기능, 구성은 Gateway API Inference Extension (GAIE) 가이드를 참조하세요.

빠른 시작

이 저장소는 에이전트 스킬을 제공합니다: AI 코딩 에이전트(Claude Code, Codex,
Cursor)와 함께 작업한다면 저장소를 클론하고 Dynamo 배포, 문제 해결, 벤치마킹, 최적화를 요청하세요. 스킬은 자동으로 활성화되며 설정이 필요 없습니다.

옵션 A: 컨테이너 (가장 빠름)
vLLM 또는 SGLang 중 하나를 선택하세요:

vLLM
# 미리 빌드된 컨테이너 풀
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:1.6.0

# 컨테이너 내부 — 프론트엔드와 워커 시작
python3 -m dynamo.frontend --http-port 8000 --discovery-backend file > /dev/null 2>&1 &
python3 -m dynamo.vllm --model Qwen/Qwen3-0.6B --discovery-backend file &

# 워커가 준비되면 요청 전송
curl -s localhost:8000/v1/chat/completions -H " Content-Type: application/json " -d ' {
"model": "Qwen/Qwen3-0.6B",
"messages": [{"role": "user", "content": "Hello!"}],
"max_tokens": 100
} ' | jq
SGLang
# 미리 빌드된 컨테이너 풀
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/sglang-runtime:1.6.0

# 컨테이너 내부 — 프론트엔드와 워커 시작
python3 -m dynamo.frontend --http-port 8000 --discovery-backend file > /dev/null 2>&1 &
python3 -m dynamo.sglang --model-path Qwen/Qwen3-0.6B --discovery-backend file &

# 워커가 준비되면 요청 전송
curl -s localhost:8000/v1/chat/completions -H " Content-Type: application/json " -d ' {
"model": "Qwen/Qwen3-0.6B",
"messages": [{"role": "user", "content": "Hello!"}],
"max_tokens": 100
} ' | jq
사용 가능: tensorrtllm-runtime:1.6.0 .

옵션 B: PyPI에서 설치
uv 설치 ( curl -LsSf https://astral.sh/uv/install.sh | sh ), 그런 다음 백엔드 선택:

vLLM
uv pip install --prerelease=allow " ai-dynamo[vllm] "
SGLang
uv pip install --prerelease=allow " ai-dynamo[sglang] "

참고: TensorRT-LLM은 --extra-index-url https://pypi.nvidia.com 과 함께 pip가 필요합니다. TRT-LLM 관련 지침은 설치 가이드를 참조하세요.

그런 다음 위에 표시된 대로 프론트엔드와 해당 워커를 시작하세요. 시스템 종속성 및 백엔드별 참고 사항은 전체 설치 가이드를 참조하세요.

옵션 C: Kubernetes (권장)
프로덕션 멀티노드 클러스터의 경우 Dynamo Platform을 설치하고 단일 매니페스트로 배포하세요:

# 제로 구성 배포: 모델 + SLA 지정, 나머지는 Dynamo가 처리
apiVersion : nvidia.com/v1beta1
kind : DynamoGraphDeploymentRequest
metadata :
name : my-model
spec :
model : Qwen/Qwen3-0.6B
backend : vllm
sla :
ttft : 200.0 # ms
itl : 20.0 # ms
autoApply : true
일반 모델용 사전 빌드 레시피:

모델
프레임워크
모드
레시피

Qwen3-32B-FP8
TensorRT-LLM
집계형
보기

DeepSeek-R1
SGLang
분리형
보기

Kimi-K3
vLLM
집계형
보기

전체 목록은 recipes/ 를 참조하세요. 클라우드별 가이드: AWS EKS · Google GKE · Azure AKS · Amazon ECS

소스에서 빌드
로컬에서 빌드하고 개발하려는 기여자를 위한 것입니다. 자세한 내용은 전체 빌드 가이드를 참조하세요.

# 시스템 종속성 설치 (Ubuntu 24.04)
sudo apt install -y build-essential libhwloc-dev libudev-dev pkg-config libclang-dev protobuf-compiler python3-dev cmake

# Rust 설치
curl --proto ' =https ' --tlsv1.2 -sSf https://sh.rustup.rs | sh && source $HOME /.cargo/env

# venv 생성 및 빌드
uv venv dynamo && source dynamo/bin/activate
uv pip install pip ' maturin[patchelf] '
cd lib/bindings/python && maturin develop --uv && cd $PROJECT_ROOT
uv pip install -e lib/gpu_memory_service
uv pip install -e .

VSCode/Cursor 사용자: 사전 구성된 개발 환경은 .devcontainer 를 참조하세요.

커뮤니티 및 기여
Dynamo는 OSS 우선 개발 모델로 공개적으로 구축됩니다. 모든 종류의 기여를 환영합니다.

기여 가이드 — 코드, 문서, 레시피 기여 방법
설계 제안 — 주요 기능에 대한 RFC, dep:* 라벨이 붙은 GitHub 이슈로 추적
오피스 아워 — 격주 통화
커뮤니티 미팅 ( Youtube ) – 주간 (화 9:00 AM PT) 개발 커뮤니티 미팅
Slack — 팀 및 커뮤니티와 채팅
Dynamo Day 녹화 — 프로덕션 사용자의 심층 분석

최신 뉴스

[03/15] Dynamo 1.0 출시 — 강력한 커뮤니티 채택과 함께 프로덕션 준비 완료
[03/15] NVIDIA Blackwell Ultra, MLPerf에서 새로운 추론 기록 수립
[03/15] NVIDIA Blackwell, SemiAnalysis InferenceMax 벤치마크에서 선두
[12/05] Moonshot AI의 Kimi K2, GB200에서 Dynamo로 10배 추론 속도 향상 달성
[12/02] Mistral AI, Dynamo를 사용하여 Mistral Large 3를 10배 빠른 추론으로 실행
[11/20] Dell, 19배 빠른 TTFT를 위해 PowerScale을 NIXL과 통합

이전 뉴스
Dynamo는 포괄적인 벤치마킹 도구를 제공합니다:

벤치마킹 가이드 – AIPerf를 사용하여 배포 토폴로지 비교
SLA 기반 배포 – SLA 요구 사항을 충족하도록 배포 최적화

Frontend OpenAPI 사양
OpenAI 호환 프론트엔드는 /openapi.json 에서 OpenAPI 3 사양을 노출합니다. 서버를 실행하지 않고 생성하려면:

cargo run -p dynamo-llm --bin generate-frontend-openapi
이 명령은 docs/reference/api/openapi.json 에 기록합니다.

서비스 검색 및 메시징
Dynamo는 컴포넌트 간 통신에 TCP를 사용합니다. Kubernetes에서는 네이티브 리소스( CRDs + EndpointSlices )가 서비스 검색을 처리합니다. 외부 서비스는 대부분의 배포에서 선택 사항입니다:

배포
etcd
NATS
참고

로컬 개발
❌ 필요 없음
❌ 필요 없음
--discovery-backend file 전달; vLLM은 --kv-events-config '{"enable_kv_cache_events": false}' 도 필요

Kubernetes
❌ 필요 없음
❌ 필요 없음
K8s 네이티브 검색; TCP 요청 플레인

참고: KV 인식 라우팅에는 NATS가 필요하지 않습니다. 이벤트 기반 캐시 상태 추적이 필요할 때 KV 이벤트를 활성화하거나, 외부 이벤트 인프라 없이 예측 기반 라우팅을 위해 --no-router-kv-events 를 사용하세요.

etcd 또는 NATS JetStream 기반 모드를 선택하는 Slurm 또는 기타 분산 배포의 경우:

etcd는 ./etcd 로 직접 실행할 수 있습니다.
nats는 JetStream이 활성화되어야 합니다: nats-server -js .

둘 다 빠르게 설정하려면: docker compose -f dev/docker-compose.yml up -d

추가 뉴스

[11/20] Dell, 19배 빠른 TTFT를 위해 PowerScale을 Dynamo의 NIXL과 통합
[11/20] WEKA, Dynamo용 KV 캐시 스토리지에서 NVIDIA와 파트너십
[11/13] Dynamo 오피스 아워 플레이리스트
[10/16] Baseten이 NVIDIA Dynamo로 2배 빠른 추론을 달성한 방법
[12/01] InfoQ: NVIDIA Dynamo, LLM 추론을 위한 Kubernetes 배포 간소화

참조

지원 매트릭스 — 하드웨어, OS, CUDA, 백엔드 버전
기능 매트릭스 — 상세 백엔드 호환성
릴리스 아티팩트 — 컨테이너, 휠, Helm 차트
서비스 검색 — K8s 네이티브 vs etcd vs 파일 기반 검색
벤치마킹 가이드 — AIPerf를 사용하여 배포 토폴로지 비교