lmdeploy

📘문서 |
🛠️빠른 시작 |
🤔이슈 보고

English | 简体中文 | 日本語

👋 함께 하세요

최신 소식 🎉

2026

[2026/08] 논문 " LMDeploy Accelerates Mixed-Precision LLM Inference with TurboMind "가 EuroSys 2027 에 게재 승인되었습니다.
[2026/04] PyPI가 LMDeploy의 저장 용량 할당량을 확장하여 wheel 업로드가 재개되었습니다. v0.12.3이 이제 PyPI에서 제공되므로 pip install lmdeploy 로 직접 설치할 수 있습니다.
[2026/02] Qwen3.5 지원
[2026/02] vllm-project/llm-compressor 4bit 대칭/비대칭 양자화 지원. 자세한 가이드는 여기 를 참고하세요

2025

[2025/09] TurboMind가 V100부터 NVIDIA GPU에서 MXFP4를 지원하며, openai gpt-oss 모델에서 H800 기준 vLLM 대비 1.5배 성능을 달성합니다!
[2025/06] FP8 MoE 모델에 대한 종합적인 추론 최적화
[2025/06] DLSlime 및 Mooncake 통합을 통해 DeepSeek PD Disaggregation 배포가 지원됩니다. 두 팀 모두에게 큰 감사를 전합니다!
[2025/04] deepseek-ai 기법(FlashMLA, DeepGemm, DeepEP, MicroBatch, eplb)을 통합하여 DeepSeek 추론 성능 향상
[2025/01] DeepSeek V3 및 R1 지원

2024

[2024/11] PyTorch 엔진으로 Mono-InternVL 지원
[2024/10] PyTorchEngine이 ascend 플랫폼에서 graph 모드를 지원하여 추론 속도 2배 향상
[2024/09] LMDeploy PyTorchEngine이 Huawei Ascend 지원 추가. 지원 모델은 여기 참고
[2024/09] LMDeploy PyTorchEngine이 CUDA graph 도입으로 Llama3-8B 추론에서 1.3배 빨라짐
[2024/08] LMDeploy가 modelscope/swift에 통합되어 VLM 추론의 기본 가속기로 채택됨
[2024/07] Llama3.1 8B, 70B 및 TOOLS CALLING 지원
[2024/07] InternVL2 전체 시리즈 모델, InternLM-XComposer2.5 및 InternLM2.5의 function call 지원
[2024/06] PyTorch 엔진이 DeepSeek-V2 및 CogVLM2, Mini-InternVL, LlaVA-Next 등 여러 VLM 지원
[2024/05] 다중 GPU로 VLM 배포 시 vision 모델 밸런싱
[2024/05] InternVL v1.5, LLaVa, InternLMXComposer2 등 VLM에서 4-bit weight-only 양자화 및 추론 지원
[2024/04] Llama3 및 InternVL v1.1, v1.2, MiniGemini, InternLMXComposer2 등 더 많은 VLM 지원.
[2024/04] TurboMind가 모든 지원 디바이스에서 온라인 int8/int4 KV cache 양자화 및 추론 추가. 자세한 가이드는 여기 참고
[2024/04] TurboMind 최신 업그레이드로 GQA 성능이 향상되어 internlm2-20b 모델 추론이 16+ RPS로, vLLM 대비 약 1.8배 빨라짐.
[2024/04] Qwen1.5-MOE 및 dbrx 지원.
[2024/03] DeepSeek-VL 오프라인 추론 파이프라인 및 서빙 지원.
[2024/03] VLM 오프라인 추론 파이프라인 및 서빙 지원.
[2024/02] Qwen 1.5, Gemma, Mistral, Mixtral, Deepseek-MOE 등 지원.
[2024/01] OpenAOE가 LMDeploy Serving Service 와 원활하게 통합.
[2024/01] 멀티 모델, 멀티 머신, 멀티 카드 추론 서비스 지원. 사용 방법은 여기 참고
[2024/01] 전적으로 Python으로 개발된 PyTorch 추론 엔진 지원으로, 개발자 진입 장벽을 낮추고 새로운 기능과 기술을 빠르게 실험할 수 있도록 지원.

2023

[2023/12] Turbomind가 멀티모달 입력 지원.
[2023/11] Turbomind가 hf 모델 직접 로딩 지원. 자세한 내용은 여기 클릭.
[2023/11] TurboMind 대규모 업그레이드: Paged Attention, 시퀀스 길이 제한 없는 더 빠른 attention 커널, 2배 빨라진 KV8 커널, Split-K 디코딩(Flash Decoding), sm_75용 W4A16 추론
[2023/09] TurboMind가 Qwen-14B 지원
[2023/09] TurboMind가 InternLM-20B 지원
[2023/09] TurboMind가 Code Llama의 모든 기능 지원: 코드 완성, infilling, chat / instruct, python specialist. 배포 가이드는 여기 클릭
[2023/09] TurboMind가 Baichuan2-7B 지원
[2023/08] TurboMind가 flash-attention2 지원.
[2023/08] TurboMind가 Qwen-7B, 동적 NTK-RoPE 스케일링 및 동적 logN 스케일링 지원
[2023/08] TurboMind가 Windows 지원 (tp=1)
[2023/08] TurboMind가 4-bit 추론 지원, FP16 대비 2.4배 빠르며 가장 빠른 오픈소스 구현. 자세한 정보는 이 가이드 확인
[2023/08] LMDeploy가 HuggingFace Hub 에 출시되어 바로 사용 가능한 4-bit 모델 제공.
[2023/08] LMDeploy가 AWQ 알고리즘을 사용한 4-bit 양자화 지원.
[2023/07] TurboMind가 GQA와 함께 Llama-2 70B 지원.
[2023/07] TurboMind가 Llama-2 7B/13B 지원.
[2023/07] TurboMind가 InternLM의 tensor-parallel 추론 지원.

소개
LMDeploy는 MMRazor 및 MMDeploy 팀이 개발한 LLM 압축, 배포, 서빙을 위한 툴킷입니다. 다음과 같은 핵심 기능을 제공합니다:

효율적인 추론 : LMDeploy는 persistent batch(일명 continuous batching), blocked KV cache, dynamic split&fuse, tensor parallelism, 고성능 CUDA 커널 등의 핵심 기능을 도입하여 vLLM 대비 최대 1.8배 높은 요청 처리량을 제공합니다.

효과적인 양자화 : LMDeploy는 weight-only 및 k/v 양자화를 지원하며, 4-bit 추론 성능은 FP16 대비 2.4배 높습니다. 양자화 품질은 OpenCompass 평가를 통해 검증되었습니다.

간편한 분산 서버 : 요청 분산 서비스를 활용하여 LMDeploy는 여러 머신과 카드에 걸친 멀티 모델 서비스를 쉽고 효율적으로 배포할 수 있도록 지원합니다.

뛰어난 호환성 : LMDeploy는 KV Cache Quant , AWQ 및 Automatic Prefix Caching 을 동시에 사용할 수 있도록 지원합니다.

성능

지원 모델

LLM

VLM

Llama (7B - 65B)
Llama2 (7B - 70B)
Llama3 (8B, 70B)
Llama3.1 (8B, 70B)
Llama3.2 (1B, 3B)
InternLM2 (7B - 20B)
InternLM3 (8B)
InternLM2.5 (7B)
Qwen1.5 (0.5B - 110B)
Qwen1.5 - MoE (0.5B - 72B)
Qwen2 (0.5B - 72B)
Qwen2-MoE (57BA14B)
Qwen2.5 (0.5B - 32B)
Qwen3, Qwen3-MoE
Qwen3-Next(80B)
Code Llama (7B - 34B)
ChatGLM2 (6B)
GLM-4 (9B)
GLM-4-0414 (9B, 32B)
CodeGeeX4 (9B)
YI (6B-34B)
Mistral (7B)
DeepSeek-MoE (16B)
DeepSeek-V2 (16B, 236B)
DeepSeek-V2.5 (236B)
DeepSeek-V3 (685B)
DeepSeek-V3.2 (685B)
DeepSeek-V4 (284B, 1.6T)
Hy3 (295B-A21B)
Mixtral (8x7B, 8x22B)
Gemma (2B - 7B)
Phi-3-mini (3.8B)
Phi-3.5-mini (3.8B)
Phi-3.5-MoE (16x3.8B)
Phi-4-mini (3.8B)
MiniCPM3 (4B)
SDAR (1.7B-30B)
gpt-oss (20B, 120B)
GLM-4.7-Flash (30B)
GLM-5 (754B)
GLM-5.2 (754B)

LLaVA(1.5,1.6) (7B-34B)
Qwen2-VL (2B, 7B, 72B)
Qwen2.5-VL (3B, 7B, 72B)
Qwen3-VL (2B - 235B)
Qwen3.5 (0.8B - 397B)
Qwen3-Omni (30B-A3B)
Kimi-K2.6 (1T-A32B)
DeepSeek-VL (7B)
DeepSeek-VL2 (3B, 16B, 27B)
InternVL-Chat (v1.1-v1.5)
InternVL2 (1B-76B)
InternVL2.5(MPO) (1B-78B)
InternVL3 (1B-78B)
InternVL3.5 (1B-241BA28B)
Intern-S1 (241B)
Intern-S1-mini (8.3B)
Intern-S1-Pro (1TB)
Intern-S2-Preview (35B-A3B, 397B)
Intern-S2-Mobius (35B)
ChemVLM (8B-26B)
CogVLM-Chat (17B)
CogVLM2-Chat (19B)
MiniCPM-Llama3-V-2_5
MiniCPM-V-2_6
Phi-3-vision (4.2B)
Phi-3.5-vision (4.2B)
GLM-4V (9B)
GLM-4.1V-Thinking (9B)
GLM-5.3-Flash (320B-A18B)
Molmo (7B-D,72B)
Gemma3 (1B - 27B)
Llama4 (Scout, Maverick)

LMDeploy는 TurboMind 와 PyTorch 라는 두 가지 추론 엔진을 개발했으며, 각각 초점이 다릅니다. 전자는 추론 성능의 궁극적인 최적화를 추구하고, 후자는 순수 Python으로 개발되어 개발자 진입 장벽을 낮추는 것을 목표로 합니다.

두 엔진은 지원하는 모델 유형과 추론 데이터 타입이 다릅니다. 각 엔진의 기능은 이 표를 참고하여 실제 요구에 가장 적합한 엔진을 선택하세요.

빠른 시작
설치
conda 환경(python 3.10 - 3.13)에서 pip로 lmdeploy를 설치하는 것을 권장합니다:

conda create -n lmdeploy python=3.12 -y
conda activate lmdeploy
pip install lmdeploy
v0.13.0 부터 PyPI에 게시되는 기본 사전 빌드 wheel은 CUDA 12.8 을 기준으로 빌드되므로, GeForce RTX 50 시리즈를 포함한 일반적인 환경에서는 pip install lmdeploy 만으로 충분합니다.

오프라인 배치 추론
import lmdeploy
with lmdeploy . pipeline ( "internlm/internlm3-8b-instruct" ) as pipe :
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )
참고

기본적으로 LMDeploy는 HuggingFace에서 모델을 다운로드합니다. ModelScope의 모델을 사용하려면 pip install modelscope 로 ModelScope를 설치하고 환경 변수를 설정하세요:

export LMDEPLOY_USE_MODELSCOPE=True

openMind Hub의 모델을 사용하려면 pip install openmind_hub 로 openMind Hub를 설치하고 환경 변수를 설정하세요:

export LMDEPLOY_USE_OPENMIND_HUB=True

추론 파이프라인에 대한 자세한 내용은 여기 를 참고하세요.

튜토리얼
LMDeploy의 기본 사용법은 getting_started 섹션을 확인하세요.

자세한 사용자 가이드와 고급 가이드는 튜토리얼 을 참고하세요:

사용자 가이드

LLM 추론 파이프라인
VLM 추론 파이프라인
LLM 서빙
VLM 서빙
양자화

고급 가이드

추론 엔진 - TurboMind
추론 엔진 - PyTorch
채팅 템플릿 커스터마이징
새 모델 추가
gemm 튜닝
긴 컨텍스트 추론
멀티 모델 추론 서비스

서드파티 프로젝트

LMDeploy로 NVIDIA Jetson 플랫폼에서 LLM을 오프라인 배포: LMDeploy-Jetson

LMDeploy와 BentoML을 사용한 LLM 배포 예제 프로젝트: BentoLMDeploy

기여
LMDeploy에 대한 모든 기여에 감사드립니다. 기여 가이드라인은 CONTRIBUTING.md 를 참고하세요.

감사의 말

FasterTransformer
llm-awq
vLLM
DeepSpeed-MII

인용
@misc { 2023lmdeploy ,
title = { LMDeploy: A Toolkit for Compressing, Deploying, and Serving LLM } ,
author = { LMDeploy Contributors } ,
howpublished = { \url{https://github.com/InternLM/lmdeploy} } ,
year = { 2023 }
}
@article { zhang2025lmdeploy ,
title = { LMDeploy Accelerates Mixed-Precision LLM Inference with TurboMind } ,
author = { Zhang, Li and Jiang, Youhe and He, Guoliang and Chen, Xin and Lv, Han and Yao, Qian and Ma, Ningsheng and Fu, Fangcheng and Chen, Kai } ,
journal = { arXiv preprint arXiv:2508.15601 } ,
year = { 2025 }
}
라이선스
이 프로젝트는 Apache 2.0 라이선스 로 배포됩니다.