FastDeploy

English | 简体中文

설치 안내
|
빠른 시작
|
지원 모델 목록

FastDeploy PaddlePaddle 대규모 모델 고효율 배포套件
최신 소식
[2026-03] FastDeploy v2.5全新 출시! Qwen3-VL 및 Qwen3-VL MoE 모델 배포 지원 추가, W4AFP8 양자화 방법 추가, 강화학습 훈련 지원 역량 강화, 170+ 버그 수정 및 성능 최적화 포함, 전체 업그레이드 내용은 v2.5 ReleaseNote 참조.

[2026-01] FastDeploy v2.4: DeepSeek V3 및 Qwen3-MoE 모델의 PD 분리 배포 추가, MTP 투기적 디코딩 역량 강화, 다중 하드웨어 플랫폼에서의 MoE 추론 및 멀티모달 프리픽스 캐시 성능 전면 최적화, 전체 업그레이드 내용은 v2.4 ReleaseNote 참조.

[2025-11] FastDeploy v2.3: ERNIE-4.5-VL-28B-A3B-Thinking 및 PaddleOCR-VL-0.9B 두 대형 모델의 다중 하드웨어 플랫폼 배포 지원 추가, 전방위 추론 성능 추가 최적화, 더 많은 배포 기능 및 사용 편의성 향상 제공, 전체 업그레이드 내용은 v2.3 ReleaseNote 참조.

[2025-09] FastDeploy v2.2: HuggingFace 생태계 모델 호환, 성능 추가 최적화, baidu/ERNIE-21B-A3B-Thinking 지원 추가!

[2025-08] FastDeploy v2.1:全新的 KV Cache 스케줄링 전략, 더 많은 모델의 PD 분리 및 CUDA Graph 지원, 昆仑, 海光 등 더 많은 하드웨어 지원 강화, 서비스 및 추론 엔진 성능 전방위 최적화.

소개
FastDeploy는 PaddlePaddle 기반의 대규모 언어 모델(LLM) 및 비전 언어 모델(VLM) 추론 배포 툴킷으로, 즉시 사용 가능한 프로덕션급 배포 솔루션을 제공하며, 핵심 기술 특성은 다음과 같습니다:

🚀 로드 밸런싱 방식 PD 분해: 산업급 솔루션, 컨텍스트 캐시 및 동적 인스턴스 역할 전환 지원, SLO 달성과 처리량을 보장하면서 리소스 활용률 최적화
🔄 통합 KV 캐시 전송: 경량 고성능 전송 라이브러리, 지능형 NVLink/RDMA 선택 지원
🤝 OpenAI API 서비스 및 vLLM 호환: 단일 명령 배포, vLLM 인터페이스 호환
🧮 전체 양자화 형식 지원: W8A16, W8A8, W4A16, W4A8, W2A16, FP8 등
⏩ 고급 가속 기술: 투기적 디코딩, 다중 토큰 예측(MTP) 및 청크 프리필
🖥️ 다중 하드웨어 지원: NVIDIA GPU, 昆仑芯XPU, 海光DCU, 天数智芯GPU, 燧原GCU, 沐曦GPU, 인텔 Gaudi 등

요구 사항

운영체제: Linux
Python: 3.10 ~ 3.12

설치
FastDeploy는 英伟达(NVIDIA) GPU, 昆仑芯(Kunlunxin) XPU, 天数(Iluvatar) GPU, 燧原(Enflame) GCU, 海光(Hygon) DCU 및 기타 하드웨어에서 추론 배포를 지원합니다. 상세 설치 안내는 다음과 같습니다:

英伟达 GPU
昆仑芯 XPU
天数 CoreX
燧原 S60
海光 DCU
沐曦 GPU
인텔 Gaudi

시작 가이드
문서를 통해 FastDeploy 사용 방법을 알아보세요:

10분 빠른 배포
ERNIE-4.5 배포
ERNIE-4.5-VL 배포
오프라인 추론
온라인 서비스
모범 사례

지원 모델 목록
문서를 통해 모델 다운로드 방법, torch 형식 지원 방법 등을 알아보세요:

모델 지원 목록

고급 사용법

양자화
분리형 배포
투기적 디코딩
프리픽스 캐시
청크 프리필
로드 밸런싱 스케줄링 Router
글로벌 Cache 풀링

감사의 말
FastDeploy는 Apache-2.0 오픈소스 라이선스에 따라 라이선스가 부여됩니다. 개발 과정에서 인터페이스 호환성을 유지하기 위해 vLLM의 일부 코드를 참고하고 차용하였으며, 이에 깊은 감사를 표합니다.