vLLM

그들은 Hopper 및 Blackwell GPU에서 mixture-of-experts 모델을 위한 프로덕션급 추론 경로를 원했고, attention, GEMM, MoE, 샘플링에 대해 여러 백엔드(FlashAttention-2/3, cuDNN, CUTLASS, TensorRT-LLM)를 갖춘 통합 API를 제공하는 Fla

팀은 대규모 MoE 모델(DeepSeek-R1 671B, Qwen3, GLM-4.5)을 프로덕션에서 서빙해야 했지만, 서빙 스택을 처음부터 직접 조립하고 싶지는 않았다. 이들은 thu-pacman의 프로덕션급 추론 엔진인 Chitu(赤兔)를 선택하고, v0.6.0 chitu.run 실행 파일에 의존했다. 이 실행 파일은

그들은 vllm-ascend 플러그인을 사용해 Huawei Ascend 하드웨어에서 vLLM 추론을 설정했는데, 이 플러그인은 업스트림 vLLM을 Ascend NPU 디바이스 지원으로 확장한다. 작업은 공식 문서와 지원 매트릭스를 따라 호환되는 릴리스(예: v0.23.0 안정 버전 또는 v0.26.0rc1 릴리스 후보)를

그들은 내부 채팅 및 요약 기능을 위해 데이터를 호스팅 API로 전송하지 않으면서 자체 호스팅되고 OpenAI와 호환되는 추론 엔드포인트를 원했다. LMDeploy README에서 시작하여 pip로 패키지를 설치하고, Hugging Face 모델을 TurboMind 형식으로 변환한 뒤, 기존 OpenAI SDK 클라이언트