280개 이상의 piece를 MCP 서버로 노출하는 오픈소스 AI 워크플로 자동화.
한국어는 runchr 제공 번역입니다. 원문 README는 English tool page.
vllm-ascend
Huawei Ascend NPU에서 vLLM을 실행할 수 있게 해주는 커뮤니티 유지 관리 하드웨어 플러그인으로, 설치, 모델 서빙, 대규모 expert parallelism을 다룹니다.
Runtime
- Runs
- vLLM inference and serving on Huawei Ascend NPUs
- Hardware
- Huawei Ascend NPUs
- API
- vLLM / OpenAI-compatible serving
한국어 README 번역이 아직 없습니다. English README
Other tools that do the same work
Python과 .NET에서 프로덕션 AI 에이전트와 멀티 에이전트 워크플로를 구축하세요.
Python 프레임워크로, 구조화된 방식으로 신뢰할 수 있는 GenAI 에이전트 백엔드를 구축하기 위한
Agent stacks with this tool(1)View graph
vLLM 서빙을 위한 Ascend NPU 추론 스택
From README links그들은 vllm-ascend 플러그인을 사용해 Huawei Ascend 하드웨어에서 vLLM 추론을 설정했는데, 이 플러그인은 업스트림 vLLM을 Ascend NPU 디바이스 지원으로 확장한다. 작업은 공식 문서와 지원 매트릭스를 따라 호환되는 릴리스(예: v0.23.0 안정 버전 또는 v0.26.0rc1 릴리스 후보)를
View stack
No comments yet.
to comment.