chitu

Chitu「赤兔」

中文 | English

Chitu「赤兔」는 효율성, 유연성, 사용성을 중점으로 하는 고성능 대규모 모델 추론 프레임워크입니다.

마일스톤

[2026/07/02] v0.6.0 릴리스, chitu.run 실행 파일 추가: 단일 파일로 다중 노드, 다중 인스턴스, PD 분리 등 복잡한 작업을 시작할 수 있습니다.
[2026/02/06] v0.5.1 릴리스, Moore Threads GPU 지원.
[2025/12/12] v0.5.0 릴리스, 클러스터 배포 시나리오의 성능 중점 향상.
[2025/08/01] v0.4.0 릴리스, 일체형 추론 배포 시나리오의 성능과 안정성을 대폭 향상, Ascend, NVIDIA, MetaX, Hygon 지원, DeepSeek, Qwen, GLM, Kimi 등 모델 지원.
[2025/07/28] v0.3.9 릴리스, 최초로 Huawei Ascend 910B 추론 배포에서 Zhipu GLM-4.5 MoE 모델 지원.
[2025/06/12] v0.3.5 릴리스, Ascend 910B 완전한 네이티브 지원 제공, Qwen3 시리즈 모델 고성능 추론 솔루션 제공.
[2025/04/29] v0.3.0 릴리스, FP4를 FP8, BF16으로 온라인 변환하는 고효율 연산자 구현 추가, DeepSeek-R1 671B의 FP4 양자화 버전 지원.
[2025/04/18] v0.2.2 릴리스, CPU+GPU 이기종 하이브리드 추론 지원 추가, 단일 카드로 DeepSeek-R1 671B 추론 구현.
[2025/03/14] v0.1.0 릴리스, DeepSeek-R1 671B 지원, FP8을 BF16으로 온라인 변환하는 고효율 연산자 구현 제공.

소개
赤兔는 「프로덕션급 대규모 모델 추론 엔진」을 지향하며, 기업 AI 도입의 소규모 실험부터 대규모 배포까지의 점진적 요구를 충분히 고려하여 다음의 중요한 특성 제공에 중점을 둡니다:

다양한 컴퓨팅 파워 적응 : NVIDIA 최신 플래그십부터 구형까지의 다양한 제품군을 지원할 뿐만 아니라 국산 칩에도 최적화 지원을 제공합니다.
전 시나리오 확장성 : 순수 CPU 배포, 단일 GPU 배포부터 대규모 클러스터 배포까지 赤兔 엔진은 확장 가능한 솔루션을 제공합니다.
장기 안정 운영 : 실제 프로덕션 환경에 적용 가능하며, 안정성이 동시 비즈니스 트래픽을 감당할 수 있습니다.

프로젝트 팀은 광범위한 사용자 및 오픈소스 커뮤니티에서 제시한 소중한 의견과 제안에 감사드리며, 赤兔 추론 엔진을 지속적으로 개선할 것입니다.
그러나 팀 구성원의 역량 제약으로 인해 모든 사용자가 사용 중 겪는 문제를 적시에 해결하는 것을 보장할 수 없습니다.
전문 기술 서비스가 필요하시면 [email protected]로 연락해 주시기 바랍니다.

테스트 데이터
赤兔 개발 팀이 테스트한 성능 데이터 를 참고하시기 바라며, 귀하의 자체 테스트 데이터 도 공유해 주시기 바랍니다.

성능 데이터는 귀하의 하드웨어 구성, 소프트웨어 버전, 테스트 부하와 관련이 있으며, 여러 번의 테스트 결과에 변동이 있을 수 있습니다.

설치 및 사용
chitu.run 을 사용한 배포를 권장하며, Releases 의 Assets 페이지에서 다운로드하십시오.

전체 설치 및 사용 설명은 개발 매뉴얼 을 참고하십시오.

지원 모델 보기
더 많은 모델은 지원 모델 을 참고하십시오.

개발 참여
赤兔 프로젝트는 오픈소스 커뮤니티의朋友们의 프로젝트 공동 구축 참여를 환영하며, 기여 가이드 를 참고하십시오.

교류 및 토론
질문이나 우려 사항이 있으시면 issue를 제출해 주시기 바랍니다.

QR 코드를 스캔하여 赤兔 교류 WeChat 그룹에 참여하실 수도 있습니다:

라이선스
본 프로젝트는 Apache License v2.0 라이선스를 채택합니다 - 자세한 내용은 LICENSE 파일을 참조하십시오.

본 코드 저장소는 또한 다른 오픈소스 프로젝트의 일부 코드 조각을 참조하며, 관련 저작권 정보는 코드에 SPDX 형식으로 표기되어 있습니다. 이러한 코드 조각의 라이선스 정보는 LICENSES/ 디렉토리에서 확인할 수 있습니다.

본 코드 저장소는 또한 다른 오픈소스 라이선스를 따르는 서드파티 서브모듈을 포함합니다. 이러한 서브모듈은 third_party/ 디렉토리에서 확인할 수 있으며, 해당 디렉토리에는 각각의 라이선스 파일이 포함되어 있습니다.

자주 묻는 질문
中文 | English

감사의 말
Huawei, MetaX, Hygon, Enflame, Zhipu, China Telecom, Parallel Technology 등 각 측의 도움에 매우 감사드립니다.

Chitu를 구축하는 과정에서 우리는 다음 프로젝트(알파벳 순)에서 많은 것을 배우고 일부 함수를 재사용했습니다:

DeepSeek
FlashAttention
FlashInfer
KTransformers
llama.cpp
SGLang
TensorRT-LLM
vLLM

우리는 오픈소스 커뮤니티에 더 효율적이고, 더 유연하며, 더 호환성 있고, 더 안정적인 대규모 모델 추론 배포 솔루션을 지속적으로 기여할 것입니다.