llama.cpp

llama.cpp

C/C++ 기반 LLM 추론

ggml / ops / 메인테이너 PR / 개발 통계 / lib llama API / llama-server REST API

빠른 시작
머신에 llama.cpp를 설치하는 몇 가지 방법:

# curl
curl -LsSf https://llama.app/install.sh | sh

# powershell
irm https://llama.app/install.ps1 | iex

https://llama.app 을 방문하여 안내를 따르세요
Docker로 실행 - Docker 문서 참고
releases 페이지에서 사전 빌드된 바이너리 다운로드
이 저장소를 클론하여 소스에서 빌드 - 빌드 가이드 확인

설치 후:

# Hugging Face에서 모델을 직접 다운로드하고 실행
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# OpenAI 호환 API 서버 실행
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

llama cli를 사용한 VLM 세션

llama serve에 대한 내장 웹 UI

설명 llama.cpp의 주요 목표는 다양한 하드웨어에서 - 로컬 및 클라우드 모두 - 최소한의 설정과 최첨단 성능으로
LLM(및 VLM) 추론을 가능하게 하는 것입니다.

의존성 없는 순수 C/C++ 구현
Apple silicon은 일급 시민 - ARM NEON, Accelerate 및 Metal 프레임워크를 통해 최적화
x86 아키텍처를 위한 AVX, AVX2, AVX512 및 AMX 지원
RISC-V 아키텍처를 위한 RVV, ZVFH, ZFH, ZICBOP 및 ZIHINTPAUSE 지원
더 빠른 추론과 감소된 메모리 사용을 위한 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, 8-bit 정수 양자화
NVIDIA GPU에서 LLM을 실행하기 위한 커스텀 CUDA 커널 (HIP를 통한 AMD GPU 및 MUSA를 통한 Moore Threads GPU 지원)
Vulkan 및 SYCL 백엔드 지원
총 VRAM 용량보다 큰 모델을 부분적으로 가속하기 위한 CPU+GPU 하이브리드 추론
llama.cpp 프로젝트는 ggml 라이브러리 위에 구축되었습니다.

지원되는 백엔드

백엔드
대상 디바이스

BLAS
전체

BLIS
전체

CANN
Ascend NPU

CUDA
Nvidia GPU

HIP
AMD GPU

Hexagon
Snapdragon

IBM zDNN
IBM Z & LinuxONE

MUSA
Moore Threads GPU

Metal
Apple Silicon

OpenCL
Adreno GPU

OpenVINO [진행 중]
Intel CPU, GPU 및 NPU

RPC
전체

SYCL
Intel GPU

VirtGPU
VirtGPU APIR

Vulkan
GPU

WebGPU
전체

ZenDNN
AMD CPU

문서
도구

cli
completion
server
GBNF 문법

개발

빌드 방법
Docker에서 실행
Android에서 빌드
멀티 GPU 사용
성능 문제 해결
GGML 팁 & 트릭
XCFramework
Completions
모델
릴리스 프로세스

기여

기여자는 PR을 열 수 있습니다
협력자는 기여도에 따라 초대됩니다
메인테이너는 llama.cpp 저장소의 브랜치에 푸시하고 PR을 master 브랜치에 병합할 수 있습니다
이슈, PR 및 프로젝트 관리에 대한 모든 도움을 환영합니다!
자세한 내용은 CONTRIBUTING.md를 참고하세요

감사의 글

yhirose/cpp-httplib - 단일 헤더 HTTP 서버, llama-server에서 사용 - MIT 라이선스
nothings/stb - 단일 헤더 이미지 포맷 디코더, 멀티모달 서브시스템에서 사용 - 퍼블릭 도메인
nlohmann/json - 단일 헤더 JSON 라이브러리, 다양한 도구/예제에서 사용 - MIT 라이선스
mackron/miniaudio - 단일 헤더 오디오 포맷 디코더, 멀티모달 서브시스템에서 사용 - 퍼블릭 도메인
sheredom/subprocess.h - C 및 C++용 단일 헤더 프로세스 실행 솔루션 - 퍼블릭 도메인