OpenLLM

🦾 OpenLLM: LLM 셀프 호스팅을 손쉽게

OpenLLM을 사용하면 개발자가 모든 오픈소스 LLM(Llama 3.3, Qwen2.5, Phi3 등) 또는 커스텀 모델을 단 하나의 명령으로 OpenAI 호환 API로 실행할 수 있습니다. 내장 채팅 UI, 최신 추론 백엔드, 그리고 Docker와 Kubernetes를 활용한 엔터프라이즈급 클라우드 배포를 위한 간소화된 워크플로를 제공합니다.

OpenLLM의 설계 철학을 이해해 보세요.

시작하기
다음 명령을 실행하여 OpenLLM을 설치하고 대화형으로 살펴보세요.

pip install openllm # 또는 pip3 install openllm
openllm hello

지원 모델
OpenLLM은 다양한 최신 오픈소스 LLM을 지원합니다. 또한 모델 저장소를 추가하여 OpenLLM으로 커스텀 모델을 실행할 수도 있습니다.

모델
파라미터
필요 GPU
서버 시작

deepseek
r1-671b
80Gx16
openllm serve deepseek:r1-671b

gemma2
2b
12G
openllm serve gemma2:2b

gemma3
3b
12G
openllm serve gemma3:3b

jamba1.5
mini-ff0a
80Gx2
openllm serve jamba1.5:mini-ff0a

llama3.1
8b
24G
openllm serve llama3.1:8b

llama3.2
1b
24G
openllm serve llama3.2:1b

llama3.3
70b
80Gx2
openllm serve llama3.3:70b

llama4
17b16e
80Gx8
openllm serve llama4:17b16e

mistral
8b-2410
24G
openllm serve mistral:8b-2410

mistral-large
123b-2407
80Gx4
openllm serve mistral-large:123b-2407

phi4
14b
80G
openllm serve phi4:14b

pixtral
12b-2409
80G
openllm serve pixtral:12b-2409

qwen2.5
7b
24G
openllm serve qwen2.5:7b

qwen2.5-coder
3b
24G
openllm serve qwen2.5-coder:3b

qwq
32b
80G
openllm serve qwq:32b

전체 모델 목록은 OpenLLM 모델 저장소를 참고하세요.

LLM 서버 시작하기
로컬에서 LLM 서버를 시작하려면 openllm serve 명령을 사용하고 모델 버전을 지정하세요.

참고

OpenLLM은 모델 가중치를 저장하지 않습니다. 게이트된 모델의 경우 Hugging Face 토큰(HF_TOKEN)이 필요합니다.

여기에서 Hugging Face 토큰을 생성하세요.
meta-llama/Llama-3.2-1B-Instruct와 같은 게이트된 모델에 대한 액세스를 요청하세요.
다음을 실행하여 토큰을 환경 변수로 설정하세요:
export HF_TOKEN= < your token >

openllm serve llama3.2:1b
서버는 http://localhost:3000에서 접속할 수 있으며, 상호 작용을 위한 OpenAI 호환 API를 제공합니다. OpenAI 호환 API를 지원하는 다양한 프레임워크와 도구로 엔드포인트를 호출할 수 있습니다. 일반적으로 다음을 지정해야 할 수 있습니다:

API 호스트 주소: 기본적으로 LLM은 http://localhost:3000에서 호스팅됩니다.
모델 이름: 사용하는 도구에 따라 이름이 다를 수 있습니다.
API 키: 클라이언트 인증에 사용되는 API 키입니다. 이는 선택 사항입니다.

다음은 몇 가지 예시입니다:

OpenAI Python 클라이언트
from openai import OpenAI

client = OpenAI ( base_url = 'http://localhost:3000/v1' , api_key = 'na' )

# 사용 가능한 모델을 가져오려면 다음 func를 사용하세요
# model_list = client.models.list()
# print(model_list)

chat_completion = client . chat . completions . create (
model = "meta-llama/Llama-3.2-1B-Instruct" ,
messages = [
{
"role" : "user" ,
"content" : "Explain superconductors like I'm five years old"
}
],
stream = True ,
)
for chunk in chat_completion :
print ( chunk . choices [ 0 ]. delta . content or "" , end = "" )

LlamaIndex
from llama_index . llms . openai import OpenAI

llm = OpenAI ( api_bese = "http://localhost:3000/v1" , model = "meta-llama/Llama-3.2-1B-Instruct" , api_key = "dummy" )
...

채팅 UI
OpenLLM은 http://localhost:3000/chat에서 실행된 LLM 서버를 위한 채팅 UI를 /chat 엔드포인트에서 제공합니다.

CLI에서 모델과 채팅하기
CLI에서 채팅 대화를 시작하려면 openllm run 명령을 사용하고 모델 버전을 지정하세요.

openllm run llama3:8b
모델 저장소
OpenLLM의 모델 저장소는 실행할 수 있는 사용 가능한 LLM의 카탈로그를 나타냅니다. OpenLLM은 Llama 3, Mistral, Qwen2와 같은 최신 오픈소스 LLM을 포함하는 기본 모델 저장소를 제공하며, 이 GitHub 저장소에서 호스팅됩니다. 기본 및 추가된 저장소에서 사용 가능한 모든 모델을 보려면 다음을 사용하세요:

openllm model list
로컬 모델 목록이 연결된 모든 저장소의 최신 업데이트와 동기화되도록 하려면 다음을 실행하세요:

openllm repo update
모델의 정보를 검토하려면 다음을 실행하세요:

openllm model get llama3.2:1b
기본 모델 저장소에 모델 추가하기
다른 사람이 사용할 수 있는 새 모델을 추가하여 기본 모델 저장소에 기여할 수 있습니다. 이는 LLM의 Bento를 생성하고 제출하는 것을 포함합니다. 자세한 내용은 이 예시 풀 리퀘스트를 확인하세요.

커스텀 저장소 설정하기
커스텀 모델로 OpenLLM에 자신만의 저장소를 추가할 수 있습니다. 그러려면 커스텀 LLM을 저장할 bentos 디렉터리가 있는 기본 OpenLLM 모델 저장소의 형식을 따르세요. BentoML로 Bentos를 빌드하고 모델 저장소에 제출해야 합니다.

먼저, Bentos 빌드에 관한 BentoML의 가이드라인에 따라 bentos 디렉터리에 커스텀 모델을 준비하세요. 예시는 기본 모델 저장소를 확인하고 자세한 내용은 개발자 가이드를 읽어보세요.

그런 다음, 커스텀 모델 저장소를 OpenLLM에 등록하세요:

openllm repo add < repo-name > < repo-url >
참고: 현재 OpenLLM은 공개 저장소 추가만 지원합니다.

커뮤니티
수천 명의 AI/ML 엔지니어가 서로 돕고 AI 제품 구축에 대해 이야기하는 커뮤니티 포럼 💬 에 참여하세요.

기여하기
오픈소스 프로젝트로서 새로운 기능, 버그 수정, 문서 등 모든 종류의 기여를 환영합니다. 다음은 기여하는 몇 가지 방법입니다:

GitHub 이슈를 생성하여 버그를 보고하세요.
풀 리퀘스트를 제출하거나 다른 개발자의 풀 리퀘스트 검토를 도와주세요.
OpenLLM 기본 모델 저장소에 LLM을 추가하여 다른 사용자가 여러분의 모델을 실행할 수 있도록 하세요. 풀 리퀘스트 템플릿을 참고하세요.
자세한 내용은 개발자 가이드를 확인하세요.

감사의 말
이 프로젝트는 다음 오픈소스 프로젝트를 사용합니다:

bentoml/bentoml: 프로덕션 수준의 모델 서빙
vllm-project/vllm: 프로덕션 수준의 LLM 백엔드
blrchen/chatgpt-lite: 멋진 웹 채팅 UI
astral-sh/uv: 매우 빠른 모델 요구 사항 설치

이 프로젝트의 개발자와 기여자들의 노고와 헌신에 감사드립니다.