BentoML

통합 모델 서빙 프레임워크
🍱 모든 오픈소스 또는 커스텀 AI 모델로 모델 추론 API와 멀티 모델 서빙 시스템을 구축하세요. 👉 포럼에 참여하세요!

BentoML이란?
BentoML은 AI 앱과 모델 추론에 최적화된 온라인 서빙 시스템을 구축하기 위한 Python 라이브러리입니다.

🍱 모든 AI/ML 모델을 위한 API를 손쉽게 구축하세요. 몇 줄의 코드와 표준 Python 타입 힌트만으로 모든 모델 추론 스크립트를 REST API 서버로 전환할 수 있습니다.
🐳 Docker 컨테이너를 간단하게. 더 이상 의존성 지옥은 없습니다! 간단한 설정 파일로 환경, 의존성, 모델 버전을 관리하세요. BentoML은 Docker 이미지를 자동으로 생성하고, 재현성을 보장하며, 다양한 환경에 배포하는 과정을 단순화합니다.
🧭 CPU/GPU 활용률 극대화. 동적 배칭, 모델 병렬화, 다단계 파이프라인, 멀티 모델 추론 그래프 오케스트레이션과 같은 내장 서빙 최적화 기능을 활용하여 고성능 추론 API를 구축하세요.
👩‍💻 완전한 커스터마이징. 커스텀 비즈니스 로직, 모델 추론, 멀티 모델 구성으로 자체 API나 작업 큐를 손쉽게 구현하세요. 모든 ML 프레임워크, 모달리티, 추론 런타임을 지원합니다.
🚀 프로덕션 준비 완료. 로컬에서 개발, 실행, 디버깅하세요. Docker 컨테이너 또는 Kubernetes로 프로덕션에 원활하게 배포하세요.

시작하기
BentoML 설치:

# Requires Python≥3.9
pip install -U bentoml

service.py 파일에 API를 정의하세요.

import bentoml

@ bentoml . service (
image = bentoml . images . Image ( python_version = "3.11" ). python_packages ( "torch" , "transformers" ),
)
class Summarization :
def __init__ ( self ) -> None :
import torch
from transformers import pipeline

device = "cuda" if torch . cuda . is_available () else "cpu"
self . pipeline = pipeline ( 'summarization' , device = device )

@ bentoml . api ( batchable = True )
def summarize ( self , texts : list [ str ]) -> list [ str ]:
results = self . pipeline ( texts )
return [ item [ 'summary_text' ] for item in results ]
💻 로컬에서 실행
Python 가상 환경에 PyTorch와 Transformers 패키지를 설치하세요.

pip install torch transformers # additional dependencies for local run
서비스 코드를 로컬에서 실행하세요 (기본적으로 http://localhost:3000 에서 서빙):

bentoml serve
다음과 같은 출력이 표시되어야 합니다.

[INFO] [cli] Starting production HTTP BentoServer from "service:Summarization" listening on http://localhost:3000 (Press CTRL+C to quit)
[INFO] [entry_service:Summarization:1] Service Summarization initialized

이제 브라우저에서 http://localhost:3000 으로 추론을 실행하거나 Python 스크립트로 실행할 수 있습니다:

import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
print ( f"Result: { summarized_text } " )
🐳 Docker를 사용하여 배포
bentoml build 를 실행하여 필요한 코드, 모델, 의존성 설정을 Bento - BentoML의 표준화된 배포 아티팩트 - 로 패키징하세요:

bentoml build
Docker가 실행 중인지 확인하세요. 배포용 Docker 컨테이너 이미지를 생성하세요:

bentoml containerize summarization:latest
생성된 이미지를 실행하세요:

docker run --rm -p 3000:3000 summarization:latest
예제

LLM: Llama 3.2 , Mistral , DeepSeek Distil 등.
이미지 생성: Stable Diffusion 3 Medium , Stable Video Diffusion , Stable Diffusion XL Turbo , ControlNet , LCM LoRAs .
임베딩: SentenceTransformers 및 ColPali
오디오: ChatTTS , XTTS , WhisperX , Bark
컴퓨터 비전: YOLO 및 ResNet
고급 예제: Function calling , LangGraph , CrewAI

더 많은 샘플 코드와 사용법은 전체 목록 을 확인하세요.

고급 주제

모델 구성
워커 및 모델 병렬화
적응형 배칭
GPU 추론
분산 서빙 시스템
모델 로딩 및 Model Store
관측성

더 많은 튜토리얼과 가이드는 문서 를 참조하세요.

커뮤니티
커뮤니티 포럼 💬 에 참여하세요. 수천 명의 AI/ML 엔지니어가 서로 돕고, 프로젝트에 기여하며, AI 제품 구축에 대해 이야기합니다.

버그를 보고하거나 기능 요청을 제안하려면
GitHub Issues 를 사용하세요.

기여하기
프로젝트에 기여하는 방법은 다양합니다:

버그를 보고하고 관련 이슈에 "좋아요"를 눌러주세요.
이슈를 조사하고 다른 개발자의 pull request 를 리뷰하세요.
GitHub pull request를 제출하여 프로젝트에 코드나 문서를 기여하세요.
자세한 내용은 기여 가이드 및 개발 가이드 를 확인하세요.
포럼에서 피드백을 공유하고 로드맵 계획을 논의하세요.

모든 놀라운 기여자분들께 감사드립니다!

사용 추적 및 피드백
BentoML 프레임워크는 커뮤니티가 제품을 개선하는 데 도움이 되는 익명 사용 데이터를 수집합니다. BentoML의 내부 API 호출만 보고됩니다. 사용자 코드, 모델 데이터, 모델 이름, 스택 트레이스와 같은 민감한 정보는 제외됩니다. 사용 추적에 사용되는 코드는 다음과 같습니다. --do-not-track CLI 옵션으로 사용 추적을 거부할 수 있습니다:

bentoml [command] --do-not-track
또는 환경 변수를 설정하여:

export BENTOML_DO_NOT_TRACK=True
라이선스
Apache License 2.0