llamafile

llamafile

llamafile을 사용하면 단일 파일로 LLM을 배포하고 실행할 수 있습니다.

llamafile은 Mozilla Builders 프로젝트이며(발표 블로그 게시물 참조), 현재 Mozilla.ai에 의해 개편되었습니다.

우리의 목표는 오픈 LLM을 개발자와 최종 사용자 모두에게 훨씬 더
접근하기 쉽게 만드는 것입니다. 이를 위해 llama.cpp와 Cosmopolitan Libc를
하나의 프레임워크로 결합하여 LLM의 모든 복잡성을
대부분의 운영 체제와 CPU 아키텍처에서 설치 없이 로컬로 실행되는
단일 파일 실행 파일("llamafile"이라고 함)로 축소했습니다.

llamafile에는 whisperfile도 포함되어 있는데, 이는 whisper.cpp와 동일한 Cosmopolitan 패키징을 기반으로 구축된 단일 파일 음성-텍스트 변환 도구입니다. 설치 없이 동일한 모든 플랫폼에서 오디오 파일의 전사 및 번역을 지원합니다.

v0.10.*
0.10.0부터 시작하는 llamafile 버전은 새로운 빌드 시스템을 사용하며, 이를 통해 코드를 llama.cpp의 최신 버전과 더 쉽게
정렬된 상태로 유지하는 것을 목표로 합니다. 이는 더 최신 모델과 기능을 지원한다는 의미이지만,
동시에 여러분이 익숙했던 일부 기능이 빠져 있을 수 있습니다(수행된 작업에 대한 개략적인 설명은 이 문서를 확인하세요). "클래식 경험"이 더 좋았다면,
릴리스 페이지에서 항상 이전 버전에 접근할 수 있습니다. 미리 빌드된 llamafile은 항상
어떤 버전의 서버와 함께 번들로 제공되었는지 표시하므로(0.9.* 예시, 0.10.* 예시), 다운로드하는 소프트웨어의 버전을 항상 알 수 있습니다.

여러분의 의견을 듣고 싶습니다!
새로운 사용자이든 오랜 팬이든, llamafile에서 가장 가치 있다고 생각하는 점과 더 유용하게 만들 수 있는 방법을 공유해 주세요.
블로그를 통해 자세히 읽어보고 여기 토론에 여러분의 목소리를 더해 주세요.

빠른 시작
몇 분 만에 첫 llamafile을 다운로드하고 실행하세요:

# 예제 모델 다운로드 (Qwen3.5 0.8B)
curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile

# 실행 가능하게 만들기 (macOS/Linux/BSD)
chmod +x Qwen3.5-0.8B-Q8_0.llamafile

# 실행하기
./Qwen3.5-0.8B-Q8_0.llamafile
이 모델을 선택한 이유는 우리가 llamafile을 빌드한 것 중 가장 작은 모델이므로
여러분에게 별다른 설정 없이 작동할 가능성이 가장 높기 때문입니다.
강력한 하드웨어 및/또는 GPU가 있다면 더 크고 표현력이 뛰어난 모델을 자유롭게 선택하세요.
더 정확한 응답을 제공할 것입니다.

Windows 사용자: 실행하기 전에 파일 이름을 변경하여 .exe 확장자를 추가하세요.

참고 - Windows에서는 4GB 미만의 실행 파일만 실행할 수 있으므로 4GB를 초과하는 llamafile은 작동하지 않습니다. llamafile 바이너리를 다운로드하고 외부 가중치/모델(GGUF)과 함께 실행하세요.

문서
docs.mozilla.ai/llamafile에서 전체 문서를 확인하거나 다음 하위 섹션 중 하나로 바로 이동하세요:

빠른 시작
미리 빌드된 llamafile
llamafile 실행하기
llamafile 생성하기
소스 설치
기술 세부 사항
지원 시스템
문제 해결
Whisperfile

라이선스
llamafile 프로젝트는 Apache 2.0 라이선스이지만,
llama.cpp 및 whisper.cpp에 대한 우리의 변경 사항은 MIT 라이선스(프로젝트 자체와 마찬가지로)로
제공되며, 향후 필요할 경우 호환성과 업스트림 가능성을 유지하기 위함입니다.

이 페이지의 llamafile 로고는 DALL·E 3의 도움을 받아 생성되었습니다.