llama.ui

🦙 llama.ui - 로컬 AI 컴패니언을 위한 미니멀 인터페이스 ✨
복잡한 AI 설정에 지치셨나요? 😩 llama.ui는 llama.cpp 기반의 대규모 언어 모델(LLM)과 상호작용할 수 있는 아름답고 ✨ 사용자 친화적인 인터페이스를 제공하는 오픈소스 데스크톱 애플리케이션입니다. 단순함과 프라이버시 🔒를 위해 설계된 이 프로젝트를 통해 클라우드 없이 🚫☁️ 로컬 머신에서 강력한 양자화 모델과 대화할 수 있습니다!

⚡ TL;DR
이 저장소는 llama.cpp WebUI의 포크로, 다음을 제공합니다:

새로운 스타일 🎨
추가 기능 ⚙️
더 부드러운 경험 ✨

🌟 주요 기능

멀티 프로바이더 지원 : llama.cpp, LM Studio, Ollama, vLLM, OpenAI 등과 함께 작동합니다!

대화 관리 :

대화를 위한 IndexedDB 저장소
대화 분기 지원 (기록을 보존하면서 메시지 편집)
가져오기/내보내기 기능

풍부한 UI 컴포넌트 :

구문 강조가 포함된 Markdown 렌더링
LaTeX 수식 지원
파일 첨부 (텍스트, 이미지, PDF)
DaisyUI 테마를 통한 테마 커스터마이징
모바일 및 데스크톱을 위한 반응형 디자인

고급 기능 :

오프라인 기능을 갖춘 PWA 지원
Server-Sent Events를 통한 스트리밍 응답
커스터마이징 가능한 생성 파라미터
성능 지표 표시

프라이버시 중심 : 모든 데이터는 브라우저에 로컬로 저장됩니다 - 클라우드가 필요 없습니다!

현지화된 인터페이스 : 가장 인기 있는 언어 팩이 앱에 포함되어 있으며, 언제든지 언어를 선택할 수 있습니다.

🚀 60초 만에 시작하기!
💻 독립 실행 모드 (설치 불필요)

✨ 호스팅된 UI 인스턴스를 엽니다
⚙️ 톱니바퀴 아이콘 → 일반 설정을 클릭합니다
🌐 "Base URL"을 로컬 llama.cpp 서버로 설정합니다 (예: http://localhost:8080 )
🎉 AI와 대화를 시작하세요!

🔧 로컬 인스턴스에 HTTPS 마법이 필요하신가요? 이 mitmproxy 핵을 사용해 보세요!

이런! 브라우저는 HTTPS 사이트에서의 HTTP 요청을 차단합니다 😤. llama.cpp는 HTTP를 사용하므로 브리지 🌉가 필요합니다. 트래픽 마법사 mitmproxy를 소개합니다! 🧙‍♂️

로컬 설정:

mitmdump -p 8443 --mode reverse:http://localhost:8080/
Docker 빠른 시작:

docker run -it -p 8443:8443 mitmproxy/mitmproxy mitmdump -p 8443 --mode reverse:http://localhost:8080/
Docker Compose를 활용한 프로 팁:

services :
mitmproxy :
container_name : mitmproxy
image : mitmproxy/mitmproxy:latest
ports :
- ' 8443:8443 ' # 🔁 포트 마법이 여기서 일어납니다!
command : mitmdump -p 8443 --mode reverse:http://localhost:8080/
# ... (기타 설정)

⚠️ 인증서 탱고 타임!

http://localhost:8443 을 방문합니다
"Trust this certificate"를 클릭합니다 🤝
🦙 llama.ui 페이지를 재시작합니다 🔄
성공! 💸

짜잔! HTTPS 장벽을 해킹했습니다! 🎩✨

🖥️ 완전한 로컬 설치 (파워 유저 에디션)

📦 릴리스 페이지에서 최신 릴리스를 받습니다
🗜️ 아카이브의 압축을 풉니다 (설렘을 느껴보세요! 🤩)
⚡ llama.cpp 서버를 실행합니다:

Linux/MacOS:

./server --host 0.0.0.0 \
--port 8080 \
--path " /path/to/llama.ui " \
-m models/llama-2-7b.Q4_0.gguf \
--ctx-size 4096
Windows:

llama-server ^
--host 0.0.0.0 ^
--port 8080 ^
--path " C:\path\to\llama.ui " ^
-m models\mistral-7b.Q4_K_M.gguf ^
--ctx-size 4096

🌐 http://localhost:8080 을 방문하여 새로운 AI 친구를 만나보세요! 🤖❤️

🌟 멋진 커뮤니티에 참여하세요!
우리는 함께 특별한 무언가를 만들고 있습니다! 🚀

🎯 PR을 환영합니다! (진심으로, 모든 기여에 하이파이브를 합니다! ✋)
🐛 버그 잡기? 네, 부탁드립니다! 🧯
📚 문서 영웅이 필요합니다! 🦸
✨ 커밋으로 마법을 부리세요! (Conventional Commits 를 따르세요)

🛠️ 개발자 원더랜드
사전 요구사항:

💻 macOS/Windows/Linux
⬢ Node.js >= 22
🦙 로컬 llama.cpp 서버가 실행 중이어야 합니다

미래를 빌드하세요:

npm ci # 📦 의존성 가져오기
npm run build # 🔨 마법 만들기
npm start # 🎬 라이브 코딩의 행복을 위한 개발 서버 실행 (http://localhost:5173)! 🔥
🧰 기본값 사전 구성
의견이 반영된 설정으로 앱을 재배포할 계획인가요? src/config 아래의 모든 JSON은
빌드 시 변경 불가능한 기본값으로 포함됩니다 ( src/config/index.ts 참조).

이렇게 포함된 기본값에 비어 있지 않은 baseUrl 이 있으면, 첫 로드 시 추론 서버가 자동으로 동기화되어
수동 입력 없이 모델 메타데이터를 가져옵니다.

🏗️ 아키텍처
핵심 기술

프론트엔드 : React with TypeScript
스타일링 : Tailwind CSS + DaisyUI
상태 관리 : React Context API
라우팅 : React Router
저장소 : Dexie.js를 통한 IndexedDB
빌드 도구 : Vite

주요 컴포넌트

App Context : 전역 구성 및 설정 관리
Inference Context : 추론 프로바이더와의 API 통신 처리
Message Context : 대화 상태 및 메시지 생성 관리
Storage Utils : IndexedDB 작업 및 localStorage 관리
Inference API : 추론 서버와 통신하기 위한 HTTP 클라이언트

📜 라이선스 - 자유 우선!
llama.ui는 자랑스럽게 MIT 라이선스를 따릅니다 - 멋진 것들을 만들어 보세요! 🚀 자세한 내용은 LICENSE를 참조하세요.

프라이빗 AI를 믿는 사람들이 ❤️와 ☕로 만들었습니다