Rapid-MLX

Rapid-MLX
Mac에서 로컬 모델로 Codex, Claude Code, OpenCode, Pi, Hermes, Crush 또는 Goose를 실행하세요:
rapid-mlx launch <agent>

기본 Apple Silicon Mac에 curl -fsSL https://rapidmlx.com/install.sh | bash 로 설치하고, 터미널을 재시작한 뒤(또는 export PATH="$HOME/.local/bin:$PATH" 실행), 원하는 코딩 에이전트를 설치하고 예를 들어 rapid-mlx launch codex 를 실행하세요. 내일도 같은 명령을 실행하면 됩니다. rapid-mlx launch codex --remove 는 기존 Codex 설정을 변경하지 않고 Rapid의 전용 프로필을 제거합니다. 각 에이전트별 원커맨드 가이드 . 모델을 다운로드하거나 로드하거나 에이전트의 첫 프롬프트를 처리하는 동안 첫 응답이 더 오래 걸릴 수 있습니다.

Rapid-MLX는 Apple Silicon용 오픈소스(Apache 2.0) OpenAI 및 Anthropic 호환 LLM 추론 서버로, MLX 기반이며 코딩 에이전트를 위한 안정적인 도구 호출에 초점을 맞춥니다.

Apple의 MLX(mlx-lm)보다 최대 4배 빠르고, 일반적인 작업에서는 1.5배 빠릅니다 — 동일한 모델, 동일한 가중치.

디코드 속도, Mac mini M4 Pro에서 Qwen3.5-9B 4비트, 그리디 디코딩, 두 서버 모두 기본값 — 작업별 결과, 방법, 원시 데이터 .

Qwen3.5-9B, Qwen3.8-27B, Qwen3.6-35B에서 oMLX 및 LM Studio보다 빠른 디코드

Mac Studio M5 Max(36 GB)에서 측정한 속도 — Rapid-MLX 0.16.1 대
oMLX 0.7.0 및 LM Studio, 각 모델에 동일한 기본 4비트 가중치 사용.

모델
지표
Rapid-MLX
oMLX
LM Studio

Qwen3.5-9B
디코드 (tok/s)
115.5
77.9
81.0

Qwen3.5-9B
4 스트림 (tok/s)
248.2
224.6
230.0

Qwen3.8-27B
디코드 (tok/s)
37.9
25.3
26.0

Qwen3.8-27B
4 스트림 (tok/s)
82.8
75.3
69.7

Qwen3.6-35B
디코드 (tok/s)
173.4
145.8
124.5

Qwen3.6-35B
4 스트림 (tok/s)
293.9
281.9
265.6

Qwen3.6-35B
2K 프롬프트 첫 토큰 (초, 낮을수록 좋음)
0.55
1.14
1.49

엔진당 단일 실행; Rapid의 MTP 텍스트 모드, oMLX의 SSD 캐시, LM Studio의 설정된 컨텍스트 및 4개 병렬 슬롯을 사용한 기본 서빙 모드. 전체 결과 및 원시 데이터 .

rapidmlx.com ·
문서 ·
모델 미러 ·
데스크톱 앱 ·
Discord

비교
기능 사실만, 대부분 각 프로젝트 자체 문서에서 발췌
(2026-09-26 기준, 출처는 아래). 속도는 위의 측정 결과를 참조하세요.

Rapid-MLX
oMLX
Ollama
LM Studio
mlx-lm ( mlx_lm.server )

라이선스
Apache-2.0
Apache-2.0
MIT
클로즈드 소스 앱; MLX 엔진과 lms CLI는 MIT
MIT

Mac에서의 추론 엔진
MLX
MLX
GGML/GGUF 엔진, safetensors 모델용 MLX 엔진 추가
llama.cpp (GGUF) 및 MLX 엔진
MLX

로컬 API
OpenAI ( /v1/chat/completions , /v1/responses ) 및 Anthropic Messages ( /v1/messages )
OpenAI 및 Anthropic Messages
Ollama API, OpenAI 호환, Anthropic 호환(일부)
OpenAI 호환, Anthropic 호환, LM Studio REST API
OpenAI 스타일 채팅 API

GUI
Rapid-MLX Desktop (macOS 앱)
macOS 메뉴 바 앱 및 웹 관리 패널
데스크톱 앱 (macOS, Windows)
데스크톱 앱
없음 (CLI / Python)

동시 요청
연속 배칭
연속 배칭 (mlx-lm BatchGenerator )
모델당 병렬 요청 ( OLLAMA_NUM_PARALLEL , 기본값 1)
연속 배칭 (llama.cpp 엔진; MLX 엔진은 0.4.2부터)
연속 배칭 ( BatchGenerator ); 양자화된 KV 캐시로 한 번에 하나의 요청

프롬프트 / KV 캐시
메모리 내 radix 프리픽스 캐시(하이브리드 모델용 상태 스냅샷 포함), 종료 시 디스크에 저장하고 시작 시 복원; 양자화된 KV 캐시
계층형 KV 캐시: 메모리 내 핫 티어와 SSD 콜드 티어, 재시작 간 재사용
이전 요청의 프롬프트 KV 캐시 재사용; KV 캐시 양자화 ( OLLAMA_KV_CACHE_TYPE )
—
메모리 내 프롬프트 캐시; 양자화된 KV 캐시 ( --kv-bits )

도구 호출 파싱
27개 파서 모듈, 자동 감지 폴백 포함 ( rapid_mlx/tool_parsers )
mlx-lm 형식 및 README에 나열된 자동 감지 패밀리
도구 호출
OpenAI 호환 API를 통한 도구 사용
토크나이저가 도구 호출 지원을 선언한 모델에 대한 도구 호출

출처: oMLX README ·
Ollama OpenAI 및 Anthropic 호환성, FAQ , MLX 엔진 ·
LM Studio Anthropic 호환성 , 병렬 요청 , 0.4.2 변경 로그 , 앱 약관 , mlx-engine ·
mlx-lm 서버 문서 및 server.py .
Ollama 프롬프트 캐시 재사용은 벤치마크 노트 에서 발췌.
— = 이 표에서 검증되지 않음. 오류를 발견하셨나요? 이슈를 열어 주세요 .

대 Apple의 mlx-lm: 작업별 결과 및 원시 데이터는 https://rapidmlx.com/compare/mlx-lm 에서 확인하세요.

AI 스택과 함께 작동
Rapid-MLX를 에이전트, 앱 또는 자체 코드의 로컬 백엔드로 사용하세요.
클라이언트가 OpenAI 또는 Anthropic 호환 엔드포인트를 지원한다면, 보통
어댑터 없이 Rapid-MLX를 사용할 수 있습니다.

Claude Desktop의 경우, 앱 내 Gateway 를 설정하세요.

다섯 개의 Tier-1 에이전트가 릴리스 전에 실제 가중치로 엔드투엔드 테스트됩니다.
정확한 API 범위와 설정 상태는 테스트된 호환성 매트릭스
를 참조하세요.

설치
데스크톱 — macOS (Apple Silicon)
하나의 앱에서 로컬 채팅, 모델 관리, 비전, 파일, 음성,
이미지 생성을 하는 가장 쉬운 방법.

Rapid-MLX Desktop 다운로드
서명된 데스크톱 릴리스 둘러보기
M 시리즈 Mac 필요; Windows 및 Linux 데스크톱 빌드는 아직 제공되지 않음
Share Compute 설정 및 크레딧 원장

CLI 및 서버 — macOS (Apple Silicon)
# Homebrew — homebrew-core의 사전 빌드 bottle
brew install rapid-mlx

# 또는 가이드 설치 프로그램 — RAM을 감지하고 시작 모델을 추천
curl -fsSL https://rapidmlx.com/install.sh | bash
둘 다 동일한 rapid-mlx CLI를 설치합니다. uv 또는 pip 를 선호하거나,
실행 전에 설치 프로그램을 검증하고 싶다면 대체 설치 방법
및 설치 보안 을 참조하세요.

가이드 설치 프로그램은 이 Mac에 이미 캐시된 실행 가능한 모델이 RAM 티어에
맞으면 그것을 우선 사용합니다. 그렇지 않으면 첫 채팅용 빠른 다운로드는
16 GB 미만에서 lfm2.5-1b-4bit, 16 GB 이상에서 qwen3.5-4b-4bit입니다; 더 큰
품질 선택지는 rapid-mlx recipe 및 모델 선택기를 통해 계속 사용할 수 있습니다.

커뮤니티 벤치마크 제출
자신의 Apple Silicon Mac에서 표준화된 결과를 공유하여 다른 Mac 사용자가
모델을 선택하도록 도와주세요. 명시적으로 게시를 선택할 때까지 실행은 로컬에
유지됩니다; GitHub 계정이나 벤치마크 JSON 풀 리퀘스트가 필요하지 않습니다.

데스크톱: 설정 → 실험실 에서 커뮤니티 벤치마크를 활성화한
다음, 커뮤니티 벤치마크 탭에서 모델을 선택하고 실행하고, 내 결과 에서
결과를 검토하고, 공유하려면 게시 를 선택하세요.
CLI: rapid-mlx benchmark catalog 를 실행한 다음
rapid-mlx benchmark run <model> 을 실행하세요. 저장된 결과를 검토하고
원하는 경우에만 rapid-mlx benchmark share <run-id> 로 게시하세요.

커뮤니티 벤치마크 리더보드 둘러보기
또는 프로토콜 및 개인정보 세부사항을 읽어보세요 .

빠른 시작 (60초)
1. 지금 바로 모델과 채팅:

rapid-mlx chat
이 Mac에 맞는 완전히 캐시된 채팅 모델이 추가 다운로드 없이 시작됩니다. 그렇지 않으면 Rapid-MLX가 시작 모델을 선택하고 REPL을 열기 전에 가중치를 다운로드합니다. 슬래시 명령은 /help, 종료는 /exit를 입력하세요.

2. 또는 다른 앱에서 사용할 수 있도록 서빙:

rapid-mlx serve qwen3.5-4b-4bit
--port 가 생략되면 8000 – 8009 중 첫 번째 사용 가능한 포트에서 OpenAI 호환 HTTP 서버를 시작합니다. 명시적 --port 는 절대 폴백하지 않습니다. 아래 예시는 포트 8000이 선택되었다고 가정합니다. 로컬 사용자 지정 엔드포인트를 지원하는 모든 클라이언트(Aider, LangChain, OpenCode, PydanticAI, 자체 스크립트)를 http://localhost:8000/v1 로 지정하세요; Claude Code / Anthropic SDK는 http://localhost:8000 을 사용합니다(Anthropic messages 라우트는 같은 호스트의 /v1/messages에 있습니다).

curl http://localhost:8000/v1/chat/completions \
-H " Content-Type: application/json " \
-d ' {"model":"default","messages":[{"role":"user","content":"Say hello"}]} '
from openai import OpenAI
client = OpenAI ( base_url = "http://localhost:8000/v1" , api_key = "not-needed" )
print ( client . chat . completions . create (
model = "default" ,
messages = [{ "role" : "user" , "content" : "Say hello" }],
). choices [ 0 ]. message . content )
3. 또는 코딩 에이전트 연결 — 원커맨드:

rapid-mlx launch claude-code
이 명령은 전용 Claude Code 프로필을 저장하고, 필요하면 로컬 서버를 시작하고, ~/.claude/settings.json 을 편집하지 않고 Claude Code를 실행합니다. 재시작 후에도 같은 명령이 작동합니다. codex , opencode , pi , hermes , crush , 또는 goose 로 바꿔 사용하세요. 원래의 설정 작성 동작을 사용하려면 --legacy-config 를 사용하세요; cline 과 continue-dev 는 기존 설정 흐름을 유지합니다.

에이전트 설정 세부사항 .

Cursor: Cursor는 현재 BYOK 요청을 자체 서버를 통해 라우팅하므로, 그 서버는 localhost 의 Rapid-MLX 엔드포인트에 접근할 수 없습니다 . 따라서 Rapid-MLX는 Cursor localhost 설정을 생성하지 않습니다. 의도적으로 공개 HTTPS 터널을 통해 서버를 노출하는 경우, rapid-mlx serve ... 와 rapid-mlx launch cursor --server-url https://your-public-host 모두에 RAPID_MLX_API_KEY=your-secret 를 설정하세요. 이는 더 이상 완전한 로컬 연결이 아닙니다; 인증되지 않은 서버를 절대 노출하지 마세요. Rapid-MLX는 명시적 로컬/사설 주소를 거부하지만 Cursor의 네트워크에서의 도달 가능성은 검증할 수 없으며, 그 DNS 뷰는 Mac과 다를 수 있습니다.

비전 / 이미지 / 비디오 모델? 위의 공식 설치 프로그램(및 Rapid-MLX Desktop)과 함께 기본으로 작동하며, 여기에는 비전, 이미지 생성 및 비디오 생성 런타임이 포함됩니다. 오디오(TTS, STT, 음성 복제)와 임베딩은 선택적 추가 기능으로 제공됩니다. → 선택적 추가 기능

터미널이 싫으신가요? Rapid-MLX Desktop은 동일한 엔진을 원클릭 Mac 앱에 번들로 제공합니다.

실제 작동 모습

Mac mini(M2 Pro, 32 GB)에서의 실제 세션, PyPI의 rapid-mlx 0.15.6; 유휴 대기 시간 단축. 녹화: docs/assets/demo.cast .

이미지 생성
데스크톱 이미지 탭 또는 OpenAI 호환 Images API에서
로컬로 이미지를 생성하세요. 이미지 런타임은 기본 설치에 포함됩니다:

rapid-mlx serve flux2-klein-4b
curl http://localhost:8000/v1/images/generations \
-H ' Content-Type: application/json ' \
-d ' {"model":"flux2-klein-4b","prompt":"A red sailboat on an alpine lake","size":"1024x1024","seed":42} '
편집 특화 모델로 기존 PNG 또는 JPEG를 편집하세요:

한 터미널에서:

rapid-mlx serve qwen-image-edit
다른 터미널에서:

curl http://localhost:8000/v1/images/edits \
-F [email protected] \
-F model=qwen-image-edit \
-F ' prompt=Change the sky to a warm sunset ' \
-F response_format=b64_json
flux2-klein-4b 가 권장 시작점입니다. 다운로드 크기는 현재
카탈로그에 등록된 모델 페이로드입니다; 최소 통합 메모리에는 macOS 및
서빙 프로세스를 위한 실용적 여유 공간이 포함됩니다. 아래에 표시된 검증된
패밀리 기본값을 사용하려면 steps를 생략하세요.

별칭
최적 용도
모드
다운로드
최소 통합 메모리
기본 steps

flux2-klein-4b
권장; 빠른 일상 이미지
생성 + 편집
4.3 GiB
12 GB
4

bonsai-image-4b-2bit
가장 작은 다운로드
생성
3.6 GiB
12 GB
4

z-image-turbo
사실적 이미지
생성
5.5 GiB
16 GB
8

flux-schnell
FLUX.1 호환성
생성
9.0 GiB
16 GB
4

sdxl-base
SDXL 호환성
생성
6.5 GiB
16 GB
30

flux2-klein-4b-bf16
명시적 전체 정밀도 Klein 경로
생성 + 편집
14.9 GiB
32 GB
4

hidream-o1-dev
복잡한 구성
생성
16.4 GiB
32 GB
28

sd35-large-4bit
Stable Diffusion 3.5
생성
15.3 GiB
32 GB
28

qwen-image-2.1
저메모리 Mac에서 텍스트가 많은 이미지
생성 + 편집
8.9 GiB
8 GB
40

qwen-image
qwen-image-2.1과 동일한 모델
생성 + 편집
8.9 GiB
8 GB
40

qwen-image-2.1-bf16
고정밀 Qwen Image 2.1 경로
생성 + 편집
30.9 GiB
32 GB
40

qwen-image-2.1-turbo
8단계 증류 Qwen Image 2.1
생성
30.2 GiB
32 GB
8

qwen-image-edit
정밀한 지시 편집 및 텍스트 변경
편집
34.9 GiB
96 GB
20

qwen-image-2.1 은 네이티브 MLX q4 트랜스포머와 q4 텍스트
인코더를 사용하는 mflux 0.20을 사용합니다. qwen-image-2.1-bf16 은 이전의 로드 시 8비트 트랜스포머
및 bf16 인코더 경로를 유지합니다. qwen-image-2.1-turbo 는 공식 증류
체크포인트를 같은 방식으로 로드하고 classifier-free guidance 없이 공개된 8단계
스케줄로 샘플링합니다; 텍스트-투-이미지 전용입니다. 다른 두 별칭의
편집 엔드포인트는 단일 이미지 img2img 컨디셔닝을 수행합니다; 별도의
지시 편집 변형은 아직 업스트림에서 사용할 수 없습니다. 요청 및 메모리 동작은
패밀리 가이드를 참조하세요.

4단계 Klein 기본값으로 1024×1024에서 측정된 웜 생성은
M3에서 이미지당 약 9.2초였습니다 …