1 / 2
【개요】 oMLX는 Apple Silicon 맥에서 로컬 LLM을 실행하기 위한 네이티브 macOS 추론 서버다. MLX 프레임워크를 기반으로 하며, paged SSD KV 캐싱과 핫/콜드 2단계 캐시를 통해 Claude Code, Cursor, OpenClaw 같은 에이전트가 이전에 본 KV 프리픽스를 디스크에서 복원해 재계산 없이 빠르게 응답할 수 있도록 한다. OpenAI 및 Anthropic 호환 API 엔드포인트를 제공해 기존 클라이언트에 바로 연결할 수 있다. 이 제품은 로컬 모델을 사용하는 코딩 에이전트의 첫 토큰 지연(TTFT)을 30~90초에서 5초 미만으로 줄이는 것을 목표로 한다. KV 캐시 블록을 safetensors 형식으로 디스크에 저장하고, 핫 블록은 RAM에, 콜드 블록은 SSD에 유지해 이전에 처리한 프리픽스를 밀리초 단위로 복원한다. 이를 통해 반복적인 프리픽스 재계산 비용을 크게 줄인다. 주 사용자는 맥에서 코딩 에이전트를 운영하는 개발자와 64GB 이상 RAM을 갖춘 Apple Silicon 사용자다. 무료로 제공되며 Apache 2.0 라이선스를 따른다. 【핵심 기능】 • Paged SSD KV 캐싱: KV 캐시 블록을 safetensors로 디스크에 저장하고 핫 블록은 RAM, 콜드 블록은 SSD에 두어 이전 프리픽스를 밀리초 단위로 복원한다. • 연속 배칭: mlx-lm의 BatchGenerator로 동시 요청을 처리해 8배 동시성에서 최대 4.14배 생성 속도를 높인다. • 네이티브 macOS 메뉴 바 앱: 메뉴 바에서 서버 시작·중지·모니터링이 가능하고, 웹 대시보드에서 모델 관리, 채팅, 실시간 지표를 확인할 수 있으며 서명·공증 및 인앱 자동 업데이트를 지원한다. • 멀티 모델 서빙: LLM, VLM, 임베딩, 리랭커 모델을 동시에 로드하고 메모리 부족 시 LRU 방식으로 제거하며, 관리 대시보드에서 모델을 탐색·다운로드할 수 있다. • OpenAI + Anthropic 호환 API: OpenAI 호환 /v1/chat/completions와 Anthropic /v1/messages 엔드포인트를 제공해 Claude Code, OpenClaw, Cursor 등에 바로 연결할 수 있다. • 도구 호출 + MCP: JSON, Qwen, Gemma, GLM, MiniMax 도구 호출 형식을 지원하고 MCP 도구 통합 및 대형 도구 결과 트리밍을 모델별로 설정할 수 있다. 【적용 시나리오】 1. Claude Code, OpenClaw, Cursor를 로컬 모델로 백엔드 지원 2. LLM, VLM, 임베딩, 리랭커 모델을 로컬에서 서빙 3. Hugging Face 캐시에서 모델을 다운로드하고 관리 【장점과 단점】 장점: - 맥에서 코딩 에이전트를 사용하는 개발자에게 적합하다. 디스크 기반 KV 캐시 덕분에 반복 세션에서 첫 응답 시간이 크게 단축된다. - 64GB 이상 RAM을 갖춘 Apple Silicon 사용자는 여러 모델을 동시에 로드해도 메모리 관리가 수월하다. - OpenAI/Anthropic 호환 API를 제공하므로 기존 클라이언트 코드를 거의 수정하지 않고 로컬 모델로 전환할 수 있다. 단점: - Paged SSD KV 캐싱은 사용 가능한 SSD 저장 공간에 의해 결정되며 제거(eviction) 기능이 없다. - 네이티브 macOS 메뉴 바 앱은 macOS 15 이상이 필요하다. - 멀티 모델 서빙 시 메모리가 부족하면 LRU 방식으로 모델이 제거된다. 【자주 묻는 질문】 Q: oMLX는 어떤 운영체제에서 사용할 수 있나요? A: 네이티브 macOS 앱으로 제공되며 메뉴 바 앱은 macOS 15 이상이 필요합니다. Q: 기존 OpenAI 클라이언트와 호환되나요? A: OpenAI 호환 /v1/chat/completions와 Anthropic /v1/messages 엔드포인트를 제공해 Claude Code, OpenClaw, Cursor 등에서 바로 사용할 수 있습니다. Q: 여러 모델을 동시에 로드할 수 있나요? A: LLM, VLM, 임베딩, 리랭커 모델을 동시에 로드할 수 있으며 메모리가 부족하면 LRU 방식으로 오래된 모델이 제거됩니다.
free
표시된 가격은 미국 지역 기준가이며, 지역에 따라 다를 수 있습니다.
WPS AI는 WPS Office에 통합된 AI 어시스턴트다. 문서 작성, PPT 구성, 긴 문서 요약, 스프레드시트 수식과 데이터 처리까지 오피스 작업 전반을 AI가 보조한다. 별도의 도구를 오가지 않고 문서…
Baidu Comate는 바이두의 ERNIE 대모델을 기반으로 개발된 AI 코딩 보조 도구다. 자동 코드 생성, 단위 테스트 생성, 주석 생성, 지능형 질의응답 등을 제공해 개발자가 코딩 작업을 더 빠르고 정확하게…
UniConverter는 동영상, 오디오, 이미지를 변환하고 압축, 편집, 개선할 수 있는 AI 미디어 도구다. 특히 AI 비디오 인핸서와 업스케일러를 통해 저화질 영상을 온라인과 데스크톱에서 복원하고 업스케일할…
등록일
2026. 10. 21.
조회수
669
클릭수
3
oMLX 대신 고려해 볼 만한 도구 6건