1 / 2
【概述】 oMLX 是一款基于 MLX 构建的原生 macOS 推理服务器,用于在 Apple Silicon 设备上运行本地 LLM。它通过分页 SSD KV 缓存与冷热两级缓存,让 Claude Code、Cursor、OpenClaw 等代理在会话中直接从磁盘恢复已见过的 KV 前缀,无需重新计算,从而将代理的 TTFT 从 30-90s 降至 5s 以内。 oMLX 同时提供兼容 OpenAI 与 Anthropic 的 API 端点,可作为本地模型的直接替代后端。它面向在 Mac 上运行编码代理的开发者,以及拥有 64GB+ 内存的 Apple Silicon 用户。 【核心功能】 • 分页 SSD KV 缓存:将 KV 缓存块以 safetensors 格式持久化到磁盘,热块留在内存、冷块放在 SSD,已见过的前缀可在毫秒级从磁盘恢复而无需重算。 • 连续批处理:通过 mlx-lm 的 BatchGenerator 处理并发请求,在 8 倍并发下最高可获得 4.14 倍生成加速。 • 原生 macOS 菜单栏应用:可在菜单栏启动、停止和监控服务器,并提供用于模型管理、聊天和实时指标的 Web 面板;应用已签名、公证并支持应用内自动更新。 • 多模型服务:可同时加载 LLM、VLM、embedding 与 reranker 模型,内存不足时按 LRU 淘汰,并可在管理面板中浏览和下载模型。 • OpenAI + Anthropic 兼容 API:提供 OpenAI 兼容的 /v1/chat/completions 与原生 Anthropic /v1/messages 端点,可作为 Claude Code、OpenClaw、Cursor 等客户端的直接替代后端。 • 工具调用 + MCP:支持 JSON、Qwen、Gemma、GLM 与 MiniMax 工具调用格式,并支持 MCP 工具集成及超大工具结果裁剪,可按模型配置。 【适用场景】 1. 用本地模型为 Claude Code、OpenClaw 和 Cursor 提供后端支持 2. 在本地同时服务 LLM、VLM、embedding 与 reranker 模型 3. 为代理会话运行带持久 KV 缓存的本地 LLM 推理 【优缺点】 优点: - 对在 Mac 上长时间运行编码代理的开发者来说,磁盘级 KV 前缀复用直接压缩了等待时间,交互节奏更接近云端服务。 - 菜单栏应用加 Web 面板降低了本地推理服务的运维成本,适合不想手写配置与命令行的 Apple Silicon 用户。 缺点: - 菜单栏应用要求 macOS 15+。 - 分页 SSD KV 缓存的容量取决于可用的 SSD 存储空间,且没有淘汰机制,长期使用需要自行管理磁盘占用。 【常见问题】 Q: oMLX 需要什么系统版本? A: 原生 macOS 菜单栏应用要求 macOS 15+,并运行在 Apple Silicon 设备上。 Q: oMLX 可以直接替换我现有的 OpenAI 或 Anthropic 客户端后端吗? A: 可以。它提供 OpenAI 兼容的 /v1/chat/completions 与原生 Anthropic /v1/messages 端点,Claude Code、OpenClaw、Cursor 等客户端可直接接入。 Q: 多个模型同时加载时内存不够怎么办? A: oMLX 会在内存不足时按 LRU 策略淘汰模型,你可以在管理面板中重新加载所需模型。
free
以下为美区参考价,其他地区的价格可能不同,请以官网实际价格为准。
WPS AI 是集成在 WPS Office 中的 AI 助手,面向日常办公与学习写作场景。它把文档写作、PPT 生成、长文阅读和表格处理这些常见任务,直接放进用户已经在用的办公软件里,减少在多个工具之间来回切换的麻烦。 在文档侧,WPS…
Baidu Comate 是百度基于文心大模型研发的 AI 编程辅助工具,面向软件开发全流程提供智能化支持。它能够自动生成代码、单元测试和注释,并通过智能问答帮助开发者快速理解项目架构与模块关系,从而提升编码效率。…
UniConverter 是一款 AI 媒体转换与增强工具,可对视频、音频和图片进行转换、压缩、编辑与画质提升。对于因压缩过度、噪点过多或分辨率偏低而显得模糊的素材,它提供 AI 视频增强与视频放大能力,帮助还原画面细节。…
添加时间
2026/10/21
浏览
673
点击
3
共 6 个可替代 oMLX 的相似工具