1 / 2
【Resumen】 oMLX es un servidor de inferencia nativo para macOS construido sobre MLX que ejecuta modelos de lenguaje locales en Apple Silicon. Su función principal es resolver el problema de los tiempos de espera prolongados en agentes de codificación como Claude Code, Cursor y OpenClaw, que a menudo sufren recomputación de prefijos KV. oMLX implementa un caché KV paginado en SSD con dos niveles (caliente en RAM y frío en SSD) que restaura prefijos previamente vistos desde el disco en milisegundos, reduciendo el tiempo hasta el primer token (TTFT) de 30-90 segundos a menos de 5 segundos. Además, oMLX expone endpoints API compatibles con OpenAI y Anthropic, lo que permite utilizarlo como backend directo para clientes existentes sin modificar el código. También ofrece batching continuo para manejar solicitudes concurrentes, una aplicación nativa en la barra de menús con panel web para gestionar modelos y métricas en tiempo real, y la capacidad de servir múltiples modelos simultáneamente (LLM, VLM, embeddings y rerankers) con desalojo LRU cuando la memoria se agota. Está diseñado para desarrolladores que ejecutan agentes de codificación en Mac y para propietarios de Apple Silicon con 64 GB o más de RAM. 【Funciones principales】 • Caché KV paginado en SSD: persiste bloques KV en disco en formato safetensors, mantiene bloques calientes en RAM y fríos en SSD, y restaura prefijos vistos anteriormente desde el disco en milisegundos en lugar de recomputarlos. • Batching continuo: gestiona solicitudes concurrentes mediante BatchGenerator de mlx-lm, logrando hasta 4.14× de aceleración en generación con 8 solicitudes concurrentes. • Aplicación nativa en la barra de menús de macOS: inicia, detiene y monitorea el servidor desde la barra de menús, con un panel web para gestión de modelos, chat y métricas en tiempo real; firmada, notarizada y con actualización automática integrada. • Servicio multi-modelo: carga modelos LLM, VLM, de embeddings y rerankers simultáneamente con desalojo LRU cuando la memoria se agota, y permite explorar y descargar modelos desde el panel de administración. • API compatible con OpenAI y Anthropic: sirve endpoints /v1/chat/completions compatibles con OpenAI y /v1/messages nativos de Anthropic, funcionando como backend directo para Claude Code, OpenClaw, Cursor y otros clientes compatibles con OpenAI. • Llamadas a herramientas y MCP: soporta formatos de tool calling JSON, Qwen, Gemma, GLM y MiniMax, además de integración de herramientas MCP y recorte de resultados de herramientas demasiado grandes, configurable por modelo. 【Casos de uso】 1. Respaldar Claude Code, OpenClaw y Cursor con modelos locales. 2. Servir localmente modelos LLM, VLM, de embeddings y rerankers. 3. Ejecutar inferencia LLM local con caché KV persistente para sesiones de agentes. 【Ventajas y desventajas】 Ventajas: - Los desarrolladores que usan agentes de codificación en Mac se benefician de una reducción drástica en el tiempo de espera inicial, lo que agiliza los ciclos de iteración. - La integración directa con clientes existentes mediante APIs compatibles evita reescribir código o adaptar flujos de trabajo. - La gestión multi-modelo con desalojo LRU permite aprovechar al máximo la memoria unificada de Apple Silicon sin intervención manual. Desventajas: - El caché KV en SSD está limitado por el almacenamiento disponible y no cuenta con evicción automática. - La aplicación nativa requiere macOS 15 o superior. 【Preguntas frecuentes】 Q: ¿Qué requisitos de hardware necesito para ejecutar oMLX? A: oMLX está diseñado para Apple Silicon; se recomienda contar con 64 GB o más de RAM para aprovechar el servicio multi-modelo y el caché KV en SSD. Q: ¿Puedo usar oMLX con clientes que ya tengo configurados para OpenAI o Anthropic? A: Sí, oMLX expone endpoints compatibles con OpenAI y Anthropic, por lo que puedes apuntar clientes como Claude Code, OpenClaw o Cursor directamente a oMLX sin cambiar su configuración. Q: ¿Cómo funciona el caché KV en SSD y qué beneficio aporta? A: oMLX persiste bloques KV en disco en formato safetensors y los restaura desde el SSD en milisegundos cuando detecta un prefijo ya visto, evitando la recomputación y reduciendo el TTFT de 30-90 segundos a menos de 5 segundos.
free
Los precios mostrados son de referencia de la región de EE. UU.; el precio local puede variar.
WPS AI es un asistente de inteligencia artificial integrado en WPS Office, disponible en chino, que acompaña al usuario…
Baidu Comate es un asistente de programación impulsado por IA, desarrollado por Baidu sobre su modelo ERNIE. Ofrece…
UniConverter es una herramienta de conversión y mejora de medios con inteligencia artificial que trabaja con video,…
Añadida
21/10/2026
Vistas
666
Clics
2
6 herramientas similares a oMLX que tener en cuenta