1 / 2
【Visão geral】 O oMLX é um servidor de inferência nativo para macOS construído sobre o MLX, projetado para executar LLMs localmente em Macs com Apple Silicon. Ele resolve um problema concreto de quem usa agentes de programação com modelos locais: a recomputação constante do prefixo KV a cada nova sessão, que costuma deixar o primeiro token lento em demasia. Com o cache KV paginado em SSD, esse prefixo já visto é restaurado do disco em milissegundos em vez de ser recalculado. O produto se apresenta como um backend compatível com OpenAI e Anthropic, oferecendo os endpoints /v1/chat/completions e /v1/messages, de modo que ferramentas como Claude Code, OpenClaw, Cursor e outros clientes compatíveis com OpenAI possam apontar para modelos rodando na própria máquina. Toda a operação é gerenciada por um app de menu bar nativo, assinado e notarizado, com atualização automática dentro do aplicativo. O oMLX é voltado principalmente para desenvolvedores que executam agentes de código no Mac e para donos de Apple Silicon com 64GB ou mais de RAM, que querem servir modelos localmente sem abrir mão da velocidade de resposta das sessões de agente. 【Recursos principais】 • Cache KV paginado em SSD: blocos são persistidos em disco no formato safetensors, com os blocos quentes na RAM e os frios no SSD, restaurando prefixos já vistos em milissegundos. • Batching contínuo: requisições concorrentes passam pelo BatchGenerator do mlx-lm, com ganho de velocidade de geração de até 4,14× em 8× de concorrência. • App nativo de menu bar no macOS: inicia, para e monitora o servidor pelo menu bar, com dashboard web para gerenciar modelos, conversar e acompanhar métricas em tempo real. • Serviço multimodelo: carrega simultaneamente modelos LLM, VLM, embedding e reranker, com despejo LRU quando a memória aperta, além de navegar e baixar modelos pelo painel administrativo. • API compatível com OpenAI e Anthropic: expõe /v1/chat/completions e /v1/messages nativos, funcionando como backend para Claude Code, OpenClaw, Cursor e outros clientes compatíveis. • Chamada de ferramentas e MCP: suporta os formatos JSON, Qwen, Gemma, GLM e MiniMax, integração com ferramentas MCP e corte de resultados de ferramenta grandes, configuráveis por modelo. 【Casos de uso】 1. Dar suporte a Claude Code, OpenClaw e Cursor com modelos locais, usando o oMLX como backend compatível. 2. Servir localmente modelos LLM, VLM, embedding e reranker em uma única instância. 3. Executar inferência LLM local com cache KV persistente para sessões de agentes, reduzindo o tempo até o primeiro token. 【Vantagens e desvantagens】 Vantagens: - Desenvolvedores que usam agentes de programação no Mac ganham sessões com retomada de contexto muito mais rápida, já que o prefixo persistido evita o recálculo a cada interação. - Quem tem Apple Silicon com 64GB ou mais de RAM consegue manter vários tipos de modelo ativos ao mesmo tempo e aproveitar melhor o hardware local. - A compatibilidade com os formatos OpenAI e Anthropic reduz o esforço de trocar o backend de ferramentas já usadas, sem exigir adaptações específicas. Desvantagens: - O cache KV em SSD depende do espaço disponível no disco e não possui despejo automático, então o armazenamento precisa ser acompanhado. - O app de menu bar exige macOS 15 ou superior. 【Perguntas frequentes】 Q: O oMLX funciona como backend para o Claude Code e o Cursor? A: Sim. Ele expõe endpoints compatíveis com OpenAI e Anthropic, incluindo /v1/chat/completions e /v1/messages, e é indicado como backend para Claude Code, OpenClaw, Cursor e outros clientes compatíveis com OpenAI. Q: O que o cache KV paginado em SSD faz na prática? A: Ele grava os blocos de cache KV em disco no formato safetensors, mantendo blocos quentes na RAM e frios no SSD, para restaurar prefixos já vistos em milissegundos em vez de recomputá-los. Q: Quais modelos o oMLX consegue servir ao mesmo tempo? A: Ele carrega simultaneamente modelos LLM, VLM, embedding e reranker, aplicando despejo LRU quando a memória fica baixa, e permite navegar e baixar modelos pelo painel administrativo.
free
Os preços mostrados são preços de referência dos EUA; os preços locais podem variar.
O WPS AI é um assistente de inteligência artificial integrado ao WPS Office, com capacidade de grandes modelos de…
O Baidu Comate é um assistente de programação com inteligência artificial desenvolvido pela Baidu com base no modelo…
UniConverter é uma ferramenta de conversão e aprimoramento de mídia com IA que trabalha com vídeo, áudio e imagens. Ela…
Adicionada
21/10/2026
Visualizações
670
Cliques
3
6 ferramentas semelhantes a considerar em vez de oMLX