1 / 2
【Überblick】 oMLX ist ein nativer macOS-Inferenzserver, der auf MLX basiert und lokale LLMs auf Apple Silicon ausführt. Der Server richtet sich an Entwickler, die Coding-Agenten wie Claude Code, Cursor oder OpenClaw mit lokalen Modellen betreiben möchten, ohne auf Cloud-Dienste angewiesen zu sein. Durch die persistente KV-Cache-Speicherung auf der SSD werden Agenten-Sitzungen deutlich beschleunigt, da bereits gesehene Präfixe nicht neu berechnet werden müssen. Das Kernproblem, das oMLX löst, ist die hohe Latenz bei der Wiederaufnahme von Agenten-Sitzungen. Herkömmliche lokale Inferenzserver berechnen den KV-Cache bei jeder neuen Anfrage neu, was zu Wartezeiten von 30 bis 90 Sekunden führen kann. oMLX speichert KV-Cache-Blöcke im safetensors-Format auf der SSD und hält häufig verwendete Blöcke im RAM. Dadurch werden zuvor gesehene Präfixe in Millisekunden wiederhergestellt, und die Time-to-First-Token sinkt auf unter 5 Sekunden. Der Server bietet OpenAI- und Anthropic-kompatible API-Endpunkte und lässt sich nahtlos als Backend für verschiedene OpenAI-kompatible Clients nutzen. Eine menüleistenbasierte App ermöglicht die einfache Verwaltung und Überwachung des Servers. oMLX ist für Apple-Silicon-Nutzer mit mindestens 64 GB RAM konzipiert und steht unter der Apache-2.0-Lizenz. 【Kernfunktionen】 • Paged SSD KV-Caching: KV-Cache-Blöcke werden im safetensors-Format auf der SSD persistiert, wobei heiße Blöcke im RAM und kalte Blöcke auf der SSD gehalten werden, sodass zuvor gesehene Präfixe in Millisekunden wiederhergestellt werden. • Continuous Batching: Gleichzeitige Anfragen werden über den BatchGenerator von mlx-lm verarbeitet, was bei 8-facher Parallelität eine bis zu 4,14-fache Beschleunigung der Generierung ermöglicht. • Native macOS-Menüleisten-App: Start, Stopp und Überwachung des Servers direkt aus der Menüleiste, mit Web-Dashboard für Modellverwaltung, Chat und Echtzeit-Metriken; signiert, notarisiert und mit In-App-Auto-Update. • Multi-Modell-Serving: LLM-, VLM-, Embedding- und Reranker-Modelle werden gleichzeitig geladen, mit LRU-Verdrängung bei knappem Speicher; Modelle können im Admin-Dashboard durchsucht und heruntergeladen werden. • OpenAI- und Anthropic-kompatible API: Stellt OpenAI-kompatible /v1/chat/completions- und native Anthropic /v1/messages-Endpunkte bereit, sodass oMLX als Drop-in-Backend für Claude Code, OpenClaw, Cursor und andere OpenAI-kompatible Clients dient. • Tool Calling und MCP: Unterstützt die Tool-Calling-Formate von JSON, Qwen, Gemma, GLM und MiniMax sowie MCP-Tool-Integration und die Kürzung übermäßig großer Tool-Ergebnisse, konfigurierbar pro Modell. 【Anwendungsfälle】 1. Claude Code, OpenClaw und Cursor mit lokalen Modellen betreiben. 2. LLM-, VLM-, Embedding- und Reranker-Modelle lokal bereitstellen. 3. Lokale LLM-Inferenz mit persistentem KV-Cache für Agenten-Sitzungen ausführen. 4. Modelle aus dem Hugging-Face-Cache herunterladen und verwalten. 【Vor- und Nachteile】 Vorteile: - Entwickler, die Coding-Agenten auf dem Mac ausführen, profitieren von der drastisch reduzierten Latenz bei der Wiederaufnahme von Sitzungen, da der KV-Cache persistent gespeichert wird. - Apple-Silicon-Nutzer mit mindestens 64 GB RAM erhalten eine leistungsstarke lokale Inferenzlösung, die mehrere Modelltypen gleichzeitig bedienen kann. - Die Kombination aus Menüleisten-App und Web-Dashboard macht die Verwaltung und Überwachung des Servers auch ohne tiefgehende Kenntnisse der Kommandozeile möglich. Nachteile: - Die native macOS-Menüleisten-App erfordert macOS 15 oder neuer. - Die Menge des Paged-SSD-KV-Caches ist durch den verfügbaren SSD-Speicher begrenzt; eine Eviction-Funktion ist nicht vorhanden. - Bei Multi-Modell-Serving kann es bei knappem Speicher zu LRU-Verdrängungen kommen. 【Häufige Fragen】 Q: Welche API-Endpunkte stellt oMLX bereit? A: oMLX bietet OpenAI-kompatible /v1/chat/completions- und native Anthropic /v1/messages-Endpunkte. Q: Wie funktioniert das Paged SSD KV-Caching? A: KV-Cache-Blöcke werden im safetensors-Format auf der SSD gespeichert, wobei heiße Blöcke im RAM und kalte Blöcke auf der SSD gehalten werden, sodass zuvor gesehene Präfixe in Millisekunden wiederhergestellt werden. Q: Welche Modelle können mit oMLX gleichzeitig geladen werden? A: oMLX kann LLM-, VLM-, Embedding- und Reranker-Modelle gleichzeitig laden, mit LRU-Verdrängung bei knappem Speicher.
free
Die angezeigten Preise sind Referenzpreise für die USA; lokale Preise können abweichen.
WPS AI ist ein KI-Assistent, der direkt in WPS Office integriert ist und mit einem großen Sprachmodell arbeitet. Er…
Baidu Comate ist ein KI-gestützter Programmierassistent, der auf dem ERNIE-Modell von Baidu basiert. Er unterstützt…
UniConverter ist ein KI-gestütztes Werkzeug zur Medienkonvertierung und -verbesserung. Es konvertiert, komprimiert,…
Hinzugefügt
21.10.2026
Aufrufe
668
Klicks
3
6 ähnliche Werkzeuge als Alternative zu oMLX