1 / 2
【Aperçu】 oMLX est un serveur d'inférence natif macOS construit sur MLX, conçu pour exécuter des modèles de langage locaux sur les Mac équipés d'Apple Silicon. Il répond à un problème concret : lorsqu'un agent de codage comme Claude Code, Cursor ou OpenClaw travaille en local, le recalcul des préfixes KV à chaque session fait grimper le temps jusqu'au premier token. oMLX conserve ces préfixes sur disque et les restaure en quelques millisecondes. Le serveur expose des points de terminaison compatibles OpenAI et Anthropic, ce qui lui permet de servir de backend local sans modifier les clients existants. Il est distribué sous licence Apache 2.0 et se pilote depuis la barre des menus de macOS, avec un tableau de bord web pour la gestion des modèles, le chat et les métriques en temps réel. Il s'adresse avant tout aux développeurs qui font tourner des agents de codage sur Mac et aux propriétaires de machines Apple Silicon disposant de 64 Go de RAM ou plus, désireux de garder l'inférence en local. 【Fonctionnalités principales】 • Paged SSD KV caching : les blocs KV sont écrits sur disque au format safetensors, les blocs chauds restant en RAM et les blocs froids sur SSD, puis restaurés en millisecondes au lieu d'être recalculés. • Continuous batching : les requêtes simultanées passent par le BatchGenerator de mlx-lm, avec un gain de vitesse de génération allant jusqu'à 4,14× à une concurrence de 8×. • Application native dans la barre des menus : démarrage, arrêt et surveillance du serveur depuis la barre des menus, avec un tableau de bord web pour les modèles, le chat et les métriques ; application signée, notariée et dotée de mises à jour automatiques intégrées. • Multi-model serving : chargement simultané de modèles LLM, VLM, d'embedding et de reranking, avec éviction LRU en cas de mémoire insuffisante, et navigation/téléchargement des modèles depuis le tableau de bord d'administration. • API compatible OpenAI et Anthropic : endpoints /v1/chat/completions compatible OpenAI et /v1/messages natif Anthropic, pour un usage en backend direct avec Claude Code, OpenClaw, Cursor et d'autres clients compatibles OpenAI. • Tool calling et MCP : prise en charge des formats JSON, Qwen, Gemma, GLM et MiniMax, intégration des outils MCP et réduction des résultats d'outils trop volumineux, configurable par modèle. 【Cas d'usage】 1. Alimenter Claude Code, OpenClaw et Cursor avec des modèles locaux via les endpoints compatibles. 2. Servir localement des modèles LLM, VLM, d'embedding et de reranking sur une même instance. 3. Exécuter une inférence LLM locale avec un cache KV persistant pour les sessions d'agents. 【Avantages et inconvénients】 Avantages: - Le cache KV persistant sur SSD réduit fortement le temps d'attente au premier token des agents de codage, ce qui rend le travail itératif sur Mac nettement plus fluide. - La compatibilité native avec les API OpenAI et Anthropic évite de réécrire les clients existants : les outils déjà configurés fonctionnent en pointant simplement vers le serveur local. - L'application signée et notariée avec mises à jour automatiques simplifie l'installation et le suivi pour les développeurs peu enclins à gérer un serveur en ligne de commande. Inconvénients: - L'application nécessite macOS 15 ou une version ultérieure. - La taille du cache KV sur SSD dépend de l'espace disque disponible, sans mécanisme d'éviction. - Le tool calling et MCP se configurent modèle par modèle. 【Questions fréquentes】 Q: Comment oMLX réduit-il le temps d'attente des agents de codage ? A: Il conserve les blocs KV sur disque au format safetensors et les restaure en millisecondes lorsque le même préfixe réapparaît, au lieu de le recalculer intégralement. Q: Puis-je utiliser oMLX avec mes clients compatibles OpenAI existants ? A: Oui, le serveur expose un endpoint /v1/chat/completions compatible OpenAI ainsi qu'un endpoint /v1/messages natif Anthropic, ce qui permet de l'utiliser comme backend direct. Q: Quels modèles oMLX peut-il servir en parallèle ? A: Il charge simultanément des modèles LLM, VLM, d'embedding et de reranking, avec une éviction LRU lorsque la mémoire vient à manquer.
free
Les prix affichés sont des prix de référence pour les États-Unis ; les prix locaux peuvent varier.
WPS AI est un assistant d'intelligence artificielle intégré à WPS Office (en chinois). Il accompagne la rédaction de…
Baidu Comate est un assistant de codage basé sur le grand modèle ERNIE de Baidu. Il génère du code, des tests unitaires…
UniConverter est un outil de conversion et d'amélioration multimédia par IA qui traite vidéos, audios et images. Il…
Ajouté
21/10/2026
Vues
672
Cliques
3
6 outils similaires à considérer à la place de oMLX