1 / 2
【概要】 oMLXは、Apple Silicon向けにMLXを基盤として構築されたネイティブmacOS推論サーバーです。ローカルで大規模言語モデル(LLM)を実行し、OpenAIおよびAnthropic互換のAPIエンドポイントを提供します。これにより、Claude CodeやCursor、OpenClawなどのエージェントをローカルモデルでバックエンドとして利用できます。 この製品の大きな特徴は、ページドSSD KVキャッシュです。KVキャッシュブロックをsafetensors形式でディスクに永続化し、ホットブロックをRAMに、コールドブロックをSSDに保持します。これにより、以前に見たプレフィックスを再計算する代わりにディスクからミリ秒単位で復元でき、エージェントの初回トークン時間(TTFT)を大幅に短縮します。 対象となるのは、Mac上でコーディングエージェントを実行する開発者や、64GB以上のRAMを搭載したApple Siliconマシンの所有者です。無料で利用できます。 【主な機能】 • ページドSSD KVキャッシュ: KVキャッシュブロックをsafetensors形式でディスクに保存し、ホットブロックはRAM、コールドブロックはSSDに保持。以前のプレフィックスを再計算せずにディスクからミリ秒で復元します。 • 連続バッチ処理: mlx-lmのBatchGeneratorによる同時リクエスト処理で、8倍の同時実行時に最大4.14倍の生成高速化を実現します。 • ネイティブmacOSメニューバーアプリ: メニューバーからサーバーの起動・停止・監視が可能。モデル管理、チャット、リアルタイムメトリクス用のWebダッシュボードを備え、署名・公証済みでアプリ内自動更新に対応します。 • マルチモデル配信: LLM、VLM、埋め込み、リランカーモデルを同時にロードでき、メモリ不足時はLRUで退避します。管理ダッシュボードからモデルの閲覧とダウンロードが可能です。 • OpenAI + Anthropic互換API: OpenAI互換の/v1/chat/completionsとAnthropicネイティブの/v1/messagesエンドポイントを提供し、Claude Code、OpenClaw、Cursorなどのクライアントのドロップイン backend として機能します。 • ツール呼び出し + MCP: JSON、Qwen、Gemma、GLM、MiniMaxのツール呼び出し形式に対応し、MCPツール統合と過大なツール結果のトリミングをモデルごとに設定できます。 【利用シーン】 1. Claude Code、OpenClaw、Cursorをローカルモデルでバックエンドとして利用する。 2. LLM、VLM、埋め込み、リランカーモデルをローカルで配信する。 3. エージェントセッション向けに永続KVキャッシュを用いたローカルLLM推論を実行する。 【長所と短所】 長所: - Mac上でコーディングエージェントを動かす開発者にとって、ローカル推論を高速化できる点が大きなメリットです。特にエージェントの初回応答時間が短縮されるため、反復的な作業の効率が向上します。 - Apple Silicon向けにネイティブ設計されているため、macOS環境での導入がスムーズで、メニューバーから直感的に操作できます。 短所: - ページドSSD KVキャッシュは利用可能なSSD容量に依存し、退避(エビクション)は行われません。 - ネイティブmacOSメニューバーアプリはmacOS 15以降が必要です。 - マルチモデル配信では、メモリ不足時にLRUによる退避が発生します。 【よくある質問】 Q: oMLXはどのようなハードウェアで動作しますか? A: Apple Siliconを搭載したMac向けに設計されています。特に64GB以上のRAMを搭載したモデルでの利用が想定されています。 Q: 既存のOpenAIやAnthropicのクライアントから利用できますか? A: はい。OpenAI互換の/v1/chat/completionsとAnthropicネイティブの/v1/messagesエンドポイントを提供しているため、Claude Code、OpenClaw、Cursorなどのクライアントからドロップインで利用できます。 Q: ツール呼び出しやMCPはサポートされていますか? A: はい。JSON、Qwen、Gemma、GLM、MiniMaxのツール呼び出し形式に対応し、MCPツール統合も可能です。設定はモデルごとに行えます。
free
表示価格は米国地域の参考価格です。地域によって価格は異なります。
WPS AIは、WPS Officeに統合されたAIアシスタントです。文書の執筆やPPTのアウトライン生成、長文の要約と質問応答、表計算の数式作成やデータ分析までをサポートします。中国語環境で利用でき、日々のオフィスワークにおける作成・整理…
Baidu Comateは、百度の文心大模型(ERNIE)を基盤としたAIコーディングアシスタントです。自動コード生成、単体テスト生成、コメント生成、インテリジェントQ&Aといった機能を提供し、開発者がコーディング作業を効率化できるよう支援…
UniConverterは、動画・音声・画像の変換、圧縮、編集、画質向上をまとめて行えるAIメディアツールです。低画質な映像を復元するAI Video…
掲載日
2026/10/21
閲覧数
671
クリック数
3
oMLXの代わりに検討したいツール6件