oMLX

汎用AI

モデル基盤オンデバイスAI

oMLXomlx.aioMLX は、Apple Silicon 上で動作するローカル大規模モデル推論サービスです。

サイトを開く ↗

AlphaMoatによると、最新のデータ月のoMLX(omlx.ai)の月間訪問数は0で、トラフィックデータのある17,424件のAIサイト中0位、汎用AIでは2,225件中0位です。

月間訪問数

総合順位(17,424件中)

汎用AI内の順位(2,225件中)

最大市場

oMLXとは

製品概要

oMLX は MLX を基盤としたネイティブ macOS 推論サービスで、KV キャッシュを SSD にページアウトするため、コーディングエージェントが古いプレフィックスへ繰り返し戻る場合でも、再計算せずディスクから直接復元できます。

主な機能

ページングされた SSD の KV キャッシュは、キャッシュブロックを safetensors 形式でディスクに書き込み、よく使うブロックはメモリに、使わないブロックは LRU で SSD に送り、リクエストやサービスの再起動をまたいで再利用できます。連続バッチ処理により、同時リクエストが一つに待たされることを防ぎます。ネイティブの macOS メニューバーアプリとウェブパネルで、サービスの起動と停止、モデル管理、リアルタイム指標の確認ができます。LLM、VLM、埋め込み、リランカーのモデルを同時に読み込め、HuggingFace から MLX 形式のモデルを取得します。OpenAI と Anthropic 互換の API を通じて Apple Silicon のアプリケーションに接続します。