oMLXomlx.aioMLX 是运行在 Apple Silicon 上的本地大模型推理服务。
访问官网 ↗据 AlphaMoat 统计,最新数据月 oMLX(omlx.ai)月访问量为 0,在全部 17,424 个有流量数据的 AI 网站中排名第 0 位,在「通用 AI」分类(2,225 个)中排名第 0 位。
oMLX 是基于 MLX 的原生 macOS 推理服务,把 KV 缓存分页写到 SSD,让编码 Agent 反复回退到旧前缀时直接从磁盘恢复,而不是重新计算。
6 项
- 分页 SSD KV 缓存把缓存块以 safetensors 格式落盘,热块留在内存、冷块按 LRU 进 SSD,跨请求与服务重启都能复用
- 连续批处理让并发请求不再排在单请求后面
- 提供原生 macOS 菜单栏应用与网页面板,可启停服务、管理模型并查看实时指标
- 支持 LLM、VLM、embedding 与 reranker 同时加载
- 读取 HuggingFace 上的 MLX 格式模型
- 通过 OpenAI 与 Anthropic 兼容 API 接入 Apple Silicon 应用
点击查看详情,或「+ 对比」与 oMLX 并排对比
解答问题、写作、生成图像与编程的一站式 AI 助手
+ 对比写作、规划与头脑风暴一体的 Google AI 助手
+ 对比可分析文件、代码并协助写作的 Anthropic AI 助手
+ 对比专注通用人工智能底层模型与技术的大模型厂商
+ 对比可对话、生图、写代码并实时联网的 AI 助手
+ 对比字节跳动旗下集成多模型的全能 AI 对话助手
+ 对比数据月份:— · 访问量为第三方流量估算,按月聚合更新,适合看量级与趋势。同一产品的多个域名已合并统计。口径说明见数据方法。