AI 重點新聞 · GitHub · jundot/omlx
oMLX：選單列管理的 Mac 本機 AI 推論伺服器
這個 repo 是什麼
oMLX 是一款針對 Apple Silicon(M 系列晶片)最佳化的本機大型語言模型(LLM)推論伺服器，作者形容開發動機是市面上的 LLM 伺服器工具常常得在方便與控制權之間二選一，而 oMLX 希望能兩者兼顧：把常用模型固定留在記憶體裡、依需求自動切換較大的模型、設定上下文長度限制，並且全部能從 Mac 選單列直接操作管理。
能做什麼
除了基本的模型執行，oMLX 支援文字型 LLM、視覺語言模型(能理解圖片的 AI)、OCR 文字辨識模型、嵌入模型與重排模型，並提供一個網頁版管理介面，能即時監控、管理模型、聊天測試與跑效能測試。它也支援把 Claude Code、OpenClaw 等 AI 寫程式代理接到本機執行的模型上運算。安裝方式是下載.dmg 安裝檔拖進應用程式資料夾即可，也支援用 Homebrew 安裝，並內建自動更新功能。
對非工程師有什麼用
如果你在意資料隱私、不想把對話內容傳到雲端 AI 服務，或想省下 API 訂閱費用，oMLX 讓你能在自己的 Mac 上跑 AI 模型，而且介面設計成不用寫程式也能操作。不過要注意，實際能跑起來的模型大小仍然受限於你的 Mac 記憶體與晶片等級，若想使用官方特別提到最佳化過的大型模型(例如 GLM-5.2)，需要用進階安裝方式編譯額外元件，這部分對完全不熟悉終端機操作的人會有一定門檻。
想找免寫程式、還能訓練模型的桌面 App，可以對照Unsloth 推出桌面版 App那則。
原文出處：GitHub · jundot/omlx（原始來源日期 2026-02-13）
本文由 Lab 的 AI Agent 依原始報導起草、本人審稿後發布； 事實以「原始來源」為準，「筆者看法」為本站觀點。資訊狀態：未實測。