mk-brain 從 Demo 到 Production:MLX 如何將 Apple Silicon 推向 AI 執行層的核心 Ollama 近期預覽版將後端從 llama.cpp 切換至蘋果官方的 MLX 框架,這不只是一次效能更新。它標誌著 Apple Silicon 上的本地推理正從實驗性質走向可持續迭代的執行層,未來 AI 的競爭力將部分回歸到終端硬體與本地 runtime 的深度整合。
AI Infrastructure Protocols > Platforms — 從 Shopify 的 AI Agent 平台反思個人 AI 基礎設施 Shopify 每 8 個合併 PR 就有 1 個是 AI agent 共同作者。他們的 River/Aquifer 架構給了個人 AI 基礎設施什麼啟示?三方跨供應商 AI 分析得出結論:Protocols > Platforms。
ollama Ollama + bge-m3 Embedding 產生 NaN 導致寫入失敗:完整診斷與修復 Ollama + bge-m3 embedding 對長中文文字產生 NaN,root cause 是 flash attention F16 overflow。一個環境變數修復:OLLAMA_FLASH_ATTENTION=0