Ollama v0.40.17-rc0、MLX同時生成とiGPUのmmapロード
掲載 基準日
Ollama v0.40.17-rc0プレリリースには、MLXの同時生成と、共有メモリiGPU向けVulkanのmmapロードが含まれています。OpenAI互換エンドポイントがモデルのサンプラーのデフォルト値を上書きしないように変わりました。
何があったか
- ollama/ollama GitHubプレリリースページ(2026-11-10)基準
- MLXモデルの同時生成サポートを追加
- 統合GPU(iGPU)でVulkan経路がmmapを使うように変更
- コミット説明によると、mmapなしで読み込むと共有メモリiGPUではメモリ使用量が約2倍になり、ロードに失敗する可能性がある (公式)
- llama.cppのバージョンをb12257に更新
- OpenAI互換エンドポイントがモデルパッケージのサンプラーのデフォルト値をもう上書きしない
- このリリースはプレリリースであり、正式版v0.40.17はまだ出ていない
当チャンネルの見方
- Mac: Apple Siliconのユニファイドメモリ環境に関する数値はノートにないため、MLXの同時生成がMacでどのような効果をもたらすかはまだ確認されていません。
- PC: 共有メモリiGPUのノートPCでmmap変更による体感差は確認されておらず、失敗条件は環境によって異なる可能性があります。
- グラス: ノートにデバイス関連の内容はありません。
- 未確認: メモリ削減の数値と正式リリースの時期。