GitSeonjeap
日本語

← ニュース

ローカルAI

ggml 1.0.0 公開、FP8・NVFP4 行列演算サポートを追加

掲載 基準日

ggml 1.0.0 リリースノートに、OCP FP8 サポートと、GLU を含む NVFP4 ゲート・アップ行列積の統合が追加されました。ReBAR 検出と 64 ビット FastRPC ハンドルの切り捨て修正も含まれています。

何があったか

  • ggml-org GitHub リリースノート(2026-11-13)基準
  • MMQ 経路に OCP FP8 サポートを追加
  • GLU と合わせて NVFP4 ゲート・アップ行列積をまとめる融合処理を追加
  • libhtp の自動ロードを追加
  • ReBAR 検出を追加
  • 64 ビット FastRPC ハンドルの切り捨て問題を修正
  • llama.cpp 側の変更点は、このノートでは直接確認していません

当チャンネルの見方

  • Mac(Apple Silicon):今回のノートだけでは、Mac で体感できる変化があるかは確認できません。
  • PC:FP8 と NVFP4 は対応ハードウェアがあって意味を持ちますが、対応 GPU の範囲はノートに記載されていません。
  • グラス:グラス機器に関する内容はノートにありません。
  • 未確認:性能の数値はなく、llama.cpp v1.0.0 の詳細な変更は原文との照合が終わっていません。

出典と関連記事

ローカルAIのほかのニュース

  1. Ollama v0.40.17-rc0、MLX同時生成とiGPUのmmapロード (github.com)

    Ollama v0.40.17-rc0プレリリースには、MLXの同時生成と、共有メモリiGPU向けVulkanのmmapロードが含まれています。OpenAI互換エンドポイントがモデルのサンプラーのデフォルト値を上書きしないように変わりました。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  2. llama.cpp b12322 プレリリース、グラフメモリ・SYCL・CUDA の修正を含む (github.com)

    11月12日 18:59 UTC に b12322 プレリリースが公開され、同日 b12308 から b12322 まで連続ビルドが上がりました。含まれる変更はリリースページに並んでいる修正項目です。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  3. Salesforce SOV-Transcribe-1 音声文字起こしモデルの重み公開 (huggingface.co)

    Hugging Face のモデルカードに、Transformers と vLLM の実行方法、DFlash 投機的デコードのドラフト設定が掲載されています。ベンチマークとパラメータ数は公式ページの本文では確認できませんでした。

    ローカルAI| |出典1件 |当チャンネルの見方あり

ニュース一覧