llama.cpp b12200、Qualcomm向けOpenCL量子化カーネルを改善
掲載 基準日
llama.cppのb12200リリースには、OpenCLのq8_0とMoEの小規模バッチ処理を調整する変更が1件含まれている。性能の数値は公開されていない。
何があったか
- ggml-orgのllama.cpp GitHubリリースb12200に基づく内容である。リリース時刻は11月8日 06:39と表示されており、タイムゾーンは記載されていない。
- 唯一の変更はPR #31831で、OpenCL q8_0 GEMVカーネルと、q5_1、q4_kなどの量子化形式向けの小規模MoE GEMVを追加する。
- Adreno向けのカーネル調整と、小さな検証バッチでbin FAを無効にする変更も含まれる。
- コミットにはQualcommのエンジニアが共同作成者として記載されており、リリース一覧にはCPU、Adreno GPU、Hexagon NPU向けのSnapdragonビルドがある。
当チャンネルの見方
Snapdragon搭載機器でローカルモデルを動かすユーザーに関係する変更である。ベンチマークやトークン速度の数値はなく、どのチップで効果があるかも書かれていない。PRタイトルの"spec"は投機的デコードの検証を指す可能性があるが、リリースノートには明記されていない。Macや一般的なPCのユーザーへの直接的な影響は小さいと思われる。