llama.cpp b12180、Kimi-K3.1-Pro テキスト対応を追加… VulkanはReBARを検出
掲載 基準日
llama.cppが11月6日のビルドb12180で、テキスト専用のKimi-K3.1-Pro対応を入れた。同じ日、Vulkanバックエンドは ReBARサポートの有無を検出するようになった。
何があったか
llama.cppのリリース一覧(b12171~b12182、11月6~7日)を基にまとめる。
- b12180 (11月6日): テキスト専用のKimi-K3.1-Pro対応。K3のグラフと変換器を再利用し、93層のうち24層にライトニングインデクサーを入れ、新しいハイブリッドキャッシュを使う。(公式)
- b12171 (11月6日): VulkanバックエンドがReBARサポートの有無を検出し、非対応の場合はBAR割り当てを避ける。(公式)
- b12173 (11月6日): OpenCLバックエンドのrepeat演算がf16、i32、i16、bf16に対応。(公式)
- b12177 (11月6日): プロンプトやファイルに不正なUTF-8が含まれるとCLIがクラッシュする問題を修正。(公式)
リリースノートに書かれていないこと: 必要メモリ、実際の動作速度、このモデルが一般的なPCで動くかどうか。対応が追加されたという事実と、実際に実用的であることは別の話だ。