Mac mini M6 32GBでQwen3.8 27B 4ビット実測：JSON 49.7、韓国語8.8トークン
投稿日 動画公開
Mac mini M6 32GBでQwen3.8 27B 4ビットのファイル3種とMTP・DFlash2を測定。最速の組み合わせはJSON 49.7トークンですが韓国語は8.8トークン。最速ファイルは品質損失も最大（基準UD-Q6_K）。
Mac mini M6 32GBで、Qwen3.8 27B 4ビットの最も速い組み合わせ（byteshape 13.1GBファイル + DFlash2ドラフト）は、JSON変換で毎秒49.7トークンまで出ましたが、同じ組み合わせの韓国語の文章作成は8.8トークンでした。何も有効にしない既定の状態が8.5トークンなので、韓国語はほとんど速くなっていません。50トークン付近は、JSONやコードのように次の言葉が予測しやすい出力での最良の例で、最も速いファイルは品質の損失も最大でした。
すべての値は、2026-10-11にMac mini 1台でllama.cpp b11552（Metal）を使って測り、サーバーは借りていません。この記事は7分43秒の動画（公開2026-10-11）を文章として整理し直したものです。動画は韓国語で進行します。
何を測ったか
4ビットのファイルは、UD-Q4_K_XL 17.6GB、UD-IQ4_XS 14.3GB、byteshape 13.1GBです。投機的デコードは、小さなドラフトモデルが先にトークンを複数書き、大きなモデルがまとめて検査して、合っていた分だけ先に進む方式です。MTP（モデル内部の予測部分）とDFlash2（1.1GBのドラフトモデル、7トークン）を比較しました。質問は、韓国語・英語・Pythonコード・JSONの4種、回答は最大256トークン、温度0、3回の中央値です。表の速度は小数第1位に四捨五入した値で、文中の倍率や比率は四捨五入前の測定値で計算しています。そのため表の値で割り直すと、末尾の桁が異なることがあります（例：表の値10.8÷8.5=1.27、四捨五入前の10.834÷8.483=1.28）。
ファイルが小さいほど速い
投機をオフにして韓国語を実行すると、17.6GBのファイルは8.5、14.3GBのファイルは10.1、13.1GBのファイルは10.8トークンです。サイズと速度の積がほぼ一定なので（帯域幅が限界）、ファイルを小さくするだけで1.19倍、1.28倍になります（計算）。
ドラフトが当たらないと速くならない
UD-Q4_K_XLでMTPをオンにすると、韓国語11.2・コード20.1・JSON 21.8トークン、DFlash2をオンにすると、韓国語8.3・コード38.9・JSON 44.4トークンです。ドラフトの採択率が速度を決めます。JSONはMTPが99%、DFlash2が100%ですが、韓国語はMTPが36%、DFlash2が7%でした。
最も速い組み合わせの逆転
byteshapeにDFlash2を組み合わせると、JSON 49.7・コード41.4・英語15.3・韓国語8.8トークンです。基準線（UD-Q4_K_XL、投機オフ）と比べるとJSONは6.3倍・コードは5.1倍・韓国語は1.03倍（計算）ですが、ファイルが小さくなった効果が混ざっているため、同じファイルどうしではJSONは4.6倍です（byteshapeの投機オフでのJSONは10.9トークン、49.7÷10.9、計算）。同じファイルで投機をオフにすると韓国語は10.8だったので、オンにしてかえって遅くなりました。
質問の種類別の速度（トークン/秒、実測）
| 構成 | 韓国語 | 英語 | コード | JSON |
|---|---|---|---|---|
| UD-Q4_K_XL 投機オフ（基準線） | 8.5 | 8.2 | 8.1 | 7.9 |
| UD-Q4_K_XL + MTP | 11.2 | 12.4 | 20.1 | 21.8 |
| UD-Q4_K_XL + DFlash2 | 8.3 | 14.2 | 38.9 | 44.4 |
| UD-IQ4_XS + MTP | 12.3 | 14.1 | 20.9 | 24.8 |
| byteshape + DFlash2 | 8.8 | 15.3 | 41.4 | 49.7 |
JSONとコードの列は8から50まで開く一方で、韓国語の列は8~12に集まりました。韓国語でllama.cppの構成のうち最も速いのは、UD-IQ4_XS + MTPの12.3トークンです。JSONは簡単な変換なので、実際の使用での平均はもっと低くなります。
ほかの実行環境と長いコンテキスト
MLX 4ビットは、韓国語で9.6トークンです。MTPLXのパックは、MTPをオフにすると7.5でllama.cppより遅く、オンにすると韓国語13.3・コード20.6トークンです。コンテキスト4,000トークンでは、既定設定がメモリ不足でリクエストを止めました。MTPLXのカードにある毎秒55.5~87.6トークンはM5 Max基準のメーカー数値で、同じ条件ではありません。
コンテキストが長くなると、byteshape + DFlash2のJSONは、コンテキスト0で49.7、4,000で46.5、16,000で38.3トークンです（16,000は1回のみの測定）。韓国語は8.8、8.4、7.2で、16,000トークンでの基準線7.6より低くなりました。
品質：最も速いファイルは損失も最大
各ファイルが、22GBの6ビットファイル（UD-Q6_K）と比べて次の単語の予測がどれだけ違うか（KL、低いほど基準に近い）を測りました。基準はBF16の元モデルではなく、BF16はダウンロードも実行もしていません。
| ファイル | 韓国語 KL | 韓国語 一致率 | 英文 KL | 英文 一致率 |
|---|---|---|---|---|
| UD-Q4_K_XL 17.6GB | 0.0068 | 96.4% | 0.0236 | 95.0% |
| UD-IQ4_XS 14.3GB | 0.0226 | 92.9% | 0.0621 | 91.6% |
| byteshape 13.1GB | 0.0507 | 89.3% | 0.1146 | 88.4% |
byteshapeは、UD-Q4_K_XLと比べて、韓国語のKLが約7.5倍、英文が約4.8倍です（計算、四捨五入前の0.114565÷0.023645=4.845）。速度の利点は、同じDFlash2どうしでJSONが12%、コードが6.6%でした（計算、四捨五入前の41.45÷38.88。表の値41.4÷38.9では6.4%）。メーカーは独自のタスクスコア（RTX PRO 6000での測定）でbyteshapeが最も高いとしていますが、測った対象が違うため直接比較はできず、小さいファイルのほうが品質まで優れているとは、この試験では言えません。標本はWikipediaの英文120,000字と韓国語70,000字です。
速度表から外した数字と、選ぶ順序
ngram方式は、同じ韓国語の質問を繰り返すと毎秒108~111トークンが出ますが、前の回答を再生したものとみられ、最初のリクエストは8.4トークン、サーバーを新しく起動すると8.1~8.6トークンだったため、性能としては使いませんでした。
- 韓国語の文章・会話は、UD-Q4_K_XL + MTP（11.2トークン、品質損失は最小）。
- 韓国語をもっと速くするなら、UD-IQ4_XS + MTP（12.3トークン、韓国語のKLは3倍を超えて増加）。
- コード・JSONが主な用途なら、UD-Q4_K_XL + DFlash2（38.9~44.4トークン）。コード・JSONの品質は別途測っていません。
測れなかったことと追記メモ
BF16基準の品質、正答率の問題40問、温度0以外のサンプリングでの採択率、ファン・温度、Splash（公式の最小メモリ36GB）は測っていません。すべての値はこのMac 1台・1セッションのもので、数パーセントの差は誤差の可能性があります。
追記メモ：2026-10-13の当チャンネルのStrata動画で、同じUD-IQ4_XS MTPファイルの韓国語を測り直したところ、14.1トークン（採択率45.3%）が出て、この記事の12.3（採択率33%）と違いました。質問の文章と呼び出し方式が違う以外に原因は確認できておらず、2つの値は同じ表に混ぜません。
出典・基準日。 実測は2026-10-11。ByteShapeのブログ（2026-10-11閲覧、引用のみ）、MTPLXのモデルカード。
ナレーションはAI音声で、執筆にもAIの補助を使っています。情報提供を目的としたもので、購入を勧めるものではありません。