自分のPCで動く？量子化ファイル5～94GB、RAM・VRAM・Mac構成別の判定
投稿日 動画公開
量子化を下げると32GBのMac miniでQwen 27Bは17.56→10.52GB、韓国語は毎秒8.2→13.0トークンに。ファイルがRAMより大きいと速度は崩れます。3090・5090・Macの構成と10月15日の価格を整理しました。
このモデルは自分のパソコンで動くでしょうか。量子化（モデルファイルを小さくする方式）を下げると、32GBのMac miniではQwen 27Bのファイルが17.56GBから10.52GBになり、韓国語の速度は毎秒8.2トークンから13.0トークンに上がります。一方、ファイルがRAMより大きくなると速度は崩れます。3090サーバーでRAMを32GB級に絞って再現したところ、4,000トークンの読み込みが毎秒2045.1トークンから206.7トークンになりました。この記事はYouTube動画の内容を、当チャンネルの測定、計算、第三者の報告、価格調査に分けて整理し直したものです。価格は2026年10月15日に調べた値です。
結論から
- 量子化を下げると、必要なメモリと速度がファイルサイズに沿って良くなります。 Mac mini M6 32GBでは、Qwen 27Bの正解数は98、96、93問（150問中）で、互いに区別できませんでした。［当チャンネルの測定］
- ファイルがメモリより大きくなると速度が崩れます。 Flash-Next IQ3_SはRAM制限なしで4,000トークンの読み込みが毎秒2045.1トークン、32GB級では毎秒206.7トークンでした。（別プロセスでRAMを占有して再現した値で、実際にそのRAMを積んだ機械ではありません。）［当チャンネルの測定］
- 同じモデルでも機器によって値が違います。 24GB級のグラフィックスカードは新品がなく、5090の新品は10月15日時点で929万ウォン（韓国での価格）でした。［価格調査］
この記事の数字は4種類です
| 表記 | 意味 |
|---|---|
| 当チャンネルの測定 | Mac mini M6 32GBとレンタルサーバーで直接測った値 |
| 計算 | 当方の値同士の掛け算・比較、カード容量に収まるかを見た値（速度ではありません） |
| 第三者の報告 | 制作者1台の範囲値など、他の人が書いた値 |
| 価格 | 2026-10-15 14:51～15:10 KSTに調査。新品はDanawaの最安値、中古は希望価格（成約価格ではありません）、Apple韓国の構成価格 |
Mac miniはM6 32GB 1台でllama.cpp（build 11552）を使い、3回の中央値を採用しました。韓国語の正解数はKMMLU 150問です。RTX 3090サーバー（サーバーA）とRTX 5090サーバー（サーバーB）はレンタルサーバーで1回ずつ測定しました。別々の機械なので、速度は比べていません。PCの価格はグラフィックスカードとRAMだけを足しています。
Mac mini 32GB：量子化を下げると何が変わるか
Mac mini M6 32GBで6つの構成を同じ条件で測りました（思考オフの形式、256トークン、グリーディ）。
| モデル・量子化 | ファイル GB | 韓国語 tok/s | KMMLU 正解（150問） |
|---|---|---|---|
| Qwen 27B UD-Q4_K_XL | 17.56 | 8.2 | 98 |
| Qwen 27B IQ3_XXS | 12.32 | 11.3 | 96 |
| Qwen 27B IQ2_M | 10.52 | 13.0 | 93 |
| Gemma 4 12B Q8_0 | 12.67 | 11.4 | 103 |
| Gemma 4 12B Q4_0 | 7.22 | 18.1 | 100 |
| Gemma 4 12B IQ3_XXS | 5.15 | 25.4 | 85 |
実際にメモリに載った値は、Qwen 27Bで約17、12.2、10.7GBでした（コンテキスト20480の場合）。速度にファイルサイズを掛けると、Qwenは137～143、Gemmaは131～145でほぼ一定です。これは計算であり、メモリ帯域幅を直接測ったものではありません。
150問では誤差の幅が大きく（約±7.5ポイント）、Qwenの98・96・93も、GemmaのQ8の103とQ4_0の100も区別できません。ただし、3ビットのIQ3_XXSが85に下がったのは、同じ問題でのペア比較でQ4_0に対してp=0.003なので、低下のサインと見てよいでしょう。それでもファイルの作成者が違う（Gemma Q4_0はggml-org、IQ3_XXSはbartowski）ため、ビット数のせいだと断定はしません。
8・12・16GBカード：丸ごと載るかだけを計算
8・12・16GBのカードは直接測れなかったので計算です。コンテキスト3万2千トークン、カード容量から1.5GiBを引いた値で、丸ごと載るかだけを見ました。RAMにあふれたときにどれだけ遅くなるかは測っていません。
- 8GB：Gemma 12Bの2ビットまで。
- 12GB：Gemma 12Bの8.6GBのファイルまで。Qwen 27Bは2ビットでも収まりません。
- 16GB：Gemma 12B Q8と27Bの2ビットまで。27Bの4ビットは4.2GBがRAMにあふれます。
- 24GB：27Bの4ビットが丸ごと載ります。
参考として、RAM上限42.6GBのレンタルサーバー1台で3060 12GBがFlash-Next 2ビットを測ったところ、韓国語で毎秒39.5トークンでした。環境が均一ではないので参考値です。
24GB 3090：66～94GBのモデルはRAMが先
3090の中古希望価格は、合算の中央値が174.7万ウォン、30日以内のマーケット別中央値が174～200万ウォンです（韓国での価格）。2026年9月28日にllama-benchで同じファイルを測ったQwen 27B Q4の生成は、3090が毎秒42.5トークン、Mac miniが7.8トークンでした。同じツールで測りましたが、この3090は動画のサーバーA・Bとは別のレンタルサーバーです。
Flash-Next 125Bは、サーバーA（3090 24GB、電力上限420W）で5種類の量子化を1回ずつ測りました。
| 量子化 | ファイル GB | 韓国語 tok/s |
|---|---|---|
| Q2_0 | 66.4 | 112.1 |
| IQ2_XS | 68.0 | 116.8 |
| IQ3_XXS | 75.8 | 110.1 |
| IQ3_S | 83.6 | 98.9 |
| UD-IQ4_XS* | 93.7 | 89.0 |
KMMLU 450問の正答率は、UD-IQ4_XSを除く4つが65.1～71.3%でした。*UD-IQ4_XSは設定（ROUTE_TAIL_SKIP=0、STRATA_HC_Q8=1）が違うため、同じ行には置いていません。固定RAMはQ2_0が33.47GiB、IQ3_Sが48.67GiBです。
RAMを減らすと、読み込み速度が大きく変わります。32GB級のRAM（占有で再現、実際にそのRAMを積んだ機械ではありません）で4,000トークンの読み込みは、IQ3_Sが毎秒2045.1から206.7トークン、Q2_0が毎秒2276.8から1664.4トークンでした。
そのため、IQ3_SはRAM 64GBで正常に動きました。64GBキットの最安値151.8万ウォンを3090の中古174.7万ウォンと足すと約326.5万ウォンです（マザーボード・ケース・電源・CPUは除く）。
32GB 5090：サーバーBの測定と価格
5090は電力上限400WにしたサーバーBで測りました。gpt-oss 120Bは韓国語で毎秒78.8トークン、RAMはファイルページとして32.9GiB、VRAMは29.1GiBでした。Flash-Next IQ3_Sは毎秒39.4トークンでRAM 48.7GiB、条件が違うUD-IQ4_XSは毎秒30.2トークンでRAM 57.3GiBでした。長い入力の読み込みでは、サンプルの32～51%が電力上限に達したため、その区間の値は上限の影響を受けている可能性があります。サーバーのRAMは十分で（上限384.7GiB）、RAMに余裕のないPCは再現できませんでした。
5090の新品は10月15日時点で929.0万ウォンで、9月27日の調査の649万ウォン台から上がりました（原因は確認できませんでした）。中古の希望価格は30日以内のマーケット別中央値が850～880万ウォンで、新品と64GBキットを足すと約1,080.8万ウォンです。
Macの構成：計算と価格
計算上、Mac mini 32GBはQwen 27Bの6ビットまで載り、8ビットは載りません。MacのGPUが使える割合は32GBでの78%だけを測定しており、ほかの容量は範囲として見る必要があります。66.4GBのFlash-Next 2ビットのファイルはRAMより大きいのでSSDから読みます。Mac miniで3回測ると韓国語は毎秒13.8～17.3トークンの間で揺れました。ファイルが66～94GBなので、SSDの空きも必要です。
第三者の報告として、制作者はM4 Max 128GBでのFlash-Next Q2_0の生成が、strata-mlxで68～111 tok/s、llama-serverで38～39 tok/sだと書いています。制作者1台の範囲値です。
10月15日の価格
| 区分 | 価格（ウォン、韓国での価格） |
|---|---|
| 新品（Danawa最安値） | 5060 8GB 66.2万 · 3060 12GB 51.5万 · 5060 Ti 16GB 104.4万 · 5070 Ti 181.9万 · 5080 233.0万 · 5090 929.0万 |
| 24GB級 | 3090・4090の新品はなし |
| 中古の希望価格（30日以内のマーケット別中央値） | 3060 33～36万 · 3090 174～200万 · 5090 850～880万 |
| DDR5 32GBキット・64GBキット | 62.2万 · 151.8万 |
| Apple韓国の構成価格 | Mac mini M6 32GB/1TB 302.9万 · M5 Pro 64GB/1TB 520.0万 · Mac Studio M5 Max 64GB 599.0万 · 128GB 871.0万 · M5 Ultra 96GB 949.0万 |
ストレージ容量は構成ごとに異なります。
用途別に見ると
勝ち負けではなく、この条件での方向です。
- Gemma 12Bの4ビットは12GBカードから丸ごと載ります（計算）。
- Qwen 27Bの4ビットは中古の3090かMac mini 32GBから。同じツールで測った速度は3090が5.5倍でした（当チャンネルの測定）。
- 125BのFlash-NextはRAMが先です。3090はRAM 64GBで正常で、32GB級では読み込みが10分の1に落ちました。
- 5090は新品と中古の希望価格が79万ウォンほど違います。
限界と基準日
Mac miniは1台・150問で、サーバーは1回ずつの測定です。8・12・16GBのカードとMacの24・48・96GBは計算です。RAMに余裕のないPCは再現できておらず、サーバー級のモデルは扱っていません。中古は希望価格で、価格は日々変わります。すべての価格は、動画公開日（2026-10-16）の前日にあたる2026年10月15日に調べた値です。
