ブログ
YouTubeに投稿した動画の内容を文章でまとめ直しています。数値や表をゆっくり確認できます。
-
自分のPCで動く？量子化ファイル5～94GB、RAM・VRAM・Mac構成別の判定 (youtube.com)
量子化を下げると32GBのMac miniでQwen 27Bは17.56→10.52GB、韓国語は毎秒8.2→13.0トークンに。ファイルがRAMより大きいと速度は崩れます。3090・5090・Macの構成と10月15日の価格を整理しました。
YouTubeに投稿した動画の内容を文章でまとめ直しています。数値や表をゆっくり確認できます。
量子化を下げると32GBのMac miniでQwen 27Bは17.56→10.52GB、韓国語は毎秒8.2→13.0トークンに。ファイルがRAMより大きいと速度は崩れます。3090・5090・Macの構成と10月15日の価格を整理しました。