自分のコンピューターで同じ条件で測定する方法

-p は読み込むプロンプトのトークン数、-n は生成するトークン数、-r は繰り返し回数、-ngl はGPUに載せる層の数です。結果表の pp512 行がプロンプト処理速度、tg128 行が生成速度で、単位は t/s(= tok/s)です。

llama-bench -m ./models/MODEL.gguf -p 512 -n 128 -r 5 -ngl 99

記録する値 tg128 の t/s → 生成速度、pp512 の t/s → プロンプト処理速度。表示される ± は繰り返し間のばらつきです。生成したトークン数には -n の値(128)を入力します。

既定では、コンテキストがほぼ空の状態での速度を測ります。長いコンテキストでの速度を見るには、-d オプションで既に埋まっているコンテキスト深度を指定できますが、このオプションはバージョンによって異なる場合があるため --help で確認してください。その場合、コンテキスト長には -d の値を入力します。

実際のサーバー経由で測定したいときの方法です。コンテキスト8192・スロット1でサーバーを起動し、プロンプトキャッシュを無効にして1回リクエストします。レスポンスの timings 項目から値を読み取ります。

llama-server -m ./models/MODEL.gguf -c 8192 -ngl 99 --parallel 1

curl http://127.0.0.1:8080/completion -d '{"prompt":"Explain how a transformer language model works.","n_predict":256,"temperature":0,"cache_prompt":false}' | jq '.timings'

記録する値 timings の predicted_per_second → 生成速度、prompt_per_second → プロンプト処理速度、predicted_n → 生成したトークン数。コンテキスト長には -c の値、同時リクエストには 1 を入力します。

--max-tokens で生成長を固定し、--temp 0 でランダム性を減らします。最後に表示される「Prompt: … tokens-per-sec」と「Generation: … tokens-per-sec」の行を読み取ります。

pip install -U mlx-lm

python -m mlx_lm.generate --model mlx-community/MODEL --prompt "Explain how a transformer language model works." --max-tokens 256 --temp 0

記録する値 Generation 行の tokens-per-sec → 生成速度、Prompt 行の tokens-per-sec → プロンプト処理速度、Generation 行の tokens の前の数字 → 生成したトークン数、Peak memory → ピークメモリ使用量(GB)。初回はモデルの読み込みで遅くなることがあるため、2回目以降の結果を使ってください。

最近の mlx-lm には mlx_lm.benchmark があり、プロンプト長(-p)と生成長(-g)を指定して複数回(-n)測定します。ウォームアップの後、各試行の値と「Averages」行を表示します。古いバージョンにはない場合があるため、インストール済みのバージョンで使えるか確認してください。

python -m mlx_lm.benchmark --model mlx-community/MODEL -p 512 -g 128 -n 5

記録する値 Averages 行の prompt_tps → プロンプト処理速度、generation_tps → 生成速度、peak_memory → ピークメモリ使用量。生成したトークン数には -g の値を入力し、使用した -p の値はコマンドと一緒にコマンド入力欄に残してください。出力形式はバージョンによって異なる場合があります。

--verbose を付けて1回実行すると、最後に「prompt eval rate」と「eval rate」が tokens/s で表示されます。手軽ですが、コンテキスト長や生成長を固定しにくいため、おおまかな確認用です。

ollama run MODEL:TAG --verbose "Explain how a transformer language model works."

記録する値 eval rate → 生成速度、prompt eval rate → プロンプト処理速度、eval count → 生成したトークン数。思考(thinking)が有効なモデルでは、そのトークンが含まれるか確認してください。

APIを使うと、コンテキスト長(num_ctx)・生成長(num_predict)・ランダム性(temperature)を固定して1回リクエストできます。レスポンスの eval_count と eval_duration(ナノ秒)から生成速度を自分で計算します。jq が必要です。

OLLAMA_NUM_PARALLEL=1 ollama serve

curl -s http://localhost:11434/api/generate -d '{"model":"MODEL:TAG","prompt":"Explain how a transformer language model works.","stream":false,"options":{"num_ctx":8192,"num_predict":256,"temperature":0}}' | jq '{gen_tps: (.eval_count / .eval_duration * 1e9), prompt_tps: (.prompt_eval_count / .prompt_eval_duration * 1e9), eval_count, prompt_eval_count}'

記録する値 出力された gen_tps → 生成速度、prompt_tps → プロンプト処理速度、eval_count → 生成したトークン数、num_ctx → コンテキスト長。prompt_eval_count が極端に小さい場合は前のリクエストのキャッシュが使われているため、プロンプト処理速度は当てになりません。

同時リクエストを1にするには、サーバー起動時に環境変数 OLLAMA_NUM_PARALLEL=1 を指定し、同時に他のリクエストが入らないようにしてください。既定値はバージョンや環境によって異なる場合があります。