同じモデル・量子化・エンジン・コンテキスト長・同時リクエストの条件で、デバイスごとのトークン速度を比較します。すべての値に測定グレードが付き、計算値や推定値を測定値のように見せないよう区別しています。

直接測定他者測定計算・推定ユーザー投稿 · 証拠確認済み測定 1625 件 · デバイス 93 台 · モデル 132 種 (直接測定 886 件 · 他者測定 733 件) · 更新日 2026-10-30

結果

デバイス 4 台 · 測定 6 件 · 更新日 2026-10-06

並び替え

初期表示では、直接測定した値と証拠が確認された投稿値のみを表示します。他のグレードは「測定グレード」で追加できます。

1
NVIDIA GPU · 192 GB UD-IQ4_XS · llama.cpp · コンテキスト長 0（未指定）

98.5 tok/s

n=1 98.5–98.5 1位
直接測定測定動画は削除または非公開です + 比較に追加
⚠ 注意事項あり
- 전력 한도 300W/장(Max-Q) - 600W 워크스테이션판(h3 프로젝트의 PRO 6000)과 다른 카드
- 2장 합계 값(peak_mem·power_w)
- dup
2
NVIDIA GPU · 64 GB UD-IQ4_XS · llama.cpp · コンテキスト長 0（未指定）

72.8 tok/s

n=1 72.8–72.8 1位の 74%
直接測定測定動画は削除または非公開です + 比較に追加
⚠ 注意事項あり
- 전문가를 시스템 RAM 으로 오프로딩(--n-cpu-moe)이라 VRAM 만의 속도가 아님
- 서버 A 는 -t 32 (cgroup CPU 쿼터 61코어 문제 후 스레드 고정)
- 2장 합계 값(peak_mem·power_w)
- 서버가 중간에 SSH 끊김
- 줄인 범위(jobs=server_a_5090x2_short)
- Flash-Next 는 --n-cpu-moe 8 + per_layer_token_embd CPU
3
DGX系 · 128 GB UD-IQ4_XS · llama.cpp · コンテキスト長 0（未指定）

29.4 tok/s

n=1 29.4–29.4 1位の 30%
直接測定 ▶ 무료 챗GPT급 로컬 AI, 24GB 한 장이면 된다 — RTX 3090 · 5090 · 맥 미니 M6 직접 재 봤다 + 比較に追加
⚠ 注意事項あり
- DGX 담당과 중복 가능(대여 서버라 GPU 담당이 수집)
- power_note power.limit=N/A
- peak_mem=시스템(통합) 메모리 사용 최대
- peak_mem=시스템(통합) 메모리 최대 GiB - VRAM 아님
4
Mac · 32 GB UD-IQ4_XS · llama.cpp · コンテキスト長 0（未指定）

5.4 tok/s

n=3 5.2–5.7 1位の 5%
直接測定 ▶ GLM-5.3 Flash vs 큐웬 3.8 Flash-Next — 맥 미니 32GB · RTX PRO 6000 · 5090 직접 쟀다 + 比較に追加
⚠ 注意事項あり
- Flash-Next UD-IQ4_XS 93.7GB는 32GB보다 커서 CPU(-ngl 0) + 전문가 SSD 읽기
- 1회 측정(stddev 0)
- 영상 제목 "초당 5.7토큰"은 이 행(-t 8 tg32 5.71)이고 서버 실측(-t 6)은 4.25~4.60 — 조건 다름

n は同じ条件で直接測定した回数です。n が 2 以上のとき、表示値は中央値で、最小–最大を併記します。n が 1 の場合は1回だけの測定値のため、再測定で変わることがあります。

ローカルAIトークン速度ランキング

測定グレードとは?

結果

デバイス並列比較