같은 모델·양자화·엔진·문맥 길이·동시 요청 조건에서 기기별 토큰 속도를 비교합니다. 모든 값에는 측정 등급이 붙으며, 계산·추정값을 측정값처럼 보이지 않게 구분해 둡니다.

직접 측정 남이 측정 계산·추정 사용자 제출 · 증거 확인됨 측정 1625건 · 기기 93대 · 모델 132개 (직접 측정 886건 · 남이 측정 733건) · 갱신일 2026-10-30

결과

기기 4대 · 측정 6건 · 갱신일 2026-10-06

정렬

기본 화면에는 직접 측정한 값과 증거가 확인된 제출값만 표시합니다. 다른 등급은 '측정 등급' 조건에서 포함할 수 있습니다.

1
NVIDIA GPU · 192 GB UD-IQ4_XS · llama.cpp · 문맥 길이 0 (미지정)

98.5 tok/s

n=1 98.5–98.5 1위
직접 측정 측정 영상이 내려갔거나 비공개입니다 + 비교 담기
⚠ 주의 사항 있음
- 전력 한도 300W/장(Max-Q) - 600W 워크스테이션판(h3 프로젝트의 PRO 6000)과 다른 카드
- 2장 합계 값(peak_mem·power_w)
- dup
2
NVIDIA GPU · 64 GB UD-IQ4_XS · llama.cpp · 문맥 길이 0 (미지정)

72.8 tok/s

n=1 72.8–72.8 1위의 74%
직접 측정 측정 영상이 내려갔거나 비공개입니다 + 비교 담기
⚠ 주의 사항 있음
- 전문가를 시스템 RAM 으로 오프로딩(--n-cpu-moe)이라 VRAM 만의 속도가 아님
- 서버 A 는 -t 32 (cgroup CPU 쿼터 61코어 문제 후 스레드 고정)
- 2장 합계 값(peak_mem·power_w)
- 서버가 중간에 SSH 끊김
- 줄인 범위(jobs=server_a_5090x2_short)
- Flash-Next 는 --n-cpu-moe 8 + per_layer_token_embd CPU
3
DGX 계열 · 128 GB UD-IQ4_XS · llama.cpp · 문맥 길이 0 (미지정)

29.4 tok/s

n=1 29.4–29.4 1위의 30%
직접 측정 ▶ 무료 챗GPT급 로컬 AI, 24GB 한 장이면 된다 — RTX 3090 · 5090 · 맥 미니 M6 직접 재 봤다 + 비교 담기
⚠ 주의 사항 있음
- DGX 담당과 중복 가능(대여 서버라 GPU 담당이 수집)
- power_note power.limit=N/A
- peak_mem=시스템(통합) 메모리 사용 최대
- peak_mem=시스템(통합) 메모리 최대 GiB - VRAM 아님
4
Mac · 32 GB UD-IQ4_XS · llama.cpp · 문맥 길이 0 (미지정)

5.4 tok/s

n=3 5.2–5.7 1위의 5%
직접 측정 ▶ GLM-5.3 Flash vs 큐웬 3.8 Flash-Next — 맥 미니 32GB · RTX PRO 6000 · 5090 직접 쟀다 + 비교 담기
⚠ 주의 사항 있음
- Flash-Next UD-IQ4_XS 93.7GB는 32GB보다 커서 CPU(-ngl 0) + 전문가 SSD 읽기
- 1회 측정(stddev 0)
- 영상 제목 "초당 5.7토큰"은 이 행(-t 8 tg32 5.71)이고 서버 실측(-t 6)은 4.25~4.60 — 조건 다름

n은 같은 조건에서 직접 측정한 횟수입니다. n이 2 이상이면 표시된 값은 중앙값이며, 최소–최대를 함께 보여 드립니다. n이 1이면 한 번 잰 값이므로 재측정 시 달라질 수 있습니다.

로컬 AI 토큰 속도 랭킹

측정 등급이란?

결과

기기 나란히 비교