내 컴퓨터에서 돌아갈까? 양자화 파일 5~94GB, 램·VRAM·맥 구성별 판정
올린 날 영상 공개
양자화를 낮추면 맥 미니 32GB에서 Qwen 27B 파일 17.56→10.52GB, 한국어 8.2→13.0토큰/초. 파일이 램보다 크면 속도가 무너집니다. 3090·5090·맥 구성과 10월 15일 가격을 정리했습니다.
내 컴퓨터에서 이 모델이 돌아갈까요. 양자화(모델 파일을 줄이는 방식)를 낮추면 맥 미니 32GB에서 Qwen 27B 파일이 17.56GB에서 10.52GB가 되고, 한국어 속도는 초당 8.2토큰에서 13.0토큰으로 빨라집니다. 반대로 파일이 램보다 커지면 속도가 무너집니다. 3090 서버에서 램을 32GB 급으로 줄여 재현하자 4천 토큰 읽기가 초당 2045.1토큰에서 206.7토큰이 됐습니다. 이 글은 YouTube 영상의 내용을 우리 측정, 계산, 타인 보고, 가격 조회로 나눠 다시 정리한 것이며, 가격은 2026년 10월 15일 조회값입니다.
결론 먼저
- 양자화를 낮추면 필요한 메모리와 속도가 파일 크기를 따라 좋아집니다. 맥 미니 M6 32GB에서 Qwen 27B 정답은 98, 96, 93문항(150문항)으로 서로 구분되지 않았습니다. [우리 측정]
- 파일이 메모리보다 커지면 속도가 무너집니다. Flash-Next IQ3_S는 램 제한이 없을 때 4천 토큰 읽기 2045.1토큰/초, 32GB 급에서 206.7토큰/초였습니다. (점유 프로세스로 재현한 값이며 실제 그 램의 기계는 아닙니다.) [우리 측정]
- 같은 모델도 기기마다 값이 다릅니다. 24GB 급 그래픽카드는 신품이 없고, 5090 신품은 10월 15일 기준 929만 원이었습니다. [가격 조회]
이 글의 숫자는 네 종류입니다
| 표기 | 뜻 |
|---|---|
| 우리 측정 | 맥 미니 M6 32GB와 대여 서버에서 직접 잰 값 |
| 계산 | 우리 값 사이의 곱셈·비교, 카드 용량으로 들어가는지 따진 값(속도 아님) |
| 타인 보고 | 제작자 한 대의 범위값 등 남이 적은 값 |
| 가격 | 2026-10-15 14:51~15:10 KST 조회, 신품 다나와 최저 · 중고 호가(거래가 아님) · 애플 한국 구성가 |
맥 미니는 M6 32GB 한 대에서 llama.cpp(build 11552)로 3회 중앙값을 썼고, 한국어 정답은 KMMLU 150문항입니다. RTX 3090 서버(서버 A)와 RTX 5090 서버(서버 B)는 빌린 서버에서 한 번씩 쟀고, 서로 다른 기계라 속도를 견주지 않습니다. PC 가격은 그래픽카드와 램만 더했습니다.
맥 미니 32GB: 양자화를 낮추면 무엇이 바뀌나
맥 미니 M6 32GB에서 6개 구성을 같은 조건으로 쟀습니다(생각을 끈 형식, 256토큰 그리디).
| 모델 · 양자화 | 파일 GB | 한국어 tok/s | KMMLU 정답(150문항) |
|---|---|---|---|
| Qwen 27B UD-Q4_K_XL | 17.56 | 8.2 | 98 |
| Qwen 27B IQ3_XXS | 12.32 | 11.3 | 96 |
| Qwen 27B IQ2_M | 10.52 | 13.0 | 93 |
| Gemma 4 12B Q8_0 | 12.67 | 11.4 | 103 |
| Gemma 4 12B Q4_0 | 7.22 | 18.1 | 100 |
| Gemma 4 12B IQ3_XXS | 5.15 | 25.4 | 85 |
실제로 메모리에 올라간 값은 Qwen 27B가 약 17, 12.2, 10.7GB였습니다(문맥 20480 기준). 속도에 파일 크기를 곱하면 Qwen 137~143, Gemma 131~145로 거의 일정한데, 이는 계산이며 메모리 대역폭을 직접 잰 것은 아닙니다.
150문항은 오차 범위가 커서(약 ±7.5%p) Qwen 98 · 96 · 93도, Gemma Q8 103과 Q4_0 100도 구분되지 않습니다. 다만 3비트 IQ3_XXS가 85로 내려간 것은 같은 문항 짝비교에서 Q4_0과 p=0.003이라 하락 신호로 볼 만합니다. 그래도 이 파일은 제작자가 달라(Gemma Q4_0은 ggml-org, IQ3_XXS는 bartowski) 비트 수 탓이라고 단정하지는 않습니다.
8·12·16GB 카드: 통째로 들어가는지만 계산
8·12·16GB 카드는 직접 재지 못해 계산입니다. 문맥 3만 2천 토큰, 카드 용량에서 1.5GiB를 뺀 값으로 통째로 들어가는지만 봤고, 램으로 넘칠 때 얼마나 느려지는지는 재지 않았습니다.
- 8GB: Gemma 12B 2비트까지.
- 12GB: Gemma 12B 8.6GB 파일까지. Qwen 27B는 2비트도 넘칩니다.
- 16GB: Gemma 12B Q8과 27B 2비트까지. 27B 4비트는 4.2GB가 램으로 넘칩니다.
- 24GB: 27B 4비트가 통째로 들어갑니다.
참고로 3060 12GB는 램 한도 42.6GB인 대여 서버 한 대에서 Flash-Next 2비트가 한국어 초당 39.5토큰이었고, 환경이 균일하지 않아 참고용입니다.
24GB 3090: 파일 66~94GB 모델은 램이 먼저
3090 중고 호가는 합산 중앙값이 174.7만 원, 30일 안 장터별 중앙값이 174~200만 원입니다. 2026년 9월 28일 llama-bench로 같은 파일을 잰 Qwen 27B Q4 생성은 3090이 초당 42.5토큰, 맥 미니가 7.8토큰이었습니다. 같은 도구로 쟀지만 3090은 이 영상의 서버 A·B와 다른 대여 서버입니다.
Flash-Next 125B는 서버 A(3090 24GB, 전력 한도 420W)에서 다섯 가지 양자화를 한 번씩 쟀습니다.
| 양자화 | 파일 GB | 한국어 tok/s |
|---|---|---|
| Q2_0 | 66.4 | 112.1 |
| IQ2_XS | 68.0 | 116.8 |
| IQ3_XXS | 75.8 | 110.1 |
| IQ3_S | 83.6 | 98.9 |
| UD-IQ4_XS* | 93.7 | 89.0 |
KMMLU 450문항 정답률은 UD-IQ4_XS를 뺀 네 개가 65.1~71.3%였습니다. *UD-IQ4_XS는 설정(ROUTE_TAIL_SKIP=0, STRATA_HC_Q8=1)이 달라 같은 줄에 두지 않았습니다. 고정 램은 Q2_0 33.47GiB, IQ3_S 48.67GiB입니다.
램을 줄이면 읽기 속도가 크게 달라집니다. 램 32GB 급(점유로 재현, 실제 그 램의 기계 아님)에서 4천 토큰 읽기는 IQ3_S가 2045.1에서 206.7토큰/초, Q2_0가 2276.8에서 1664.4토큰/초였습니다.
그래서 IQ3_S는 램 64GB에서 정상이었습니다. 64GB 키트 최저가 151.8만 원을 3090 중고 174.7만 원과 더하면 약 326.5만 원입니다(보드·케이스·전원·CPU 제외).
32GB 5090: 서버 B 측정과 가격
5090은 전력 한도 400W로 둔 서버 B에서 쟀습니다. gpt-oss 120B는 한국어 78.8토큰/초, 램은 파일 페이지로 32.9GiB, VRAM은 29.1GiB였습니다. Flash-Next IQ3_S는 39.4토큰/초에 램 48.7GiB, 조건이 다른 UD-IQ4_XS는 30.2토큰/초에 램 57.3GiB였습니다. 긴 입력 읽기에서는 샘플의 32~51%가 전력 한도에 닿아 그 구간 값에는 한도 영향이 있을 수 있습니다. 서버 램이 넉넉해(한도 384.7GiB) 램이 빠듯한 PC는 재현하지 못했습니다.
5090 신품은 10월 15일 기준 929.0만 원으로, 9월 27일 조사의 649만 원대에서 올랐습니다(원인은 확인하지 못했습니다). 중고 호가는 30일 안 장터별 중앙값 850~880만 원이고, 신품과 64GB 키트를 더하면 약 1,080.8만 원입니다.
맥 구성: 계산과 가격
맥 미니 32GB는 계산상 Qwen 27B 6비트까지 들어가고 8비트는 안 들어갑니다. 맥 GPU 몫은 32GB에서 78%만 측정했고 다른 용량은 범위로 봐야 합니다. Flash-Next 2비트 66.4GB 파일은 램보다 커서 SSD를 읽는데, 맥 미니에서 3회 재니 한국어가 초당 13.8~17.3토큰으로 흔들렸습니다. 파일이 66~94GB라 SSD 여유도 필요합니다.
타인 보고로, 제작자가 M4 Max 128GB에서 Flash-Next Q2_0 생성을 strata-mlx 68~111 tok/s, llama-server 38~39 tok/s라고 적었습니다. 제작자 한 대의 범위값입니다.
10월 15일 가격
| 구분 | 가격 |
|---|---|
| 신품(다나와 최저) | 5060 8GB 66.2만 · 3060 12GB 51.5만 · 5060 Ti 16GB 104.4만 · 5070 Ti 181.9만 · 5080 233.0만 · 5090 929.0만 |
| 24GB 급 | 3090 · 4090 신품 없음 |
| 중고 호가(30일 내 장터별 중앙값) | 3060 33~36만 · 3090 174~200만 · 5090 850~880만 |
| DDR5 32GB 키트 · 64GB 키트 | 62.2만 · 151.8만 |
| 애플 한국 구성가 | 맥 미니 M6 32GB/1TB 302.9만 · M5 Pro 64GB/1TB 520.0만 · 스튜디오 M5 Max 64GB 599.0만 · 128GB 871.0만 · M5 Ultra 96GB 949.0만 |
저장 용량은 구성마다 다릅니다.
용도별로 보면
승패가 아니라 이 조건에서의 방향입니다.
- Gemma 12B 4비트는 12GB 카드부터 통째로 들어갑니다(계산).
- Qwen 27B 4비트는 중고 3090이나 맥 미니 32GB부터이며, 같은 도구로 잰 속도는 3090이 5.5배였습니다(우리 측정).
- 125B Flash-Next는 램이 먼저입니다. 3090은 램 64GB에서 정상이었고, 32GB 급에서는 읽기가 10분의 1로 떨어졌습니다.
- 5090은 신품과 중고 호가가 79만 원쯤 차이 납니다.
한계와 기준일
맥 미니는 한 대에 150문항이고, 서버는 한 번씩 측정했습니다. 8·12·16GB 카드와 맥 24·48·96GB는 계산입니다. 램이 빠듯한 PC는 재현하지 못했고, 서버급 모델은 다루지 않았습니다. 중고는 호가이며 가격은 날마다 변합니다. 모든 가격은 영상 공개일(2026-10-16) 하루 전인 2026-10-15 조회값입니다.
