Ollama v0.40.16 정식 릴리스, Apple silicon 메모리 절감 명시

올린 때 11월 11일 07:02 기준일 2026년 11월 9일

Ollama가 v0.40.16 정식 태그를 공개했다. 공식 릴리스 노트에는 Apple silicon에서 Qwen3.8 Flash Next의 메모리 사용이 줄었다는 내용과 Windows on ARM용 CUDA 13.5 지원이 담겼다.

무슨 일이 있었나

출처: Ollama GitHub 릴리스 (v0.40.16 정식 태그)
Apple silicon에서 Qwen3.8 Flash Next의 메모리 사용이 약 27 GiB 줄었다고 명시 (공식)
/v1/responses가 truncation 설정을 따르며, 기본값에서 조용히 잘리지 않도록 변경
Windows on ARM용 CUDA 13.5 지원 추가
llama.cpp 업데이트 포함
릴리스 노트에는 27 GiB 수치의 테스트 환경이 나와 있지 않음

우리 관점

Mac의 Apple silicon에서 Qwen3.8 Flash Next를 로컬로 돌리는 사용자에게는 메모리 여유가 달라질 수 있다. 다만 실제 감소폭은 모델 크기, 양자화, 컨텍스트 길이에 따라 다를 수 있고, 릴리스 노트만으로는 확인할 수 없다. Windows on ARM 기기에서의 CUDA 13.5 체감 효과도 아직 알려지지 않았다.

출처와 관련 글

Ollama GitHub 릴리스 1차 출처

로컬 AI의 다른 소식

Ollama v0.40.16-rc0: pplx-decider 추가, API 동작 수정 (github.com)

Ollama 프리릴리스 v0.40.16-rc0에 Perplexity의 27B 결정 모델이 추가됐고, OpenAI 호환 엔드포인트의 샘플러 기본값 처리가 바뀌었다. 정식판 내용은 달라질 수 있다.

로컬 AI| 11월 10일 07:02 |출처 1곳 |우리 관점 있음

llama.cpp b12200, 퀄컴 OpenCL 양자화 커널 개선 (github.com)

llama.cpp b12200 릴리스에는 OpenCL의 q8_0과 MoE 소규모 배치 처리를 손보는 변경 하나가 담겼다. 성능 수치는 공개되지 않았다.

로컬 AI| 11월 8일 17:43 |출처 1곳 |우리 관점 있음

Moonshot, 오픈 웨이트 모델 Kimi K3.1 Pro 공개 (huggingface.co)

Moonshot AI가 Hugging Face에 멀티모달 에이전트 모델 Kimi K3.1 Pro 가중치를 올렸다. 파라미터는 2.8T(공식)로 표기되며 전용 라이선스가 적용된다.

로컬 AI| 11월 8일 17:43 |출처 1곳 |우리 관점 있음