깃(Git)선제압
한국어

← 소식

로컬 AI

Ollama v0.40.17-rc0, MLX 동시 생성과 iGPU mmap 로딩

올린 때 기준일

Ollama v0.40.17-rc0 프리릴리스는 MLX 동시 생성과 공유 메모리 iGPU용 Vulkan mmap 로딩을 포함합니다. OpenAI 호환 엔드포인트가 모델의 샘플러 기본값을 덮어쓰지 않도록 바뀌었습니다.

무슨 일이 있었나

  • ollama/ollama GitHub 프리릴리스 페이지(2026-11-10) 기준
  • MLX 모델의 동시 생성 지원 추가
  • 통합 GPU(iGPU)에서 Vulkan 경로가 mmap을 사용하도록 변경
  • 커밋 설명에 따르면 mmap 없이 로드하면 공유 메모리 iGPU에서 메모리 사용량이 약 두 배가 되어 로드가 실패할 수 있음 (공식)
  • llama.cpp 버전을 b12257로 올림
  • OpenAI 호환 엔드포인트가 모델 패키지의 샘플러 기본값을 더 이상 덮어쓰지 않음
  • 이 릴리스는 프리릴리스이며 정식 v0.40.17은 아직 나오지 않음

우리 관점

  • Mac: Apple Silicon 통합 메모리 환경에 대한 수치는 노트에 없으며, MLX 동시 생성이 Mac에서 어떤 효과를 내는지는 아직 확인되지 않았습니다.
  • PC: 공유 메모리 iGPU 노트북에서 mmap 변경의 체감 차이는 확인되지 않았고, 실패 조건은 환경마다 달라질 수 있습니다.
  • 글라스: 노트에 기기 관련 내용이 없습니다.
  • 미확인: 메모리 절감 수치와 정식 릴리스 시점.

출처와 관련 글

로컬 AI의 다른 소식

  1. ggml 1.0.0 공개, FP8·NVFP4 행렬 연산 지원 추가 (github.com)

    ggml 1.0.0 릴리스 노트에 OCP FP8 지원과 GLU를 포함한 NVFP4 게이트·업 행렬 곱 통합이 추가됐습니다. ReBAR 감지와 64비트 FastRPC 핸들 잘림 수정도 포함됐습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

  2. llama.cpp b12322 프리릴리스, 그래프 메모리·SYCL·CUDA 수정 포함 (github.com)

    11월 12일 18:59 UTC에 b12322 프리릴리스가 게시되었고, 같은 날 b12308부터 b12322까지 연속 빌드가 올라왔습니다. 포함된 변경은 릴리스 페이지에 나열된 수정 항목입니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

  3. Salesforce SOV-Transcribe-1 음성 전사 모델 가중치 공개 (huggingface.co)

    Hugging Face 모델 카드에 Transformers와 vLLM 실행 방법, DFlash 추측 디코딩 드래프트 설정이 나와 있습니다. 벤치마크와 파라미터 수는 공식 페이지 본문에서 확인되지 않았습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기