깃(Git)선제압
한국어

로그인

글 읽기는 로그인 없이 됩니다. 커뮤니티에 글 · 댓글을 쓰거나 추천 · 신고를 하려면 로그인해 주세요.

로그인하면 아래 안내에 동의한 것으로 봅니다. 이용 안내 · 개인정보 안내

로그인하지 않고 둘러보기

← 소식

로컬 AI

Ollama 0.40.12~0.40.15: LFM3 확대, MLX 추측 디코딩과 샘플링 개선

올린 때 기준일

Ollama가 10월 27일부터 11월 3일 사이 네 번 릴리스했다. LFM3가 Linux·Windows까지 넓어지고, MLX에서 DFlash 추측 디코딩이 지원되고 top-k 샘플링이 빨라졌다.

무슨 일이 있었나

Ollama GitHub 릴리스 노트(v0.40.12~v0.40.15)를 기준으로 정리한다. 릴리스 목록에는 연도가 표시되지 않아 앞뒤 번호로 2026년 것으로 읽었다.

  • v0.40.12 (10월 27일): Liquid AI의 LFM3 계열(텍스트·비전·오디오·옴니)이 추가됐다. 출시 당시에는 애플 하드웨어에서만 실행됐다. MLX에서 DFlash 초안 모델을 쓰는 추측 디코딩이 지원되고, 여러 모델의 애플 실리콘 프롬프트 처리가 빨라졌다. (공식)
  • v0.40.13 (10월 28일): LFM3 계열(lfm3-audio, lfm3-omni 포함)이 Linux와 Windows에서도 실행된다. (공식)
  • v0.40.14 (11월 3일): MLX에서 어휘 크기가 큰 모델의 top-k 샘플링이 빨라졌다. OpenAI 호환 엔드포인트가 모델에 담긴 기본 샘플러 값을 덮어쓰지 않는다. (공식)
  • v0.40.15 (11월 3일): 순환형·비전 GGUF 모델이 동시 요청을 여러 개 처리한다. Qwen3, Qwen3.5에 YaRN 긴 컨텍스트 스케일링이 들어갔다. MiMo V2.6(9B)이 추가됐고, ollama launch가 Kimi Code CLI를 지원한다. (공식)

릴리스 노트에 없는 것: 속도 향상 폭, 모델별 필요 메모리.

우리 관점

맥 사용자에게는 MLX 경로의 변화(DFlash 추측 디코딩, 샘플링 속도)가 직접 관련된다. 다만 노트에 수치가 없으니 얼마나 빨라졌는지는 우리가 같은 조건에서 재 보기 전에는 말할 수 없다.

출처와 관련 글

로컬 AI의 다른 소식

  1. llama.cpp b12180, Kimi-K3.1-Pro 텍스트 지원 추가… Vulkan은 ReBAR 감지 (github.com)

    llama.cpp가 11월 6일 빌드 b12180에서 텍스트 전용 Kimi-K3.1-Pro 지원을 넣었다. 같은 날 Vulkan 백엔드는 ReBAR 지원 여부를 감지하게 됐다.

    로컬 AI| |출처 1곳
  2. 65B 밀집 모델 Ripple-65B Preview, Apache 2.0으로 공개 (huggingface.co)

    Ricursive Intelligence가 65B 밀집(dense) 모델 Ripple-65B Preview를 Apache 2.0으로 올렸다. 컨텍스트 최대 약 100만 토큰이며, 벤치마크는 모두 제작사 자체 수치다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기