깃(Git)선제압
한국어

로그인

글 읽기는 로그인 없이 됩니다. 커뮤니티에 글 · 댓글을 쓰거나 추천 · 신고를 하려면 로그인해 주세요.

로그인하면 아래 안내에 동의한 것으로 봅니다. 이용 안내 · 개인정보 안내

로그인하지 않고 둘러보기

← 소식

로컬 AI

llama.cpp b12180, Kimi-K3.1-Pro 텍스트 지원 추가… Vulkan은 ReBAR 감지

올린 때 기준일

llama.cpp가 11월 6일 빌드 b12180에서 텍스트 전용 Kimi-K3.1-Pro 지원을 넣었다. 같은 날 Vulkan 백엔드는 ReBAR 지원 여부를 감지하게 됐다.

무슨 일이 있었나

llama.cpp 릴리스 목록(b12171~b12182, 11월 6~7일)을 기준으로 정리한다.

  • b12180 (11월 6일): 텍스트 전용 Kimi-K3.1-Pro 모델 지원. K3의 그래프와 변환기를 재사용하고, 93개 층 중 24개 층에 라이트닝 인덱서를 넣고, 새 하이브리드 캐시를 쓴다. (공식)
  • b12171 (11월 6일): Vulkan 백엔드가 ReBAR 지원 여부를 감지하고, 지원하지 않으면 BAR 할당을 피한다. (공식)
  • b12173 (11월 6일): OpenCL 백엔드의 repeat 연산이 f16, i32, i16, bf16을 지원한다. (공식)
  • b12177 (11월 6일): 프롬프트나 파일에 잘못된 UTF-8이 있으면 CLI가 죽던 문제를 고쳤다. (공식)

릴리스 노트가 말하지 않는 것: 필요 메모리, 실제 구동 속도, 이 모델이 일반 PC에서 돌아가는지 여부. 지원이 추가됐다는 사실과 실제로 쓸 만하다는 것은 다르다.

출처와 관련 글

로컬 AI의 다른 소식

  1. Ollama 0.40.12~0.40.15: LFM3 확대, MLX 추측 디코딩과 샘플링 개선 (github.com)

    Ollama가 10월 27일부터 11월 3일 사이 네 번 릴리스했다. LFM3가 Linux·Windows까지 넓어지고, MLX에서 DFlash 추측 디코딩이 지원되고 top-k 샘플링이 빨라졌다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  2. 65B 밀집 모델 Ripple-65B Preview, Apache 2.0으로 공개 (huggingface.co)

    Ricursive Intelligence가 65B 밀집(dense) 모델 Ripple-65B Preview를 Apache 2.0으로 올렸다. 컨텍스트 최대 약 100만 토큰이며, 벤치마크는 모두 제작사 자체 수치다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기