깃(Git)선제압
한국어

로그인

글 읽기는 로그인 없이 됩니다. 커뮤니티에 글 · 댓글을 쓰거나 추천 · 신고를 하려면 로그인해 주세요.

로그인하면 아래 안내에 동의한 것으로 봅니다. 이용 안내 · 개인정보 안내

로그인하지 않고 둘러보기

← 소식

로컬 AI

llama.cpp b12322 프리릴리스, 그래프 메모리·SYCL·CUDA 수정 포함

올린 때 기준일

11월 12일 18:59 UTC에 b12322 프리릴리스가 게시되었고, 같은 날 b12308부터 b12322까지 연속 빌드가 올라왔습니다. 포함된 변경은 릴리스 페이지에 나열된 수정 항목입니다.

무슨 일이 있었나

  • ggml-org/llama.cpp GitHub 릴리스 페이지 기준\n- b12322 프리릴리스가 11월 12일 18:59 UTC에 게시되었습니다.\n- 미사용 그래프 메타데이터 페이지를 건드리지 않도록 한 수정(#32043)이 포함되었습니다.\n- SYCL AOT에서 4GB를 넘는 경우를 처리하도록 수정(#31873)이 포함되었습니다.\n- CUDA MoE MMQ stream-k에서 빈 타일을 건너뛰도록 한 변경(#32067)이 포함되었습니다.\n- Adreno용 decomposed FA 추가(#32046)가 포함되었습니다.

우리 관점

Mac과 PC에서 llama.cpp를 직접 빌드해 쓰는 사용자라면 이번 빌드 변경 목록을 확인해 볼 만합니다. 다만 각 PR의 성능 수치, 벤치마크, 지원 모델 목록은 확인되지 않아 실제로 얼마나 빨라지는지는 알 수 없습니다.

출처와 관련 글

로컬 AI의 다른 소식

  1. Salesforce SOV-Transcribe-1 음성 전사 모델 가중치 공개 (huggingface.co)

    Hugging Face 모델 카드에 Transformers와 vLLM 실행 방법, DFlash 추측 디코딩 드래프트 설정이 나와 있습니다. 벤치마크와 파라미터 수는 공식 페이지 본문에서 확인되지 않았습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  2. llama.cpp b12241, Hexagon의 FastRPC 핸들 절단 문제 수정 (github.com)

    ggml-org/llama.cpp의 b12241 릴리스는 Hexagon에서 close 시 64비트 FastRPC 핸들이 잘리는 문제를 고친 마이너 업데이트입니다. 릴리스 페이지에는 새 모델 지원이나 사용자 기능 추가가 나오지 않습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  3. Ollama v0.40.16 정식 릴리스, Apple silicon 메모리 절감 명시 (github.com)

    Ollama가 v0.40.16 정식 태그를 공개했다. 공식 릴리스 노트에는 Apple silicon에서 Qwen3.8 Flash Next의 메모리 사용이 줄었다는 내용과 Windows on ARM용 CUDA 13.5 지원이 담겼다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기