깃(Git)선제압
한국어

← 소식

로컬 AI

ggml 1.0.0 공개, FP8·NVFP4 행렬 연산 지원 추가

올린 때 기준일

ggml 1.0.0 릴리스 노트에 OCP FP8 지원과 GLU를 포함한 NVFP4 게이트·업 행렬 곱 통합이 추가됐습니다. ReBAR 감지와 64비트 FastRPC 핸들 잘림 수정도 포함됐습니다.

무슨 일이 있었나

  • ggml-org GitHub 릴리스 노트(2026-11-13) 기준
  • MMQ 경로에 OCP FP8 지원 추가
  • GLU와 함께 NVFP4 게이트·업 행렬 곱을 묶는 융합 처리 추가
  • libhtp 자동 로딩 추가
  • ReBAR 감지 추가
  • 64비트 FastRPC 핸들 잘림 문제 수정
  • llama.cpp 쪽 변경점은 이 노트에서 직접 확인하지 않음

우리 관점

  • Mac(Apple Silicon): 이번 노트만으로는 Mac에서 체감되는 변화가 있는지 확인되지 않습니다.
  • PC: FP8과 NVFP4는 해당 하드웨어가 있을 때 의미가 있으며, 지원 GPU 범위는 노트에 나오지 않습니다.
  • 글라스: 글라스 기기와 관련된 내용은 노트에 없습니다.
  • 미확인: 성능 수치가 없고, llama.cpp v1.0.0의 세부 변경은 원문 대조가 끝나지 않았습니다.

출처와 관련 글

로컬 AI의 다른 소식

  1. Ollama v0.40.17-rc0, MLX 동시 생성과 iGPU mmap 로딩 (github.com)

    Ollama v0.40.17-rc0 프리릴리스는 MLX 동시 생성과 공유 메모리 iGPU용 Vulkan mmap 로딩을 포함합니다. OpenAI 호환 엔드포인트가 모델의 샘플러 기본값을 덮어쓰지 않도록 바뀌었습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

  2. llama.cpp b12322 프리릴리스, 그래프 메모리·SYCL·CUDA 수정 포함 (github.com)

    11월 12일 18:59 UTC에 b12322 프리릴리스가 게시되었고, 같은 날 b12308부터 b12322까지 연속 빌드가 올라왔습니다. 포함된 변경은 릴리스 페이지에 나열된 수정 항목입니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

  3. Salesforce SOV-Transcribe-1 음성 전사 모델 가중치 공개 (huggingface.co)

    Hugging Face 모델 카드에 Transformers와 vLLM 실행 방법, DFlash 추측 디코딩 드래프트 설정이 나와 있습니다. 벤치마크와 파라미터 수는 공식 페이지 본문에서 확인되지 않았습니다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기