llama.cpp b12322 프리릴리스, 그래프 메모리·SYCL·CUDA 수정 포함
올린 때 기준일
11월 12일 18:59 UTC에 b12322 프리릴리스가 게시되었고, 같은 날 b12308부터 b12322까지 연속 빌드가 올라왔습니다. 포함된 변경은 릴리스 페이지에 나열된 수정 항목입니다.
무슨 일이 있었나
- ggml-org/llama.cpp GitHub 릴리스 페이지 기준\n- b12322 프리릴리스가 11월 12일 18:59 UTC에 게시되었습니다.\n- 미사용 그래프 메타데이터 페이지를 건드리지 않도록 한 수정(#32043)이 포함되었습니다.\n- SYCL AOT에서 4GB를 넘는 경우를 처리하도록 수정(#31873)이 포함되었습니다.\n- CUDA MoE MMQ stream-k에서 빈 타일을 건너뛰도록 한 변경(#32067)이 포함되었습니다.\n- Adreno용 decomposed FA 추가(#32046)가 포함되었습니다.
우리 관점
Mac과 PC에서 llama.cpp를 직접 빌드해 쓰는 사용자라면 이번 빌드 변경 목록을 확인해 볼 만합니다. 다만 각 PR의 성능 수치, 벤치마크, 지원 모델 목록은 확인되지 않아 실제로 얼마나 빨라지는지는 알 수 없습니다.