llama.cpp b12200, 퀄컴 OpenCL 양자화 커널 개선
올린 때 기준일
llama.cpp b12200 릴리스에는 OpenCL의 q8_0과 MoE 소규모 배치 처리를 손보는 변경 하나가 담겼다. 성능 수치는 공개되지 않았다.
무슨 일이 있었나
- ggml-org의 llama.cpp GitHub 릴리스 b12200을 바탕으로 한 내용이다. 릴리스 시각은 11월 8일 06:39로 표시되며 시간대는 없다.
- 유일한 변경은 PR #31831이며, OpenCL q8_0 GEMV 커널과 q5_1, q4_k 등 양자화 형식용 소규모 MoE GEMV를 추가한다.
- Adreno용 커널 조정과 작은 검증 배치에서 bin FA를 끄는 변경도 포함된다.
- 커밋에는 퀄컴 엔지니어가 공동 작성자로 올라 있고, 릴리스 목록에는 CPU, Adreno GPU, Hexagon NPU용 Snapdragon 빌드가 있다.
우리 관점
Snapdragon 기기에서 로컬 모델을 돌리는 사용자에게 해당되는 변경이다. 벤치마크나 토큰 속도 수치가 없고 어떤 칩에서 효과가 있는지도 적혀 있지 않다. PR 제목의 "spec"은 추측 디코딩 검증을 뜻할 가능성이 있으나 릴리스 노트에 명시되지 않았다. Mac이나 일반 PC 사용자에게는 직접적 영향이 작아 보인다.