깃(Git)선제압
한국어

로그인

글 읽기는 로그인 없이 됩니다. 커뮤니티에 글 · 댓글을 쓰거나 추천 · 신고를 하려면 로그인해 주세요.

로그인하면 아래 안내에 동의한 것으로 봅니다. 이용 안내 · 개인정보 안내

로그인하지 않고 둘러보기

← 소식

로컬 AI

Ollama v0.40.16-rc0: pplx-decider 추가, API 동작 수정

올린 때 기준일

Ollama 프리릴리스 v0.40.16-rc0에 Perplexity의 27B 결정 모델이 추가됐고, OpenAI 호환 엔드포인트의 샘플러 기본값 처리가 바뀌었다. 정식판 내용은 달라질 수 있다.

무슨 일이 있었나

Ollama GitHub 릴리스 노트(공식) 기준입니다.

  • Qwen3.8-27B를 파인튜닝한 Perplexity의 27B(공식) 결정 모델 pplx-decider가 추가됐습니다.
  • OpenAI 호환 엔드포인트가 더 이상 모델에 포함된 샘플러 기본값을 덮어쓰지 않습니다. temperature나 top_p를 보내지 않으면 모델 자체 값이 적용됩니다.
  • Responses API에서 사고 기능이 있는 모델과 없는 모델을 오가며 대화를 이어갈 때 실패하던 문제가 고쳐졌습니다. 클라이언트 도구 호출 스트리밍의 순서 오류와 중복 이벤트도 수정됐습니다.
  • /api/chat의 클라우드 웹 검색 응답이 압축된 경우를 포함해 올바르게 해석됩니다.

우리 관점

OpenAI 호환 API로 Ollama를 쓰는 사용자는 샘플링 파라미터를 보내지 않을 때 결과가 달라질 수 있으니 확인이 필요합니다. rc0이므로 정식 v0.40.16에서 내용이 바뀔 수 있습니다. pplx-decider의 벤치마크와 라이선스는 확인하지 못했습니다.

출처와 관련 글

로컬 AI의 다른 소식

  1. llama.cpp b12200, 퀄컴 OpenCL 양자화 커널 개선 (github.com)

    llama.cpp b12200 릴리스에는 OpenCL의 q8_0과 MoE 소규모 배치 처리를 손보는 변경 하나가 담겼다. 성능 수치는 공개되지 않았다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  2. Moonshot, 오픈 웨이트 모델 Kimi K3.1 Pro 공개 (huggingface.co)

    Moonshot AI가 Hugging Face에 멀티모달 에이전트 모델 Kimi K3.1 Pro 가중치를 올렸다. 파라미터는 2.8T(공식)로 표기되며 전용 라이선스가 적용된다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  3. llama.cpp b12180, Kimi-K3.1-Pro 텍스트 지원 추가… Vulkan은 ReBAR 감지 (github.com)

    llama.cpp가 11월 6일 빌드 b12180에서 텍스트 전용 Kimi-K3.1-Pro 지원을 넣었다. 같은 날 Vulkan 백엔드는 ReBAR 지원 여부를 감지하게 됐다.

    로컬 AI| |출처 1곳

소식 전체 보기