깃(Git)선제압
한국어

← 소식

로컬 AI

Edge0-145B 오픈 웨이트 공개, 온디바이스 실행 주장

올린 때 기준일

Edge0가 145B 파라미터 모델 Edge0-145B의 오픈 웨이트를 공개했다고 밝혔습니다. 공식 모델 카드의 수치는 RTX 5090 D 기준이며, macOS 지원은 출처마다 달라 확인이 필요합니다.

무슨 일이 있었나

  • Edge0 공식 블로그 기준, Edge0-145B는 145B 파라미터의 오픈소스 온디바이스 AI 모델로 소개됐습니다.
  • (공식) NVFP4 모델 카드 수치: 에이전트 디코드 98.3 tok/s, 16K 프리필 3165.7 tok/s, Terminal-Bench 2.1 86.5점. 수치 기준 장비는 RTX 5090 D 24GB입니다.
  • 모델 카드 기준 구조는 48개 레이어, 512 experts, 토큰당 10개 활성, 256K 컨텍스트, 4비트 네이티브 학습입니다.
  • 상업적 사용은 info@edge0.ai로 문의하도록 되어 있습니다.
  • 적혀 있는 내용에 따르면 Qwen의 별도 승인 및 저작자 표시 요건은 Edge0의 허가로 면제되지 않습니다.

우리 관점

Mac이나 PC에서 로컬로 실행하려는 사용자에게는 145B 규모 모델이 온디바이스에서 돌아갈지가 핵심입니다. 다만 macOS 지원은 2차 보도와 모델 카드 설명이 엇갈려 아직 확정할 수 없습니다. 노트북에서의 메모리 사용량과 속도 수치는 블로그 원문에서 확인되지 않았고, 상업적 사용 조건도 문의가 필요합니다.

출처와 관련 글

로컬 AI의 다른 소식

  1. NVIDIA, 과학 에이전트용 Nemotron for Science 공개 (nvidianews.nvidia.com)

    NVIDIA가 Nemotron 3.5 Super VL 기반 패키지를 발표했다. 화학 데이터셋과 post-training 레시피가 포함되며, IR 사본은 이 모델을 128GB DGX Spark에서 로컬 실행하도록 최적화했다고 밝혔다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  2. NVIDIA RTX Spark 소형 데스크톱 출하 시작 (blogs.nvidia.com)

    ASUS, Dell, MSI의 RTX Spark 소형 데스크톱이 발표일 기준 출시되었고, 로컬 AI 에이전트와 모델 파인튜닝용으로 소개되었다. 가격은 NVIDIA 페이지에서 확인되지 않았다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  3. llama.cpp b12497, tiny-voca 지원 추가 (github.com)

    llama.cpp pre-release b12497에서 멀티모달 경로에 tiny-voca 지원이 추가되고 G2P 변환이 개선되었다. 릴리스 페이지에는 성능 수치와 대상 모델에 대한 설명이 없다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기