GitSeonjeap
日本語

← ニュース

ローカルAI

Edge0-145B オープンウェイト公開、オンデバイス実行を主張

掲載 基準日

Edge0が145Bパラメータモデル Edge0-145B のオープンウェイトを公開したと発表しました。公式モデルカードの数値はRTX 5090 D基準で、macOS対応は出典によって異なるため確認が必要です。

何があったか

  • Edge0の公式ブログによると、Edge0-145Bは145Bパラメータのオープンソースのオンデバイス AIモデルとして紹介されています。
  • (公式) NVFP4モデルカードの数値: エージェントデコード 98.3 tok/s、16Kプリフィル 3165.7 tok/s、Terminal-Bench 2.1 86.5点。数値の基準機器はRTX 5090 D 24GBです。
  • モデルカードに記載された構造は、48レイヤー、512 experts、トークンあたり10個がアクティブ、256Kコンテキスト、4ビットネイティブ学習です。
  • 商用利用はinfo@edge0.aiへの問い合わせとされています。
  • 記載内容によれば、Qwenの別途の承認および帰属表示の要件は、Edge0の許可によって免除されるものではありません。

当チャンネルの見方

MacやPCでローカル実行したいユーザーにとっては、145B規模のモデルがオンデバイスで動作するかどうかが核心です。ただし、macOS対応については二次報道とモデルカードの説明が食い違っており、まだ確定できません。ノートPCでのメモリ使用量と速度の数値はブログ原文で確認できておらず、商用利用の条件も問い合わせが必要です。

出典と関連記事

ローカルAIのほかのニュース

  1. NVIDIA、科学エージェント向けNemotron for Scienceを公開 (nvidianews.nvidia.com)

    NVIDIAがNemotron 3.5 Super VLベースのパッケージを発表した。化学データセットとpost-trainingレシピが含まれ、IRコピーによると、このモデルは128GB DGX Sparkでのローカル実行に最適化されているという。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  2. NVIDIA RTX Spark 小型デスクトップ出荷開始 (blogs.nvidia.com)

    ASUS、Dell、MSIのRTX Spark小型デスクトップが発表日時点で発売され、ローカルAIエージェントとモデルのファインチューニング向けとして紹介された。価格はNVIDIAのページで確認されなかった。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  3. llama.cpp b12497、tiny-voca対応を追加 (github.com)

    llama.cpp pre-release b12497では、マルチモーダル経路にtiny-voca対応が追加され、G2P変換が改善された。リリースページには性能数値や対象モデルの説明はない。

    ローカルAI| |出典1件 |当チャンネルの見方あり

ニュース一覧