65Bデンスモデル Ripple-65B Preview、Apache 2.0で公開
掲載 基準日
Ricursive IntelligenceがデンスモデルのRipple-65B PreviewをApache 2.0で公開した。コンテキストは最大約100万トークンで、ベンチマークはすべて製作元による自己申告の数値である。
何があったか
Hugging Faceに掲載されたモデルカードを基に整理する。
- モデル: Ricursive IntelligenceのRipple-65B Preview。パラメータ65Bすべてが活性化するデンス(dense)トランスフォーマーで、混合エキスパート(MoE)構造ではない。80層、隠れ層サイズ5120。(公式)
- ライセンス: Apache 2.0。(公式)
- コンテキスト: 最大1,048,576トークン。事前学習は8K長で行ったと記載されている。(公式)
- 学習: 約12兆トークン(主に英語テキストとコード)で最初から学習した。(公式)
- 配布形態: このリポジトリはBF16の指示チューニング版である。別途、NVFP4量子化版、BF16の事前学習基本版、DFlash2バリアントがある。(公式)
- ハードウェアへの言及: カードにはNVIDIA DGX Sparkのような一般向けハードウェアで動作するという文があるが、どの精度を基準にしているかは書かれていない。2×B200、バッチ8で約250 tokens/sという数値もあるが、量子化前の値である。(公式、自己申告の数値)
- ベンチマーク(製作元による自己報告): Terminal-Bench 2.1 80.5、SWE-bench Verified 76.5。(公式、自己主張)
公開日は確認できなかった。 モデルカードに日付はなく、引用情報には2026年とだけ記載されている。報道では11月4日から7日までと食い違っている。
カードに記載がないこと: llama.cpp、vLLM、MLXへの対応状況、必要メモリとMacでの実測速度、独立した評価、論文。
当チャンネルの見方
65Bのデンスモデルなので、メモリ負担は活性パラメータが少ないMoEより大きい。単純計算では4ビット重みだけで約33GBで、コンテキストと実行時のオーバーヘッドが加わる(計算値、実測ではない)。Mac Studio級の統合メモリやDGX Sparkが候補になるが、当チャンネルで確認したものではない。
モデルリポジトリにはカスタムコードのタグが付いているため、現時点でllama.cppやMLXにそのまま対応して動くかは分からない。動作が確認できれば、同じ条件での測定候補にする価値がある。