NVIDIA Cosmos 3オープンチェックポイント4種、走行・ロボットのワールドシミュレーション向け
掲載 基準日
NVIDIAがCosmos 3シリーズに、インタラクティブなワールドシミュレーション用のオープンウェイト・チェックポイント4種を追加した。マルチセンサー走行シーンと両腕ロボットのシミュレーションが対象で、汎用のテキストから動画を生成するモデルではない。
何があったか
NVIDIAがHugging Faceの公式ブログに掲載した記事に基づく内容である。
- オープンウェイトのチェックポイント4種がCosmos 3シリーズに追加された。用途はインタラクティブなワールドシミュレーションと、マルチセンサー・マルチビューの走行シーンである。
- Cosmos3-Nano-Transfer-Autoは、天候・照明・時間帯を変えたマルチビューの走行データを生成する。
- Cosmos3-Nano-Sim-Autoは、走行シミュレーションのために同期されたカメラとLiDARの観測データをストリーミングする。
- 両腕シミュレーションのチェックポイントはYAMとAgiBotの形状に対応し、ポリシーまたは人が操作するジョイスティックで制御する。
- 4種すべてが、Cosmos 3 Nano(学習可能パラメータ16B、公式)を追加学習した例であり、OpenMDW1.1ライセンスの下で規約の範囲内において商用・非商用の利用が可能だという。
当チャンネルの見方
ローカルでの動画生成にすぐ使えるモデルというより、物理AIのシミュレーション用の素材として見るのが妥当だ。クローズドループでの利用には別途シミュレーションランタイムとWSMレンダラーが必要とのことなので、インストールするだけで使えるツールではない。確認できた範囲では、4番目のチェックポイント名、ベンチマーク数値、クリップの長さ、解像度は示されていなかった。Macや一般的なPCでどの程度のスペックで動くかも分かっていない。基本のCosmos 3は6月に公開されており、今回新たに出たのはこの4種だけである。