※本記事は、Sherry Yang氏による講演「[GCV @ CVPR 2026] Sherry Yang - Improving Physical Agents with Generative World Models」の内容を基に作成されています。本講演はCVPR 2026にあわせて開催されたGCV(Generative Computer Vision)関連のセッションのひとつであり、動画は https://www.youtube.com/watch?v=5eERPAhn6o8 でご覧いただけます。本記事では、講演の内容を要約・再構成しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演映像をご視聴いただくことをお勧めいたします。また、講演内で紹介された研究はSherry Yang氏の研究室に所属する学生が主導したものであり、Santa Clara大学のJulian氏をはじめとする共同研究者との共同研究であることが述べられています。
1. 導入：物理エージェントとワールドモデルの必要性
1.1 物理エージェントの行動探索コストという課題
Sherry Yang： まず物理エージェントを扱う上での大きな課題からお話しします。物理エージェントは行動を実際に環境の中で試すためのコストが非常に高く、その結果として、言語モデルのように広大な行動空間を探索したり、何百万ものキッチンを同時にシミュレートしたりするようなことができません。つまり、環境、とりわけ行動そのものがボトルネックになっているのです。
そこで本日の講演では、こうした物理世界から得られる膨大なデータをどのように活用し、クラウド上で動作する生成的なワールドモデルを学習するかについてお話ししたいと思います。このアプローチが実現すれば、ロボットや物理世界と高コストなやり取りを行う必要がなくなります。
講演は二部構成になります。前半では、まずどのようにこのワールドモデルを構築するかをお話しします。これはJulianが主導した研究で、「World Gym」、すなわち方策評価のための環境としてのワールドモデルと呼んでいるものです。ワールドモデルの構築についてお話しした後、後半では、このモデルを使ってどのように物理エージェントを改善するかという「World Gymnast」についてお話しします。
1.2 ワールドモデルの定義と現在実現可能になった要因
Sherry Yang： それではまず、ワールドモデルの構築についてお話ししていきます。ワールドモデルという用語は昨今かなり多用されていますので、まずは先行研究に基づいた正確な数学的定式化に立ち返り、きちんと定義しておくことが重要だと考えています。
ワールドモデルとは、観測、たとえばゲームシミュレータからのフレームと、制御行動、たとえばゲームをプレイする際に押すキーボードの入力を入力として受け取る学習済みのダイナミクスモデルです。このモデルは、直前のフレームと入力された行動を条件として、次のフレームを予測するように学習されます。仕組みとしては非常にシンプルなものです。
実は2018年の時点で、こうしたことがゲームシミュレータの中ですでに実現可能であることが示されていました。実際にゲームをプレイした場合とほとんど見分けがつかないような映像を予測できていたのです。当時、この種の研究の多くがゲームシミュレータを対象としていた理由は、こうした動画生成モデルをダイナミクスモデルとして学習させるのに十分な量のデータを、当時はゲームという設定でしか得られなかったからです。
ここで興味深いのは、ワールドモデル自体はすでに2018年に提唱されていたのに、では今何が違うのか、なぜ今になってワールドモデルの研究に取り組めるようになったのか、という点です。私は、これには二つの重要な要因があると考えています。一つ目は、国際的な実世界の動画データが手に入るようになったことです。もはやゲームという設定でしかデータを収集できないという制約はありません。二つ目は、これらの大規模な動画生成モデルを数十億パラメータ規模までスケールさせるためのスケーラブルなアーキテクチャが確立されたことです。これにより、大規模な実世界の動画データに実際にフィットするモデルを構築できるようになりました。
私たちは物理エージェントについて考えていますので、では実世界における大規模な動画データとは具体的に何を指すのか、という問いに向き合うことになります。実際、コミュニティの中では、複数の機関にまたがるデータセットを組み合わせる必要があるという認識が広まってきています。YouTube上にロボットのデータがそれほど多く存在するわけではありませんが、各研究室ではそれぞれ多くの時間をかけてロボットデータを収集してきています。次のパートでは、こうした異なる機関のデータをどのように統合し、ワールドモデルの学習に用いたかについて詳しくお話ししていきます。
2. World Gym：方策評価環境としてのワールドモデル構築
2.1 学習データセットとモデルアーキテクチャ
Sherry Yang： それでは、World Gymの学習データセットとモデルアーキテクチャについてお話ししていきます。まず、実世界における大規模な動画データを構築する上で重要になったのが、Open Xという取り組みです。これは数年前に始まったプロジェクトですが、その考え方は、異なる機関が保有する、異なる種類のロボットが異なる種類のタスクを実行しているデータセットを一つに統合できるというものです。ロボットの種類は違っていても、これらのデータにはすべて観測にあたる動画があり、また行動にあたるデータもあります。行動データは、ロボットごとに異なりますが、エンドエフェクタの位置や関節角度などを捉えた連続値のベクトルとして表現されています。以上がデータセット側の話です。
モデリング側についても、多くの進展がありました。まず挙げられるのがDiffusion Transformerです。これはもともと画像生成のために開発されたもので、画像を潜在空間にエンコードし、トランスフォーマーモデルが拡散ヘッドを用いて潜在表現を自己回帰的に予測するように学習し、拡散された潜在表現をデコーダによって画像空間に再構成するという仕組みです。もともとは画像向けに開発されたものですが、現在では動画生成においても非常に一般的なフレームワークとなっています。World Gymでは、いくつかの他の研究と同時期に、このDiffusion Transformerを動画生成に応用しました。具体的には、トランスフォーマーが未来のフレームの潜在表現を自己回帰的に予測し続けるようにするだけで、動画への拡張が可能でした。もちろん、行動による条件付けが必要になりますが、これはViTが条件付けを行っていたのと同様に、アダプティブ・レイヤーノルムを通じて実現しています。このアーキテクチャは非常にスケーラブルであるという特長があります。
ここで当然、すべてのロボットが異なる行動空間を持っているという問題に直面します。しかし私たちは、これに対してあくまで統一されたフォーマットを用いるという方針を取りました。つまり、すべての行動を固定次元のベクトルとして表現することで、データ間を組み合わせられるようにしたのです。データによって行動が意味する内容が異なる場合もあります。エンドエフェクタの姿勢を表す行動もあれば、関節角度を表す行動もあります。それでも、データが十分に多様であれば、ワールドモデルは行動の差分の変化が画像上の観測の変化にどう対応するかを自ら学習してくれることが期待できます。これが、このアプローチ全体の核心となる考え方です。
2.2 ワールドモデルの検証実験とオープン公開
Sherry Yang： このようにしてモデルを学習させた後、私たちが次に自問したのは、そのモデルが本当に良いものかをどうやって確認するかという点でした。動画ワールドモデル、すなわち行動条件付きの動画生成において素晴らしいと私が思うのは、常にground truthが存在するという点です。つまり、実際にその行動を物理ロボット上で実行し、何が起きたかを見ればよいのです。それがground truthになります。ですから、私たちにできることは、ロボットからのデータを分割しておき、同一の行動系列を条件として、実世界で何が起きたかと、ワールドモデルが生成したものとを比較することです。左側が実世界で実際に起きたこと、右側が私たちが学習したこのモデルによって生成されたものです。
この比較を見ると、異なるロボットにまたがって実際にうまく機能していることが分かります。ロボットの行動空間は多少異なっていても、固定次元のベクトルとして表現していることで、かなりうまくいくことが分かりました。エゴセントリックな映像については多少難しさがありましたが、これは実際に6億パラメータのモデルであり、私たちはこの研究を人々が実際に利用し、自ら学習できるようにアクセス可能なものにしたいという思いでこれを行いました。
このモデルは2基のA100 GPUで学習されており、学習の効率という点では非常に扱いやすいものになっています。同じ行動系列を条件として生成された動画は、ground truthの動画とほとんど同じように見えることがすでに確認できています。なお、これらはすべて学習データには含まれていないホールドアウトのフレームであり、モデルはこれらの動画そのものを学習していたわけではありません。
ground truthの実行結果とワールドモデルの実行結果を比較するというのが一つの確認方法ですが、もう一つ私たちが行った健全性の確認(サニティチェック)があります。これらのモデルは行動を条件としているため、行動空間の各次元がロボットをどのように動かすことに対応しているかが分かっています。そこで、腕に対していくつかの固定的なルーティンをプログラムしてみるという方法を取りました。たとえば、腕を左右、上下、前後に動かしたり、グリッパーを開閉させたりといった具合です。そして、入力した行動指示に生成された動画が実際に従っているかどうかを確認しました。結果としては、概ね妥当な形でうまく機能していることが分かりました。同様の考え方を用いて、複数のロボットを横断してテストすることで、どのロボットが行動指示に従うことができ、どのロボットができないのかについても把握することができました。
このワールドモデルの研究は、必ずしも巨大な計算資源を持つ組織だけが取り組めるものではなく、実はアカデミアでも十分に取り組める研究テーマだと考えています。2基のGPUでモデルを学習させても、汎化性能という点でかなり良好なモデルが得られるのです。そのため、私たちはウェブサイトからモデルをダウンロードし、自分たちで学習させていただけるようにしています。
World Gymにおいて私たちが本当に問い直したのは、ワールドモデルの具体的なユースケースは何なのか、という問いでした。これは評価指標をどう定義するか、そしてモデルを改善するためにどのようなデータを反復的に与えるべきかを左右する重要な問いです。私の考えでは、ワールドモデリングの最も重要な応用の一つが、ロボット方策の評価です。なぜなら、ワールドモデルがなければ、実ロボットを走らせる必要があり、それには多くの時間がかかる上に、ロボットが破損してしまう可能性もあるからです。
3. World Gymの応用：ロボット方策の標準化評価
3.1 標準化評価パイプラインと相関検証
Sherry Yang： 先ほどお話ししたように、ワールドモデルの最も重要な応用の一つがロボット方策の評価だと考えています。ワールドモデルがなければ、実ロボットを走らせて評価する必要があり、それには多くの時間がかかりますし、ロボットが破損してしまうこともあります。加えて、再現性の問題も大きな課題です。異なる研究室は異なるロボットを持っていますし、たとえ同じロボットを持っていたとしても、各研究室の物理的な設置環境が異なるため、他の研究者の成果を再現することは実際には非常に困難です。この代替として、シミュレーションによる評価に頼る動きもありますが、ソフトウェアベースのシミュレータは総じて精度と多様性の面で依然として課題を抱えています。見た目がリアルでないだけでなく、柔らかい物体同士の相互作用や変形する物体など、特定の物理現象をうまくシミュレートする方法自体が分かっていません。任意の物体に対応するソフトウェアシミュレータを用意すること自体が非常に困難なのです。
そこで、私たちが学習したこのモデルを方策評価にどう活用できるかについてお話しします。インターフェースはまさに同じです。通常、方策は軌道に沿った行動を予測するもので、たとえばVLA方策がそれにあたります。方策は行動を予測し、その行動を実際のロボットに与えて実行させる必要がありますが、今度はそれをワールドモデルに与えるという形になります。ワールドモデルは、実ロボットで実行した場合に記録されるであろう映像に似た動画を生成します。方策は最後のフレームを受け取り、そこから次の行動のまとまりを生成してタスクを完了させようとします。こうしたロールアウトを繰り返し行うことで、最終的にはある行動系列をロボット上で実行した場合に何が起きるかを表す一続きの動画が得られます。そして、この動画を実際の大規模言語モデルに与えて、このタスクがうまく完了できたかどうかを判定してもらうことができます。おおよそ、これがパイプラインの流れになります。
この仕組みを踏まえて、いくつかのロールアウト例に戻ってお見せしたいと思います。これらの例は、ワールドモデルが多くの方策を横断する標準化された評価レイヤーになり得ることを示すためのものです。私自身はこのロボットを所有していませんが、異なる方策を走らせて、それらがワールドモデルの中でどの程度うまくいくかを確認することができます。ここではOpenVLA、Octo、RT-1を比較しています。OpenVLAはかなりうまくいっており、ナスを実際に持ち上げることができました。この動画はあくまで、方策が予測した行動を条件として生成されたものだということを改めて強調しておきます。Octoは苦戦しており、ナスを持ち上げたものの、そこで詰まってしまいました。時間を延長しても、結局タスクを完了させることはできませんでした。RT-1は、以前から性能が良くないと分かっていた古い方策で、これをあえて使うことで、うまくいかない方策を与えた場合に何が起きるかを見てみたいと考えました。その結果、予測された行動がシミュレーションの範囲から大きく逸脱してしまい、ワールドモデル自体を破綻させてしまうという事態になりました。これはワールドモデルの限界を示すものではありますが、同時に、その行動を実際のロボット上で実行すべきではない、おそらくロボットを壊してしまうだろう、ということを示唆してもいます。
つまり、ワールドモデルは方策を横断した標準化された評価レイヤーであるだけでなく、ロボットを横断した標準化された評価レイヤーでもあるということです。ワールドモデルは初期フレームと方策からの行動を受け取り、そのフレームからのリプレイ・ロールアウトを行うことができるからです。私はこのロボットも所有していませんが、この三つの方策を走らせることでロールアウトを行うことができました。その結果、引き出しを閉めるというタスクは、三つの方策すべてが十分に成功できるほど単純なものであることが分かりました。これは、RT-1のような4年前の方策であっても、このタスクはすでに実行できるという、この分野の進展を物語るものだと言えます。
さて、こうした可視化の例をお見せしてきましたが、そもそもワールドモデルを実際にロボット方策の評価の代替として常に信頼してよいのかという疑問が当然出てくるかと思います。そこで、実世界の代替としてのワールドモデルの信頼性を検証するために、あるプロットを作成しました。これは、あるタスクにおける方策ごとの実世界での成功率と、ワールドモデル内での成功率とを比較するものです。ここでは各点が、一つの方策の一つのタスクにおける成功率を表しています。この二つの相関を見るために直線をフィッティングしてみたところ、完全な直線ではないものの、0.78という相関係数が得られました。これは方策の順位付けに使うには十分な水準だと言えます。この結果はWorld Gymによるもので、GoogleのWorldやGoogleのReal Roboticsなど、他機関による取り組みとも比較を行っています。さらに、異なるロボットプラットフォームを横断しても、実世界での成功率とワールドモデルに基づく成功率の間には、この相関が確認できています。
3.2 新規タスク創出とロバスト性検証
Sherry Yang： 実世界に対する安価な代替手段であるという点に加えて、ワールドモデルにはもう一つ興味深い特性があります。それは、物理的な設定を実際に変更することなく、より新奇で興味深い、分布外の設定を作り出せるという点です。ここでは、画像を少し編集することで新しいタスクを作成しても、方策が依然としてうまく機能するかを試してみました。方策は本来ジェネラリストであるはずなので、どのようなタスクに対してもうまく機能するはずだからです。具体的には、画像編集ツールを使ってオレンジを追加し、もともとニンジンを拾うというタスクに紐づいていた画像に対して、タスクをオレンジを拾うことに変更しました。そして方策にオレンジを拾うよう指示したところ、私たちが確認したすべての方策が、この新しいタスクに対してかなり性能が悪いという結果になりました。つまり、率直に言えば、現在の実世界の方策はそれほどうまく汎化できていないということです。
さらに少し茶目っ気のある例ですが、これはワールドモデルで何が可能かをよく示すものです。パソコンの画面の中にニンジンを埋め込み、そのパソコンをキッチンに置くという設定を作りました。原理的には、方策が安全であれば、パソコンに触れたりパソコンを壊そうとしたりしてはいけないはずです。実際にニンジンを拾うというタスクを与えたところ、ロボットはどちらに向かうべきか本当に迷っている様子を見せ、最終的にはパソコン画面の中にあるニンジンの方へ向かってしまいました。これは面白い例ではありますが、こうしたロングテールな設定や分布外の設定を数多く作り出し、方策の安全性を確認するためにワールドモデルで何ができるかを示すものです。
もう一つ観察したことがあります。今度は任意の画像を作成できるようになったため、次のような疑問が出てきます。ある方策は、鍋を拾うといった非常にきれいな設定ではうまくいくかもしれませんが、では多数のディストラクター(妨害)物体が存在する場合はどうなるのか、という点です。そこで、画像編集によってこうした物体を追加し、その画像に対して方策をワールドモデル内で実行してみました。その結果、私たちが確認した三つの方策すべてにおいて、成功率が全体的に大きく低下することが分かりました。これは、VLA方策がこうしたディストラクター物体に対してあまりロバストではないということを如実に示す結果です。こうした可能性の数々をお見せしているのは、これらが非常に興味深く、今後の研究の方向性を示唆していると考えているからです。
3.3 方策のバイアス発見と知識喪失
Sherry Yang： ワールドモデルを使うことのもう一つの側面として、方策のデバッグを行いたいという動機があります。何かがうまくいかない場合に、それが言語の構造を理解できていないためなのか、色を理解できていないためなのか、形状を理解できていないためなのか、原因を切り分けたいということです。そこで、世界そのものを自分たちで設計することで、こうした確認ができるようになります。具体的には、異なる色の紙片を配置し、ロボットに赤を拾って、あるいは青を拾ってと指示してみました。その結果、色に関しては方策はきちんと理解していることが分かりました。赤と言えば赤に向かい、青と言えば青に向かいます。しかし、形状の話になると事情が異なってきます。円を拾ってと指示したところ、多くの方策が実際には四角の方に向かってしまいました。そして、これは多くのVLAデータセットに色に関するバイアスが存在することが原因だと分かりました。人々がこうした操作のデータを収集する際、ラベルには色の情報が含まれることが多いためです。たとえば「黄色いバナナを拾う」といった表現はよく見られますが、「丸いリンゴを拾う」といった表現はほとんど見られません。そのため、方策自体が形状についてはあまり得意ではないということになります。これはまさに、ワールドモデルによって明らかにできる事柄だと言えます。
最後の例も少し茶目っ気のあるものですが、シーンの中にさまざまな有名人のポスターを配置し、視覚言語モデル、そして視覚言語行動モデルが人間に関する知識を保持しているかどうかを確認しようとしました。ロボットにスイスの選手を拾うよう指示したところ、実際にはSnoop Doggの方を拾ってしまいました。つまり、VLAという方策は、ファインチューニングを経ることで、もともとのVLAが持っていた知識の一部を失ってしまっている可能性があるということです。これは、スケーリングだけがVLAにとって本当に正しい道なのかという、より大きな問いにもつながります。あらゆる有名人の組み合わせについてのデータをすべて集めることは決してできないからです。しかし、こうした誤りは映像を見るだけで比較的容易に検出できるかもしれません。そう考えると、これはむしろ強化学習的な設定、すなわち問題を設定し、それに対する検証器を用意して、何が間違っていたかを検出するという設定により適しているのかもしれません。
4. World Gymnast：強化学習による物理エージェントの改善
4.1 手法選定の背景とRLフレームワークの設計
Sherry Yang： ここからは少し話の方向を変えて、このワールドモデルを手に入れた後、実際にどのように物理エージェントを改善できるかについてお話しします。これは私の指導する学生が主導した研究で、「World Gymnast」、すなわちワールドモデルの中で強化学習を用いて方策を学習させる研究です。名前自体がその内容を表していて、World Gymがジムナストが訓練を行うための空間だとすれば、Gymnastの方はまさにそのジムナストの訓練にあたる部分です。
ワールドモデル、つまりダイナミクスモデルを使って方策を改善するという話になったとき、その方法は数多く考えられます。ワールドモデルの中で方策をロールアウトし、成功例だけを選んで振る舞いのクローニングを行うフィルタード・ビヘイビアラル・クローニングという方法もありますし、ワールドモデルの中での探索と計画という方法もあります。あるいは、強化学習という方法もありますし、条件付き生成モデリングにおける制御を報酬ガイダンスとして捉えるという論文もあります。こうした選択肢の多さから、どれを選ぶべきか非常に混乱しやすいと思います。
私たちが方策改善の手法として強化学習に着目した理由は、言語モデルの分野でスケールする形でうまく機能したものに立ち返って考えたからです。GPT-3とChatGPTの間には大きな違いがあり、それは人間のフィードバックによる強化学習という概念です。私の考えでは、強化学習の魔法とは、検証器さえあれば実行後の正しさを検証できるため、問題数をいくらでもスケールさせられるという点にあります。これは、コーディングや数学の問題を何百万も使って言語モデルの学習をスケールさせられるのと同じことです。つまり、あらゆる問題に対して専門家によるデモンストレーションを収集する必要がなくなるのです。これが強化学習の美しさだと思います。
同じことがここでも当てはまります。多くのロボティクス企業や研究がこれまで行ってきたのは、D4RLのような手法か、あるいはロボットのキャリブレーションデータを収集して教師あり学習を行うといったものでした。しかし、パイプラインの右半分にあたる部分、すなわちロボットのために現実的な学習環境をどう構築し、その上でどのように報酬モデルを構築するかについては、これまであまり研究が行われてきませんでした。ロボットのワールドモデルを構築する唯一の道は、こうした学習環境を通じたものだという点にご納得いただけたのではないかと思います。
規模の面では、画像は非常に入手しやすいものですから、そうした画像を使ってロボット方策を学習し、ワールドモデルを構築することができます。設定自体は非常にシンプルで、すでにお話しした評価パイプラインがあれば、そこから自分たち自身の報酬を構築することができます。まず単純な点として、成功した軌道とそうでない軌道があるため、方策勾配の目的関数を用いて方策を更新することができます。これは、意味的な判定関数によって成功したと判断された行動の尤度を高め、成功しなかった行動の尤度を下げるというものです。これは非常にシンプルな仕組みであり、実際、ワールドモデルの中で強化学習を行うという設定に着目した同時期あるいはやや先行する研究もいくつか存在します。私たちとの違いは、そうした先行研究の多くが単一タスクの設定、つまりモデルベースの強化学習に近い形に焦点を当てていたのに対し、私たちはワールドモデルによって得られる多様性の方により重点を置いていたという点だと思います。
ワールドモデルを用いた強化学習について考える際に本当に問うべき重要な問いは、訓練タスクをどう設計するか、そしてワールドモデルをどう設計するかという二点です。これはまさに、言語モデルのポストトレーニングにおける強化学習で常に問われることと同じで、どのようなプロンプトでモデルを学習させるか、そしてどのように検証器を設計するかという問いに対応します。
4.2 訓練タスクの多様化設計と汎用報酬モデル
Sherry Yang： 訓練タスクの設計についてまずお話しします。最初に注目すべき点は、先ほど述べたように、ロボットアームが写っている任意の初期フレームが訓練タスクになり得るということです。たとえば、これはBridge V2というバークレーのデータセットの一つですが、すでに何万もの異なる軌道、異なるタスクが含まれています。そして、その軌道に含まれる一つ一つのフレームすべてを、方策の学習における出発点として利用することができます。さらに、失敗データについても同様に活用でき、失敗した状態からあえて学習を開始することで、方策が失敗から回復する術を学べるようにすることもできます。これが一つの側面、すなわち実世界のデータからあらゆるものを訓練に用いるというアプローチです。
もう一つの側面として、単純なタスクであっても、実際の言語による指示以外にも複数のタスクを設計することができます。たとえば、物体をテーブルの上に置くというタスクを、他の物の上に置く、あるいはラックの中に置くといった具合に、指示することができます。他の物の上に置くというだけでも実は非常に多様なバリエーションがあり得るため、私たちはVR(仮想現実)アプリを使って、この場面からどのようなタスクが可能かを教えてもらうという方法を取りました。これも非常にシンプルな発想です。さらに、タスクに関連する物体を見分けさせるために、ディストラクターとなる物体をあえて加えることで、よりロバストな方策を学習させることもできます。たとえば、コインを拾ってシンクに入れるというタスクを設定し、その他の物体はすべてディストラクターとする、といった具合です。
実際に、私たちはあるサニティチェックを行いました。ワールドモデルの中にホールドアウトのタスクを用意し、さまざまな方法で新しいタスクを組み合わせて作成しながら、これらのホールドアウトタスクにおける成功率をワールドモデル内で測定してみたのです。その結果、VR的な発想によるRLに追加した訓練の組み合わせの一つ一つが、少なくともワールドモデル内においては、テスト分割におけるこれらのタスクの汎化性能を実際に向上させることが分かりました。以上が訓練タスクをスケールさせるという話です。
そしてもちろん、報酬として何を用いるかという問いも残っています。ワールドモデル・ポリシー・オプティマイゼーションやオープンVR RLといった初期の研究の多くは、タスクごとに特化した報酬モデルを学習させていました。進捗に応じた報酬を用いるといった形です。しかし私たちは、訓練タスクとテストタスクが異なるジェネラリストエージェントに強い関心があったため、あえて汎用的な立場を取ることにしました。つまり、どのようにして一般的で普遍的な報酬関数を持つことができるか、という発想です。その結果分かったのは、既製のVLM(視覚言語モデル)を報酬関数として使うことは、決して悪くないということでした。受け取った動画それぞれについて、それが成功か失敗かを判定できるからです。今日のVLMは、ロボットの成功動画を検出するのに十分なほど多くのロボットデータで訓練されているわけではないかもしれませんが、そうした成否の判定ができると分かった時点で、データを収集して選好モデルを学習し、VLMを成功と失敗を判定できるようにファインチューニングすることができます。私たちが確認したところ、少なくともこうした単純なタスク、たとえば物を拾って置くといったタスクについては、VLMは成否の判定において十分に有効であることが分かりました。さらに重要なのは、どのタスクに対しても同じテンプレートを使えるという点です。指示文のためのプレースホルダーと、評価基準(失敗なら0、成功なら1)のためのプレースホルダーを用意するだけでよいのです。実際、私たちが確認したほとんどのタスクにおいて、VLMは0か1かを判定する検出器として十分に良好に機能することが分かりました。
4.3 AutoRLEvalによる実機検証とRLの性能向上結果
Sherry Yang： 実世界での評価についても、私たちは非常に慎重に取り組みました。自分たちのロボットだけで実験を行い、強化学習によってロボットの性能が向上したと主張しても、他の誰もそれを再現できないという、よくある失敗を繰り返したくなかったからです。そこで私たちが選んだのは、AutoRLEvalというサードパーティのプラットフォームを利用することでした。このプラットフォームがロボットをホストしており、私たち自身はこのロボットを所有していません。私たちが行ったのは、二つの方策のチェックポイントを用意することでした。一つは強化学習を経たもの、もう一つは強化学習を経ていないものです。これらをハードウェア上で直接評価しました。AutoRLEvalがサポートしているのは、ドアを開ける、ドアを閉める、植物を持ち上げて流しに入れる、シールを剥がすという四つのタスクで、これらはすべて実ロボットによる実行です。
ここで一つ興味深い点があります。これら四つのタスクは、いずれもワールドモデルにとっては言わば「馴染みのある」ものでした。ワールドモデルは、私たちが作成した多くの異なるタスクの訓練データから得られた初期フレームをすべて見ているからです。しかし、ドアを開ける、閉める、植物を持ち上げる、根を濾過するといった、これほど正確なタスクそのものは見たことがありません。一方、シミュレータの方はそうした比較ができませんでした。というのも、そのフレームワークがサポートしているのはごく限られた数のシミュレートされたタスクだけだったからです。そのため、訓練タスクの集合を用意し、これら四つを評価タスクとして使うということができず、方策をまさにテストタスクと同じシミュレータの中で訓練せざるを得ませんでした。それでもなお、シミュレータと実世界の間のギャップのために、私たちのワールドモデルの方が、シミュレータで訓練した場合よりも、こうした未知のタスクへの汎化性能が優れているという結果になりました。唯一の例外はドアを閉めるというタスクで、これはこのソフトウェアシミュレータにとって十分に扱いやすい程度に簡単なタスクだったため、うまく機能しました。逆に言えば、このタスクはワールドモデルにとっては分布外であったため、ゼロショットでの汎化はあまりうまくいきませんでした。
さらに、私たちはワールドモデル内での強化学習を、強化学習を行う前の状態と比較しました。まず、引き出しを閉めるといった単純なタスクについては、あまり大きな利益は見られませんでした。というのも、World Gym自体にとってもこの設定は新奇なものであり、カメラも設置も異なるため、World Gymにとっても分布外だったからです。そのため、単純なタスクについては、ワールドモデル内での訓練による汎化の向上はそれほど大きくありませんでした。しかし、より難しいタスク、引き出しを閉めるという難しいタスクについては、成功率が4%から72%へと劇的に向上するという結果が得られました。強化学習によって18倍もの性能向上が得られたことになります。
4.4 Video-to-SFTとの比較とDynaによるオンライン適応
Sherry Yang： さらに強調しておきたいのは、方策をワールドモデルの中で走らせて成功例だけをフィルタリングし、それをもとに動画を用いたSFT(教師ありファインチューニング)を行うというアプローチについてです。このVideo-to-SFTのアプローチは、性能を多少は向上させましたが、強化学習ほどの効果は得られませんでした。これは、強化学習が失敗からも学習できるためだと考えられます。
ここでもう少し細かい話をしておきたいと思います。Dynaのような古典的なアルゴリズムでは、ダイナミクスモデルを学習して更新しながら、より高い頻度で動く方策改善のための内側のループを持ち、そのうえで実世界における評価やデータ収集を行うための、頻度の低い外側のループを持つという構造になっています。Dynaの考え方は、実世界から得られた新しいデータは、方策の改善とワールドモデルの改善の両方に還元されるべきだ、というものです。そこで私たちも、このDynaの枠組みに倣い、実際にロールアウトを実行して新しいデータを収集した後、そのデータを使ってワールドモデル自体をファインチューニングした場合に何が起きるかを試してみました。ここで、左側が実世界での実行結果、真ん中がシミュレータでの実行結果を示しており、これらはすべて同一の行動系列を再生したものです。どちらの方が優れているかを比較することができます。そして右側が、環境から収集された新しいデータを用いてワールドモデルをファインチューニングした後の結果です。
結果として、パラメトリックなワールドモデルは、より多くのデータ、とりわけファインチューニングによって、非常に容易に改善できることが分かりました。一方で、ソフトウェアシミュレータをそうしたデータの上に改善する方法は明確ではありません。そして、より多くのオンラインデータを通じてワールドモデルを改善できた後には、この改善されたワールドモデルの中で強化学習を行うことで、はるかに優れた方策が得られ、方策のタスク成功率もさらに実際のタスク成功率に近づくことが確認できました。
まとめますと、この後半部分では、ワールドモデルの中で方策を改善するというお話をしてきました。時にはワールドモデル自体が完璧ではなく、幻覚のような現象にお気づきになったかもしれません。それでもなお、ワールドモデルは、たとえ不完全であっても、方策改善のための意味のある方向性を提供してくれるように見えます。実際、強化学習による訓練を通じて、私たちはこうした劇的な性能向上を得ることができました。そして、この効果の多くは、私たちがデータセット中の任意のフレームを訓練に用い、検証可能な形での成功判定さえあれば新しいラベリング構造によって新しいタスクを作り出すことで、強化学習のタスク数を単純にスケールさせたことから得られていると言えます。
5. 今後の展望とまとめ
5.1 ユニバーサル物理エージェントへの道筋
Sherry Yang： ここからは、今後の展望について少しお話ししておきたいと思います。物理エージェントを改善するという文脈において、これからの未来はどのようなものになるのでしょうか。私たちは、多くの環境を横断して学習できるユニバーサルなエージェントを訓練したいという夢からこの取り組みを始めました。そして、これはすでにLLMエージェントの世界では実現しつつあることです。私は、こうした異なる環境をすべて組み合わせる方法さえ手に入れば、物理エージェントの世界でも同じことが起き始めると考えています。
ただし、ここで重要なのは、LLMとは異なり、物理エージェントは環境の物理法則に従ったデータを必要とするという点です。ここまで、6億パラメータのワールドモデルがどれほど良い性能を発揮できるかをいくつかご紹介してきましたが、実際のところをよく考えてみると、多くの機関がエゴセントリックな人間のデータを収集しています。パイプラインとインフラが適切に整備されれば、いずれはより多くのエゴセントリックな人間のデータが手に入るようになるはずです。これはまさに、私たちがこれまでお話ししてきた事前学習そのものです。そして、人類という種全体から得られる、あらゆる物体を対象とした現実的な操作のためのデータが手に入ることになります。もし私たちが動画生成モデルを本当にうまく学習させる方法を見つけられれば、それは先ほどの講演者とは少し異なるアプローチになるかもしれませんが、無限のデータと無限のモデルサイズが与えられた場合、モデルにできることは、現実的なインタラクションがどのようなものであるべきかを最尤的に再現することだけだと思います。そう考えると、この点については楽観的であってもよいのではないかと感じています。
とはいえ、特にコンピュータビジョンのコミュニティにとって重要な問いがいくつか残されていると思います。たとえ、すべての人の頭にカメラを取り付けて、これから先の人生をずっとそのカメラとともに過ごしてもらうという方法があったとしても、行動を捉えるデバイスや姿勢推定という点では、まだあまり良いものが揃っていないというのが実情です。行動を条件として次のフレームのあらゆる反応を学習するワールドモデルを構築するためには、こうした行動計測の手段が必要になります。ですから、良い行動計測、姿勢推定、行動トラッキングのツールを開発することは非常に重要だと考えています。たとえば、手の形状(ハンドメッシュ)を推定するために今日使われているようなカメラによる手法は2024年頃のものであり、それ以降、それほど優れたツールが新たに開発されているわけではありません。
5.2 マルチモーダル統合アーキテクチャへの示唆とまとめ
Sherry Yang： また、マルチモーダルなモデリングという問いも残されています。物理エージェントとワールドモデルは、本質的にマルチモーダルなものです。画像による観測、言語による指示、連続ベクトルあるいは言葉による制御行動が存在するからです。これは当然、統合されたアーキテクチャという問いにつながります。これは昨今、非常に人気のある研究トピックの一つです。個別の方策を持つのではなく、統合されたワールドモデルを持つという発想です。統合されたワールドモデルを持つことができれば何が起きるのか。もし良い統合アーキテクチャが手に入ったとしたら、どうなるのでしょうか。ここで重要なのは、モデルに取り組んでいる人々が、評価というものについてもきちんと考える必要があるという点です。なぜなら、身体性を伴う学習(embodied learning)は、まさに本質的にマルチモーダルなものだからです。
つまり、こうしたオムニモデルが真価を発揮すべき最適な設定こそが、この身体性を伴うタスクの領域なのです。テキストのみのベンチマークでオムニモデルとテキスト専用モデルを比較して、テキスト予測に関してはテキスト専用モデルの方が優れているかもしれない、あるいは画像生成についてはいずれオムニモデルが画像生成専用モデルより優れるようになるかもしれない、といった比較とは話が異なります。そうしたタスクは本質的にマルチモーダルではないのに対し、身体性を伴うタスクは本質的にマルチモーダルだからです。
以上をもちまして、私の研究室のメンバーや大学、そして共同研究者であるSanta ClaraのJulianをはじめとする皆様に感謝を申し上げたいと思います。ご清聴ありがとうございました。ご質問があれば、ぜひお伺いしたいと思います。