※本記事は、CVPR 2026「GCV(Global Computer Vision)」セッションにおけるエフストラティオス・ガヴェス氏の講演「エンボディドAIのための物理世界モデルとエージェント」の内容を基に作成されています。動画の詳細は https://www.youtube.com/watch?v=c8eoZ0mH12A でご覧いただけます。本記事では、講演内容を要約・再構成しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. イントロダクション:フィジカルAIとは何か
1.1 フィジカルAIの定義
Gavves:本日は最初のスピーカーとしてお招きいただき、大変光栄に思っております。実は本来であれば現地に赴く予定でしたが、パスポートの更新手続きに問題が生じてしまい、渡航が叶いませんでした。この場にいられないことは残念ですが、本日は私が情熱を注いでいるサイバーフィジカルな世界モデルとエージェント、そしてそのために不可欠な要素であると私が考えている生成学習、生成視覚についてお話しできることを大変うれしく思っております。
冒頭で、先ほどAdamが述べたことに私からも重ねてお願いしたいのですが、本日この場にいらっしゃる皆様には、ぜひ私のアイデアや概念に対して積極的に異議を唱えていただきたいと思います。これは社交辞令ではなく、本心からのお願いです。と申しますのも、私は今日ご紹介する内容において、昨今の潮流とはやや逆の立場を取ろうとしているからです。
それでは、私が考えるフィジカルAIとは何かというところから始めさせていただきます。私の立場から申し上げますと、フィジカルAIとは物理世界を理解し、シミュレートし、そしてその中で行動することができるAIのことを指します。そして私にとってフィジカルAIというものは、コンピュータービジョンの非常に自然な次のステップ、あるいは継続、拡張と呼んでも構わないのですが、そうした位置づけにあるものだと考えております。と申しますのも、コンピュータービジョン、より一般的に言えば機械知覚というものは、世界を理解し、シミュレートしようとする営みだからです。
しかしながら、フィジカルAIにおける決定的な違いは、単に理解し、シミュレートするだけでなく、実際に行動を起こすという点にあると私は考えております。つまり、物理空間において相互作用を行い、行動を起こし、物理空間そのものを変化させるということです。そして、これには当然のことながら、非常に大きな帰結が伴います。なぜなら、行動を起こし、世界を変化させるということは、自分が何をしているのか、原因と結果がどのような関係にあるのかということを、きちんと理解できていなければならないからです。
1.2 行動の帰結と安全性の問題
Gavves:こうした理由から、私の意見では、機能するフィジカルAIというものは、物理的なメカニズムおよび相互作用のメカニズムを理解できていなければならないと考えております。なぜそう言えるのでしょうか。フィジカルAIというものは、本質的にダイナミクス、つまり世界において何が変化するのかということを扱う営みだからです。この変化は、エージェント、たとえばロボットエージェントの行動によってもたらされる場合もあれば、外的な要因によってもたらされる場合もあります。そして、こうしたダイナミクスは、大きく分けて物理的なメカニズムと相互作用のメカニズムという二つのカテゴリーに分類できると私は考えております。
なぜこの分類が重要なのかを、具体例を用いてご説明したいと思います。少し前のバージョンのやや大柄なボストン・ダイナミクス社のロボットを想像していただければと思います。このロボットが、あるプラットフォームから降りようとしている場面を考えてみてください。ロボットは自身の旅を続け、与えられたタスクを完了させようとしています。このとき、ロボットはどのように推論すればよいのでしょうか。どのようにして世界と相互作用すればよいのでしょうか。ロボットはまず、高さを下げるために何らかのステップを踏まなければなりません。そして、それは目の前にある箱を押すことによって実現できます。
この行動には当然、帰結が伴います。ロボットは、箱を押すことによって箱が倒れ、段差が縮まるであろうという、未来の世界の状態を想像し、生成しなければなりません。そして、それによって初めて自身の旅を継続することができるのです。ここで重要なのは、箱を押すという物理的な行動自体がメカニズムであるという点です。同時に、ロボットが箱を押しているという意味において、これは相互作用のメカニズムでもあります。この原因と結果を理解していなければ、ロボットが行動の帰結を把握し、計画を立てることは基本的に不可能です。
今日的な言葉で言えば、こうした仕組みは世界モデルと呼ばれるものにあたります。つまり、ある行動と現在の世界の状態を組み合わせることによって、未来の世界の状態を予測できるということです。これは計画を立てる上で非常に重要な意味を持ちます。そして、計画を立てるという能力なしには、真に知的な行動を取っていると言うことはできないと私は考えております。目の前にある状況にただ反応するだけの行動を取ることはできても、より高度な推論を行うためには、こうした反実仮想的な能力、つまり実際には起きていない未来を想像する能力が不可欠なのです。
これは単なる理論上の話ではなく、非常に実践的な意味も持っています。なぜなら、こうした物理的な相互作用のメカニズムを明示的に理解できず、したがって世界における原因と結果を明示的に理解できないフィジカルAIというものは、端的に言って安全ではないからです。そして、この点においてコンピュータービジョンとフィジカルAIとの間には非常に大きな違いがあります。コンピュータービジョンにおいては、アルゴリズムはクラウド上で動作しており、バウンディングボックスが数ピクセル左右にずれていたとしても、それほど大きな問題にはなりません。しかしながら、物理世界においては話が異なります。こうした誤差は非常に大きな影響を及ぼす可能性があり、場合によっては重大な事故を引き起こすことすらあり得るのです。
したがって、私たちの行動がもたらす原因と結果、そしてその帰結を理解するということは、極めて重要な意味を持つと言えます。
2. フィジカルAI実現に必要な4つの構成要素と具体例
2.1 ワールドプライア・物理プライア・インタラクションプライア
Gavves:それでは、こうした物理的なメカニズムおよび相互作用のメカニズムを理解できる機械を実現するためには、どうすればよいのでしょうか。私の考えでは、これには絶対的に必要な四つのステップ、あるいは構成要素があります。
一つ目はワールドプライアです。つまり、私たちの世界が何でできているのか、世界の構造はどのようなものなのかということです。3次元の構造、幾何学的な形状、材質といったものがこれにあたります。この例として、ガウシアンスプラッティングによる再構成の画像をお見せしました。これは、幾何学的な構造がわずかな枚数の画像からどのように再構成できるかということを私たちが理解しているという事実を活用した技術です。
二つ目は物理プライアです。世界がどのように見えるかということだけではなく、世界の物理法則がどのようなものであるかということも理解する必要があります。この点について、背景に映し出した動画生成モデルによる映像をご覧いただきました。どのモデルであったか正確には覚えていないのですが、おそらくCosmosだったと思います。この映像では、リンゴが落下する様子が誤って生成されておりました。私にとって、これはまさに、なぜ動画生成モデルが世界モデルではあり得ないのか、そして実際に世界モデルではないのかということを示す非常に良い例だと考えております。なぜなら、動画生成モデルはメカニズムそのものを理解しているわけではないからです。生成の結果がどれほど優れていたとしても、リンゴが落ちる様子を基本的に再現したり模倣したりすることはできますが、その動画生成モデルが事実に対する正確な知識を持っていると期待することは決してできないのです。
三つ目はインタラクションプライアです。これは基本的に、何かを掴む、何かを引く、何かを別の何かの上に置くといったことが何を意味するのかということです。物理的なエージェントとして、自分が達成したいことを達成するために、どのようにして世界と相互作用すればよいのかということです。世界がどのように見えるかを理解することと、世界の物理法則がどのように機能するかを理解することは、それぞれ別のことですが、実際に能動的に相互作用し、何かを達成するために意図的な行動を起こすということは、さらにまた別のことなのです。
2.2 システムオーケストレーションと段差降下の思考実験
Gavves:そして最後に、四つ目として、私が重要だと考えているのは、そしてこれはよりロボティクス寄りの、いわゆるハードコアなロボティクスに近い領域になりますが、システムオーケストレーションです。これはどういうことかと申しますと、もちろん画素レベルから物理法則、そして相互作用に至るまですべてを理解するということは素晴らしいことですし、それによってシミュレーションなども行えるようになります。しかし最終的には、そのすべてを組み合わせ、おそらくエンドツーエンドの形で一体として活用しなければなりません。なぜなら、これこそが学習を前進させる原動力となるからです。
先ほどお話ししたボストン・ダイナミクス社のロボットが箱を押して段差を降りるという例を思い出していただければと思いますが、あの一連の行動は、まさにこの四つの構成要素すべてが揃って初めて成立するものです。ロボットは世界の構造、すなわちプラットフォームや箱の幾何学的な配置を認識し(ワールドプライア)、箱を押せば箱が倒れて段差が縮まるという物理法則を理解し(物理プライア)、実際に箱を押すという行動によって何が達成できるのかを理解し(インタラクションプライア)、そしてそれらすべてを一体として組み合わせることで、初めて段差を降りるという一連のタスクを完遂できるのです(システムオーケストレーション)。これら四つの要素のうちどれか一つでも欠けていれば、ロボットは反応的な行動しか取れず、真に知的な計画を立てることはできないというのが私の立場です。
さて、少し長めの導入となってしまいましたが、ここからは本題の内容に入らせていただきたいと思います。世界モデルというものは、現在おそらく最も注目されている領域の一つであると思いますが、私が主張したいのは、世界モデルだけでは十分ではないということです。
3. DREMA:学習可能なデジタルツインによるロボット世界モデル
3.1 ガウシアンスプラッティングと想像(イマジネーション)
Gavves:世界モデルというものは、現在おそらく最も注目されている領域の一つであると思いますが、私が主張したいのは、世界モデルだけでは十分ではないということです。世界モデルはもっと明示的なものにしなければならない、特にロボットのために明示的なものにしなければならないと考えております。ですので、私はコンピューターゲームのような、自分が動き回れる世界環境を作れるかどうかということには、それほど関心がありません。私が求めているのは、ロボットにとって実際に役立つ世界モデルです。つまり、物理的なエージェントが感知し、知覚し、経験することと、より明示的に整合した世界モデルが欲しいのです。そして、それが意味するのは、突き詰めれば学習可能なデジタルツインということです。
これは昨年、ICLRで発表した基盤的な研究になりますが、DREMA、正式にはDream to Manipulate、すなわち構成的な操作のための世界モデルと呼ばれるものです。この研究は、ある意味で非常にシンプルなものであり、明らかな限界や欠点も抱えております。しかしながら、この研究がもたらした洞察や利点は、私たちが現在まさに積極的に進めているロボット世界モデルという次のステップに向けて、基盤となるものだと考えております。この研究は、Leonardo Barcelona、Andries van den Broek、Davide Allegro、Samuel Papa、Stefano Gidoniの各氏、そして私自身との共同研究です。
ここでの中心的な問いは、画像からロボットの世界モデルを作ることができるかということでした。つまり、ロボットが実際に手に取って、単に航行のシミュレーションなどを行うだけでなく、世界と相互作用するために使える世界モデルです。そしてもう一つの問いは、それによってロボットに、いわば想像する能力を持たせることができるかということでした。
ここで簡単にガウシアンスプラッティングについて触れておきたいと思います。CVPRにいらっしゃる皆様であれば、何らかの形でガウシアンスプラッティングをご存知だとは思いますが、ごく基本的な説明をいたしますと、私はガウシアンスプラッティングを、いわば世界を3次元のピクセルの集合として表現する技術の一種だと捉えております。これは少数のサンプル画像からフォトリアリスティックなシーンをリアルタイムでレンダリングできる復元技術であり、レンダリングと学習が非常に高速で、深度推定の質も非常に高いという特徴があります。しかし、私がこのスライドを本日の講演に入れた最大の理由は、これが明示的な表現であるという点にあります。これは局所的な表現であるということです。つまり、この表現の各構成要素を個別に取り出すことができるのです。一般的に表現というものと結びつけて考えられることはあまりないかもしれませんが、まさにそこが重要な点です。この表現は世界の構造を表しており、そのすべての構成要素、すべての次元が、非常に具体的かつ明示的な形で操作可能なのです。たとえば、ピクセルや色を、周囲の他のピクセルや構造、マスクグリッドとともに表現しているといった具合です。これは潜在空間による表現などと比較したときに、非常に重要な意味を持ちます。
この研究におけるもう一つの中心的な概念が、想像、すなわちイマジネーションです。想像というものは、現実に比べてはるかに安価です。もし私たちが想像を生み出す能力、イマジネーションを生成する能力を持てるとすれば、それによって過去の経験を再現できるようになります。これはまず明白なことです。しかしそれ以上に重要なのは、起こりうる新しい状況について考えたり、タスクをどのように遂行すればよいかを計画したり、自分の行動がもたらす帰結を予測したり、新しいタスクの解き方を学んだりすることができるようになるという点です。想像がなぜこれほど重要なのかを説明するために、ここで一枚の画像をお見せしました。黒い箱で覆われた画像なのですが、皆様はご自身の想像力によって、それが明らかにエッフェル塔であるということを補完できるはずです。つまり、皆様の想像力が、画像の残りの部分を埋めてくれるのです。想像力は、非常に高度で洗練された認知的タスクを遂行する上でも役立ちます。たとえば、目隠しをした状態でルービックキューブを解くことができる子供の映像をお見せしました。もちろん、ルービックキューブを解くためのアルゴリズム自体は存在するわけですが、それでもなお、その子供はキューブの状態を頭の中で想像し、それに基づいて推論を行わなければならなかったのです。
3.2 パイプラインと実験結果、課題
Gavves:さて、DREMAのパイプライン自体は、私の見解では非常にシンプルなものです。むしろシンプルすぎる、直感的すぎるとすら言えるかもしれません。仕組みとしては、まずロボットにカメラなどが搭載されており、そのカメラを用いてロボットが世界の3次元再構成、いわばリアル・トゥ・シムの再構成をガウシアンスプラッティングによって行います。ここでの重要な違いは、オブジェクト中心性を導入している点です。つまり、私たちはガウシアンスプラッティングをオブジェクトごとに行っております。そのために、まずセグメンテーション技術などを用いてオブジェクトを検出し、マスクを検出した上で、各オブジェクトを再構成します。
そして、ガウシアンスプラッティングによって得られた幾何学的構造、すなわちメッシュグリッドを用いることで、これを非常に容易に物理エンジン、物理シミュレーションに組み込むことができます。これにより、シミュレーションを実行できるようになります。つまり、このオブジェクト中心のスプラットに対して行動を加え、物理シミュレーションの中でそれらを動かし、そのうえで未来のシーンを再生成する、つまり実際にその行動を現実世界で行うことなく、行動後の世界がどのように見えるかを再構成できるようになるのです。実際のデモンストレーションを用いてこれを行うことで、私たちの周囲の世界を非常に容易に再構成し、さらには新しい状況すら想像できるようになります。
ここでの中心的なアイデアは、ガウシアンスプラッティングによる接地(グラウンディング)と、システムがオブジェクト中心であることによる構成性(コンポジショナリティ)を、物理エンジンによる物理法則と組み合わせることで、想像が実現するというものです。これによって、新しいデモンストレーションを、望むだけいくらでも生成することができるようになります。本日お見せしたのは30個程度のデモンストレーションでしたが、100万個生成することも可能であり、私たちにとってそれは基本的に労力を要しないものなのです。その結果として、DREMAはロボット学習におけるデータ拡張を可能にした最初の研究、あるいは最初期の研究の一つとなりました。DREMA以前は、データ拡張というもの自体が、データが静的であることを前提としており、エージェントがデータに対して行動し、データそのものを変化させてしまうような場合には、意味のある拡張を行うことは非常に困難でした。行動後の世界が依然として整合性を持つのかどうかがわからなかったからです。しかし、私たちはこうしたシミュレーションを活用し、またガウシアンスプラッティングが世界の再構成において非常に優れているという事実を活かすことで、実際に非常に多くのデモンストレーションと物理的なリアリティを生成できるようになりました。これは特に分布外(アウト・オブ・ディストリビューション)の状況に対して大きな効果を持ちます。分布外の状況に対する汎化能力こそが、AIの本質的な特徴であると私は考えております。もしモデルが分布外に対して良好な汎化を示せないのであれば、それは単なる最適化にすぎず、必ずしも過学習とは言わないまでも、非常に限定的なものにとどまってしまいます。実際、DREMAは当時のごく基本的なベースラインに対して精度を倍増させただけでなく、今日の水準の手法と比較しても、良好な結果を示しております。ただし、これは私たち自身が今日の手法とも比較を行っているという点は申し添えておきたいと思います。
結論として、DREMAは効果的に学習可能なデジタルツインであると言えます。デジタルツインである理由は、世界をそのままの状態で再構成しているからであり、学習可能である理由は、通常デジタルツインは手作業でコーディングしなければならないのに対し、DREMAではこうした世界そのものが学習によって獲得されるからです。構成性によって、最小限のデータからの汎化が可能になり、その結果として精度を倍増させ、物体操作タスクに役立てることができました。
しかしながら、この研究には多くの欠点もあります。第一に、この手法は脆弱です。ガウシアンスプラッティングが正確に機能するという保証について、私たちはどれほど確信を持てるでしょうか。さらに重要な問題として、ガウシアンスプラッティングには360度のスキャン、つまり大量の動画撮影、多数の画像が必要になるという点があります。したがって、この手法をスケールさせることは容易ではありません。こうした理由から、私たちはロボット世界モデルから、スケーラブルなロボット世界モデルへと次のステップに進むことになりました。すなわち、ワンショットの学習可能なデジタルツインを統合するという方向性です。
4. RegGen:スケーラブルな一発3D再構成への発展
4.1 DREMAの限界と研究課題
Gavves:こちらはまだ査読を通っておらず、投稿中の研究になりますが、Toyota Research InstituteおよびToyota Motor Europeとの共同研究です。具体的には、Sergey Zakharov、Leonardo Barcelona、Rafael Fabian de Spona、Andrejs Zlajevの各氏との共同研究であり、タイトルは「疎な観測からの3Dマルチオブジェクトシーン再構成:生成による再構成」というものです。
簡潔に申し上げますと、DREMA、すなわちリアル・トゥ・シム・トゥ・リアルのアプローチには、スケールの問題があります。まず、密なスキャンが必要になるという点が課題です。フィジカルAIやロボティクスの一般的なケースにおいては、そのような密なスキャンを得ることは現実的ではありません。また、DREMAには関節構造がまったく組み込まれておらず、ロボットは基本的に剛体として扱われております。さらに、オクルージョン(遮蔽)が存在しない、あるいは significant なオクルージョンは存在しないという前提を置いておりましたし、対称性についても考慮されておりませんでした。しかし実際には、特に工業的に設計されたオブジェクトにおいては対称性が非常に頻繁に存在しており、これが再構成において問題を引き起こす原因となっておりました。
そこで、ここでの中心的な問いは、物理世界を一発(ワンショット)で、かつ自動的に3D再構成できるかということでした。多数枚の画像を必要とせず、そして何の前提も置かずに、と言いますか、少なくとも最小限の前提でということです。これに対して、RegGen、すなわちreconstruction by generation(生成による再構成)という手法は、このパイプラインを用いております。一見すると複雑で難解に見えるかもしれませんが、実質的には非常にシンプルな仕組みになっております。
4.2 フローマッチングアーキテクチャと実験結果
Gavves:私たちは、フローマッチングを中核となるアーキテクチャおよび学習パイプラインとして採用しております。これは、観測結果に条件づけられた形で、形状、すなわち3Dオブジェクトを生成し、それによって観測された現実を再構成することを目指すものです。図が見えにくいかもしれませんが、左から右へと順を追ってご説明いたします。まず、特徴グリッドと姿勢に対する入力ノイズから出発いたします。次に、フロートランスフォーマーを通じて、疎な形で形状と姿勢が学習され、最終的に対称性を考慮した姿勢推定が得られます。そして、構造的な潜在変数とともに、姿勢を持つ形状を生成します。
これは実質的には、フローマッチングアーキテクチャの拡張版にあたります。ただし大きな違いとして、マルチビューかつマルチモーダルな条件づけを採用している点が挙げられます。具体的には、点群マップ、オブジェクトマップ、マスク、そして画像とDINO特徴量とを組み合わせて使用しております。これらすべてを畳み込みによって統合し、フローマッチングアーキテクチャの条件づけに用いることで、フロートランスフォーマー内部で潜在変数を生成し、それに基づいてオブジェクトを再構成いたします。
この手法によって、私たちはたった一枚の画像から、つまりたった一つのマスクから、非常に説得力のある形で3Dオブジェクトを生成することができるようになりました。そして、パーツ情報を持っていることを活かして、形状と姿勢の推定にパーツ情報とパーツごとの学習を加えております。個別の生成結果をご覧いただくと、たとえばラップトップの蓋、引き出し、テーブルの天板のみ、あるいはゴミ箱の蓋といった、オブジェクトの正確なパーツを認識し、再構成できていることがわかります。
その結果として、私たちはShapeNetのようなsynthetic完全なデータセットや、様々な3DオブジェクトデータセットおよびパーツデータセットであるPartNetにおいて、最先端の手法を上回る、頑健な姿勢および形状の復元を実現することができました。具体的な数値で申し上げますと、ShapeNetと比較して、HPLやPartNetなどのデータセットにおいて20%から50〜60%へと精度を向上させております。また、パーツ認識精度についても、ShapeNetにおける46%から84%へと、ほぼ倍増させることができました。
結論として、疎な観測からのワンショット3D再構成は機能する、そしてある意味においてリアル・トゥ・シムのギャップをスケールの観点から埋めるものであると言えます。完璧ではありませんが、かなり良好な結果だと考えております。さらにスケールと改善を進めることも可能です。実際、私たちはShapeNetよりも5分の1少ないデータでこのモデルを学習させることができました。DREMAと組み合わせることで、私たちは今や物理世界を再構成しシミュレートし、エンドツーエンドの表現学習を可能にする段階に近づいております。これはまさに現在取り組んでいる作業であり、近いうちに公開したいと考えているDreambo 2、すなわちガウシアンスプラッティングをRegGenに置き換え、表現学習も組み込んだバージョンにあたるものです。
RegGenによって、多発から一発へという問題は解決されつつあります。しかしながら、私たちのモデルは実際に物理法則を理解しているのでしょうか。ここまでのところ、その答えは否です。そこで次の問いは、データに基づくモデルから、物理法則に基づくモデルへ、すなわち物理法則に基づいた世界モデルへとどう移行するかということになります。
5. 動画生成モデルは物理を理解しているか
5.1 世界モデル論争と実写/生成動画の判定実験
Gavves:動画生成モデルは物理法則を理解しているのでしょうか。この点については様々な議論がなされております。私の立場から申し上げますと、そもそも何が世界モデルであり、何が世界モデルでないのかということ自体が、必ずしも明確ではないというのが実情です。多くの動画生成モデルは、世界モデルであると考えられておりますし、ある程度まではその見方も理解できます。しかしながら、動画生成モデルには、決して克服することのできない根本的な限界があると私は考えております。実際、これは克服できないのです。どのように解決すればよいかという方法論の問題ではなく、原理的に不可能であるという性質のものなのです。
その限界の一つが、動画生成モデルは決して物理法則を理解することができないという点です。なぜなら、物理法則というものはシンボルに関するものであり、したがってより神経記号的(ニューロシンボリック)なアプローチが必要になるからです。これは議論の余地がある、やや物議を醸す見解かもしれません。とはいえ、話を少し具体的なレベルに落として、仮に動画生成モデルが世界モデルになり得るとしましょう。その場合、少なくともロボットとともに用いるためには、物理法則を理解していてほしいと私は期待します。
ここで一つスライドをご紹介したいのですが、これは本来、対面での発表向けに作られたものであり、オンラインでの発表にはあまり適していないのですが、それでも皆様にお伺いしてみたいと思います。おそらくAdamが会場の反応を教えてくれるかと思います。こちらは、私たちの論文からの動画で、ちょうどICML 2026に採択されたばかりのものです。アムステルダム大学の物理学研究室で、私たち自身が行った実験の映像になります。この映像が実写なのか、それとも生成されたものなのか、皆様のご意見を伺いたいと思います。少し間を置きますので、考えてみてください。
反応としては、意見が分かれているようですね。投票を行ってみましょう。だいたい3分の1程度の方が実写だと考え、残りの方が合成であると考えているようです。実は、この結果は二つのことを証明しております。一つ目は、この映像は実際には実写であるという事実です。そしてこのことは、生成モデルがこれほどまでに人々に強い印象を与えており、これが生成された映像であると誰もが完全に信じ得るレベルに達しているということを示しております。
しかしながら、そこにはもう一つの重要な意味が含まれております。二つ目の点として、反応が分かれたということ自体が、私たち人間ですら、ある映像が実写であるのか生成されたものであるのかを判別できないということを示しているのです。つまり、人間がこれを判断することは非常に困難、あるいは不可能であるということです。そして、映像の物理的妥当性を評価しようとする多くのベンチマークにおいては、現状では人間による評価、あるいは人間による評価に基づいて学習されたVLM(視覚言語モデル)による評価に頼らざるを得ないというのが実情です。ということはつまり、こうしたベンチマーク自体が、基本的に信頼するのが難しいものであるということを意味しております。
5.2 Morpheusベンチマークと実験結果
Gavves:こうした背景から、私たちはMorpheusという研究に取り組んでおります。これは数ヶ月後に韓国で発表予定の研究で、「実世界の物理システムを用いた動画生成モデルにおけるニュートン力学の評価」というタイトルになります。この研究は、Chengyu Zhang、Daniel Genkinsky、Andrey Zadancho、そしてDonatasおよびAndon Vozikisの各氏との共同研究です。
簡潔に申し上げますと、この研究では、物理法則とフォーミュラを組み込んだネットワークを用いて、観測されている内容が、支配的な保存則をはじめとする、実際に成り立っているべき物理的ダイナミクスをどれだけ反映しているかを自動的にスコアリングいたします。具体的な手法としては、まず映像内の様々なオブジェクトのセグメンテーションを行い、その上で、映像内において成立しているはずの保存則を学習、あるいはフィッティングするという組み合わせによって、これを実現しております。
その結果としてわかったことは、今日のほぼすべての、いえ実際にはすべての動画生成モデルが、物理的に妥当な映像を生成するという点において、かなり不十分な結果を示しているということです。なお、Cosmos 3についてはリリースされたばかりであるため、まだ試すことができておりません。右上をご覧いただきますと、非常に精緻なプロンプトを用いて、本が滑る様子を生成させた事例をお示ししております。この結果はご覧の通りのものになりました。本が上下に動いてしまっていたのです。実際、私は表面素材として柔らかいカーボン紙のようなものを用いるようプロンプトで指定しており、通常であれば本の重みによって紙が潰れるはずだと想定しておりました。
ところが、そうした挙動が起きなかっただけでなく、本自体が上下に振動を始め、紙まで振動してしまうという結果になりました。つまり、完全に間違った挙動が生成されてしまったのです。ここで申し上げたいのは、動画生成モデルは非常に優れたピクセルを生成することができるということです。しかしながら、その物理法則の再現性については、まったく役に立たないと言わざるを得ません。結論として、現在の動画生成モデルは、基本的なニュートン力学すら正しく再現できていないということになります。より複雑な物理現象については、さらに悪化するであろうと私は推測しております。知覚的な品質の高さは、物理的な推論能力を意味するものではありません。論文がどのような主張をしていようとも、それは変わらない事実です。
したがって、明示的な物理プライアというものは、フィジカルAIやロボットを実現しようとするのであれば、必須のものであり、あればよいという類のものではないと言えます。そして、たとえ正しい世界モデルと物理法則を備えていたとしても、ロボットが実世界からどのように学習するのかという問いは、また別に残っております。ただ、お時間の都合もございますので、この点については割愛させていただき、最後のスライドに移りたいと思います。
6. まとめ:フィジカル・エクスペリエンスの時代
6.1 スケールの必要性と不十分性
Gavves:私は、私たちが今、フィジカル・エクスペリエンスの時代に入りつつあると考えております。もしSuttonとSilver、いわば強化学習の重鎮とも言うべきお二方の論文をお読みになったことがあれば、そこで述べられている通り、スケールが必要であることは間違いありません。私自身、この点については絶対的にそうであると考えております。したがって、私たちはより大きく、より大きく、そしてさらに大きなデータを必要としていることは確実です。
しかしながら、スケールだけでは十分ではありません。
6.2 より良い表現と学習可能なデジタルツインへの期待
Gavves:私たちには、より優れた表現が必要です。構成性(コンポジショナリティ)、モダリティを横断した接地(グラウンディング)、そして相互作用が必要なのです。それによって初めて、シミュレートされた経験を生み出し、実際に機能するフィジカルAIを実現することができると考えております。ただし、これは十分に安価な形で実現できなければなりません。だからこそ私は、学習可能なデジタルツイン、すなわち3次元のリアル・トゥ・シム・トゥ・リアル、あるいは呼び方は何であれ、こうした技術こそが今後の時代において根幹をなすものになるだろうと考えております。
ご清聴、誠にありがとうございました。