※本記事は、Jiajun Wu氏(スタンフォード大学)による講演「Understanding the Visual World Through Physical Intrinsics」の内容を基に作成されています。本講演は、ロボット学習のためのインサイドデータをテーマとするワークショップにおいて発表されたものです。動画の詳細情報は https://www.youtube.com/watch?v=Bp_kATMcSe4 でご覧いただけます。本記事では、講演の内容を要約・再構成しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演動画をご視聴いただくことをお勧めいたします。
1. はじめに:講演の背景と問題設定
1.1 講演の背景とテーマ設定
Jiajun： 皆さん、こんにちは。スタンフォード大学のJiajunと申します。私はビジョンとロボティクスの研究をしております。今回、私の直前の発表者の後に話せることを大変嬉しく思っています。と申しますのも、直前の発表が「sim-to-realを実現するためには、real-to-simをどう行うかが重要である」という話で締めくくられており、この視点は私がこれからお話しする内容、特に微分可能シミュレーションなどのテーマと深く結びついているからです。
Jiajun： 今回のワークショップのテーマは「ロボット学習のためのインサイドデータ」だと理解しております。そこでまず問いたいのは、そのインサイドデータは一体どこから来るのか、という点です。ドメインランダマイゼーションなど様々な手法によって、実世界のデータ分布を十分にカバーするような合成データの分布をどう作るか、という課題があります。この問いに対する一つのアイデアとして、一般にシステム同定と呼ばれる手法があります。私自身は、システム同定とreal-to-simは本質的にそれほど異なるものではないと考えています。理想を言えば、対象とする物体属性の分布を得ることができれば、実データを、シミュレーションで使えるようなデータやアセットに変換することが可能になります。
Jiajun： つまり本日お話ししたいテーマは、視覚世界、あるいはマルチモーダルな観測を、物体やシーンとその物理的属性の集合としてどのように解析するか、そしてそれによってどのように汎用的なシステム同定を実現するか、ということです。このreal-to-simの手順は、ロボット学習のための合成データ生成パイプラインとしても活用できると考えています。
1.2 物理的内在属性という問題設定
Jiajun： 私たちが目にする一枚の絵や写真の背後には、必ずシミュレーションを行うために指定すべきジオメトリ、マテリアル、そしてモーションといった要素が存在しています。グラフィックスや物理シミュレーションの分野では、これらの属性を入力として与え、それをシミュレートあるいはレンダリングすることで画像を生成します。一方でビジョンの分野では、多くの場合この逆のプロセス、すなわち一枚の画像からこれらの物体属性を推定するという、いわば汎用的なシステム同定を行いたいというモチベーションがあります。理想的には、ジオメトリやマテリアルといった物体の内在属性(intrinsics)の分布を得たいわけです。
Jiajun： しかし、ここに大きな課題があります。もちろん、Foundation Modelのようなデータドリブンな手法を使いたいところですが、これを直接適用することの難しさがあります。画像や言語については非常に大量のデータが存在するため大規模なモデルを訓練できますが、物体のジオメトリに関するデータは実は非常に少なく、物体のマテリアルや物理的属性に関するデータに至ってはほとんど存在しません。したがって問題となるのは、そうしたアノテーションを持たないままで、物理的属性を備えた有用なアセットをどのように獲得するか、という点です。
Jiajun： この課題に対して、私たちは2つの異なるアイデアを探求してきました。1つ目のアイデアは、物理的な物体属性を、自己教師あり学習のための帰納バイアス(inductive bias)として用いるというものです。2つ目のアイデアは、これらの物理的な内在属性を、Foundation Modelからの蒸留(distillation)のターゲットとして用いるというものです。本日はこの2つのアイデアについて、具体的な研究事例を交えながら順にお話しさせていただきます。
2. 帰納バイアスとしての内在属性
2.1 帰納バイアスとしての発想
Jiajun： それでは1つ目のアイデアについてお話しします。物理的な物体、あるいはその属性を、自己教師あり学習のための帰納バイアスとして使えないか、というのがこの発想です。オートエンコーダーを思い浮かべていただきたいのですが、通常はエンコーダーとデコーダーがあり、純粋な潜在表現にエンコードします。しかし今回私たちが行うのは、その代わりに物理的な物体属性へとエンコードするということです。個々の表現、例えば物体のジオメトリやマテリアルについてのアノテーションは持っていませんが、グラフィックスや物理シミュレーションにおける数十年にわたる研究の蓄積から、これらの物理的な物体がどのように相互作用するはずかについての知識を私たちは既に持っています。
Jiajun： そこで、これらの属性を微分可能シミュレーション、あるいはシミュレーションを近似するニューラルネットワークを通すことで、入力の再構成を試みます。途中の潜在表現に何かを重ね合わせる必要はなく、再構成損失を用いてシミュレーションを通過させることができます。物体同士がどのように相互作用するかについて適切な帰納バイアスを持っていれば、システムが自動的にこれらの有用な属性を発見し学習できるはずだ、という期待があります。訓練時にはインターネット規模の画像や動画、あるいは言語をアノテーションなしで使用できます。そしてテスト時には、前半部分、つまりエンコーダーだけを使えば、1枚の画像から多くの物理的属性を取り出すことができます。これが1つ目のパラダイムです。私たちはこのパラダイムに基づいて研究を進めてきました。
2.2 単一画像からの物体再構成実験
Jiajun： 具体例を1つご紹介します。これは数年前に行った研究で、少し古いものではありますが、非常に少ないデータでどれだけのことができるかを示す良い例だと思っています。この例では、50輪のバラが写った1枚のブーケの写真のみを入力として使用しました。ここで私たちが立てた問いは、「何がバラをバラたらしめているのか」というものです。この写真の中には複数の個別の物体、つまり個々のバラが存在していますが、それらが見た目には多少異なっていても同じ名前を共有し、同じタイプの属性を持つと見なされるのはなぜか、ということです。一方でこの写真には電話も写っており、これはバラではありません。何がバラをバラとし、何が電話をバラでないものとしているのかを考えると、それは、同一カテゴリの複数の実現例として捉えられるという事実にあります。同じ名前を共有し、同じ物体カテゴリに属しているという事実は、そこにジオメトリ、テクスチャ、マテリアルを含む物体の内在属性についての、発見されるべき基底となる分布が存在することを示唆しています。
Jiajun： この最小限の帰納バイアスを活用することで、私たちはこれらの物体内在属性の一般的な分布を学習するシステムを構築しました。この分布からサンプリングし、微分可能シミュレーションを通すことで、ジオメトリや花びらの形状を得ることができます。微分可能シミュレーションは、照明やカメラ、物体の姿勢といった外在的要因も組み合わせて、偽物のバラを計算しレンダリングします。目標は、この偽物のバラを、写真に写っている50輪の本物のバラのいずれかにできるだけ近づけることです。当時はディスクリミネーターを用いてこれを実現しましたので、この1枚の写真だけで訓練を行うことができました。現在であればdiffusion priorやSDS(Score Distillation Sampling)といったより強力な手法を使うことも可能だと考えています。
Jiajun： このように、物体属性がどのように相互作用すべきかについての適切な帰納バイアスを用いることで、1枚の画像から、事前学習なしにネットワーク全体をゼロから訓練することができました。その結果、異なる視点からバラを見ることができるようになりました。これは3Dのジオメトリをモデル化しているためです。また異なる照明条件下での見え方も再現できましたが、これは反射特性、すなわちマテリアルをモデル化しているためです。さらに、分布を学習しているため、1枚の画像から複数の異なるバラのインスタンスを生成することも可能でした。結果自体は最良のものとは言えません。これは2年前の研究であり、現在ではより優れたシステムが存在するからです。しかし、1枚の画像だけからシミュレーションの本質を理解できる可能性を大いに示していると考えています。この研究は私の博士課程の学生が主導したものです。
Jiajun： その後、私たちはこのシステムを単一カテゴリから複数の物体カテゴリへと拡張しました。「Learning 3D Fauna of the Web」という研究では、インターネット上のデータを用いて、すべて四足動物である100種類の異なる物体カテゴリで訓練を行いました。これにより、任意の四足動物の1枚の画像から、そのジオメトリ、マテリアル、テクスチャを再構成できる1つのシステムを構築しました。さらにこの研究では、アーティキュレーション、つまり物体の変形も扱いました。これにより、これらの物体を変形させることが可能になりました。この研究は、私の博士課程の学生であるZjangと、当時ポスドクで現在はケンブリッジ大学の助教授であるElliotが主導しました。
2.3 動的物体への拡張と実世界検証
Jiajun： ここまでの研究は数年前に行ったものですが、この後、より一般的なシステムへ拡張する際にいくつかの課題に直面しました。しかし驚くべきことに、最近になって、このシンプルなパラダイムのままで、さらに進展を遂げることができました。これまでは静的な物体、あるいはアーティキュレーション(骨格)を持つ物体をモデル化してきましたが、今回は動的な物体、つまり物体がどのように変形するか、例えば電子レンジのドアがどのように開閉するかもモデル化できるようになりました。この研究は私の博士課程の学生であるChenが主導したもので、「Neural Object Kinematics」と呼んでいます。ここでの目標は、単一の静的な3D物体を、内在属性の潜在分布へと写像することです。ここでの内在属性とは、物体が変形する仕方を指します。
Jiajun： この潜在分布からサンプリングすることで、その物体がとりうる変形の仕方、つまりどのように相互作用できるか、例えば箱のふたがどう開閉するかを得ることができます。このシステムも、非常にシンプルなエンコーダー・デコーダーの枠組みで構築しています。訓練時には、静的な条件付きメッシュと、正解となる動的な変形フィールドの両方を持っています。これら2つを同時に潜在分布へとエンコードするConditional VAE(条件付き変分オートエンコーダー)を訓練します。それとは別に、静的なメッシュのみを受け取り、潜在分布へとエンコードする、もう1つの条件付きエンコーダーも用意します。
Jiajun： 訓練時には2つの損失関数を用います。1つ目は再構成損失で、これは自己教師あり信号として機能します。2つ目はKLダイバージェンス損失で、これは2つのネットワークによってエンコードされた分布をできるだけ近づけるためのものです。テスト時には静的な物体しか手元にないため、前半部分のみを用いて潜在分布にエンコードし、そこからサンプリングすることで、その物体がとりうる変形の仕方を得ることができます。この非常にシンプルな発想がどれほどのことを実現できるか、正直なところ驚きました。もちろん実装の細部を詰めるには多くのエンジニアリングが必要でしたが、複数の物体を含む部屋全体を静的にスキャンした状態から、各静的物体がどのように変形しうるかを推論・予測できる、非常に汎用性の高いシステムを構築することができました。ヘッドセット、ノートパソコン、モニター、USBメモリといった物体について、寝室のシーンで検証を行いました。また浴室のシーンでも、蛇口や洗濯機、トイレといった物体がどのように相互作用できるかを確認しました。キッチンのシーンについても、水のボトルなどを含めて検証を行いましたが、時間の都合上ここでは割愛します。
Jiajun： ここで1つ課題となるのは、こうした合成シーンにおいてはすべての物体メッシュが完璧であるという点です。もちろんそこから何かを学習することはできますが、実世界ではどうなのか、という疑問が当然生じます。そこで私たちは、ある共著者であり大学院生でもある人物とともに、実世界での拡張実験を行いました。誰もが持っているiPhoneを使い、部屋をスキャンするという方法です。iPhoneには部屋をスキャンする機能がありますが、そのスキャン品質は決して高くありません。実際にiPhoneでスキャンして得られる3Dデータには多くのアーティファクトが含まれており、部屋のおおまかな形状は分かるものの、3D形状には多くのノイズが含まれています。
Jiajun： それにもかかわらず、このシステムはこうしたノイズの多い入力に対してゼロショットで汎化することができました。訓練時にはこのようなノイズの多いデータを一切見ていないにもかかわらず、システムはこれらのノイズを含む形状を入力として受け取り、電子レンジや冷蔵庫がどのように相互作用できるかを推論することができたのです。ロボティクスへの応用という観点から、これは非常に有用だと考えられる、驚くべき水準の汎化性能でした。もう1つの例として、オフィスのシーンでも同様に、かなりノイズの多いスキャン結果を入力として与えましたが、システムはノートパソコンやモニターがどのように相互作用できるかを依然として推論することができました。次のステップとしては、物体がどのように動くかを予測できれば、後ほどお話しする模倣学習にも応用できる可能性があります。実際、私たちはこれをロボット学習向けに、より汎用化したバージョンについても取り組んでいますが、その前にまず2つ目のアイデアについてお話ししたいと思います。
3. 蒸留ターゲットとしての内在属性
3.1 蒸留パラダイムの発想と全体像
Jiajun： それでは2つ目のアイデアについてお話しします。これは今日においてはむしろより関連性が高いのではないかと感じているものです。1つ目のアイデアでは、エンコーダー・デコーダー方式を用いましたが、その場合、ループの中にシミュレーターを組み込む必要がありました。微分可能シミュレーションやGenesisといった素晴らしい進展があったにもかかわらず、この時点ではシミュレーターをループに含めることには多くの制約があると感じています。例えば、訓練ループを回す必要がある以上、シミュレーターは微分可能でありニューラルである必要がありますが、微分可能でもニューラルでもないために良いシミュレーターとして使えないものが数多く存在します。また、シミュレーターは十分に正確である必要がありますが、正確にシミュレートする方法が分からないものもあれば、非常に正確にシミュレートする方法は分かっていても計算が非常に遅く、訓練で使うには高速化しなければならないものもあります。こうした事情から、私たちがこれまで試みてきたアイデアや得てきた結果には、シーン内に単一の物体しか存在しないことを前提とする、背景がクリーンであることを要求するといった、何らかの仮定が伴うことが多く、プロジェクトごとに少しずつ異なる仮定を設ける必要があり、期待していたほど汎用的ではありませんでした。
Jiajun： 一方で、こうした大規模なFoundation Modelには目覚ましい進展が見られます。美しい画像や動画を生成できるようになりました。Vision Language Modelはシーンの意味論についてあらゆることを知っていますが、動画生成モデルがますます美しく、現実的な物体の動きを生成できるようになっているのだとすれば、これらのモデルは物体の内在属性、すなわちジオメトリやマテリアル、あるいは物理的属性についても何かを学習しているはずだと考えられます。そこで、これらの生成モデルから物理的属性をどれだけ引き出せるか、という問いが生まれます。これが2つ目のアイデアであり、物理的内在属性を、Foundation Modelからの蒸留ターゲットとして用いるというものです。
Jiajun： ここではいくつかのプロジェクトとその結果を紹介しますが、まずこのパラダイムの全体像について高いレベルで説明します。動画モデルから蒸留を行いたいという場合、入力の与え方はプロダクトによって多少異なりますが、ここでは例として、入力が「テキストによる条件付けを伴う静的な3Dシーン」であるとします。テキストの例としては「子供がシーソーに飛び乗り、レンガが飛んでいく」というものです。3Dシーンは静的な3Dシーンであり、これに言語による条件付けのガイダンスを与えます。目標は、動画モデルが物体の動きについて非常に良い動画を生成できるのであれば、そこから実際に物理的な表現を取り出せるかどうかということです。具体的には3D表現、つまり物体の状態系列を取り出し、その動きを見ることです。出力は、その動きに忠実に従うアニメーション化されたシーンとなります。
Jiajun： 具体的な手順としては、まず静的な形状、すなわちいくつかの物体をあらかじめ持っている状態から始めます。このメッシュを3Dガウシアンに変換します。3Dガウシアンは一種の暗黙的表現として使われますが、これに時間的な成分を加えることで4D表現へと拡張します。この4D表現は複数の視点から動画としてレンダリングすることができ、あちこちの視点から複数の動画を得ることができます。そして、これらの動画をそれぞれ動画生成モデルに入力します。Score Distillation Sampling(SDS)に馴染みのある方であれば、画像拡散モデルを使って勾配を得て、その勾配で背後にある3D表現、通常は3Dガウシアンを更新するという手法をご存じかと思いますが、同様のことを動画モデルに対しても行うことができます。動画モデルに入力することで、動画モデルから「良い動画とはどういうものか」についての勾配を得ることができ、そのSDSの一般化版のような手法を用いて4Dへと反映させ、背後にある4D表現を精緻化・更新することができます。ここでは非常に高いレベルでの説明にとどめていますが、詰めるべき細部は数多くあります。加えて、4D構造は常に複雑なものになりがちなので、空間的および時間的な正則化項を追加する必要がありますし、表現自体にも複雑な設計が必要で、実際には空間的・時間的な階層構造を持たせています。そうしないと次元数が非常に高くなり、うまく解けなくなってしまうためです。私としては、こうした細部、つまり現時点で用いている4D表現の階層的な空間的・時間的構造や正則化項といった具体的な設計は、いずれ不要になっていくことを望んでいます。しかし、この高いレベルでのパラダイム自体は今後も続いていくはずだと考えています。すなわち、4D表現を持ち、それを動画へとレンダリングし、事前学習済みの動画拡散モデルから、その4D表現をどう改善すべきかという信号を得る、という考え方です。異なる種類の正則化やデータ構造の設計を通じて、レンダリングされた動画がより現実的に見えるようにしていく、というのがこのパラダイムの核心です。
3.2 物体のライフスパンと相互作用の蒸留
Jiajun： 私たちはこのパラダイムを用いて、いくつかの応用に取り組み、様々な要素の蒸留を試みてきました。1つは物体の動きですが、それ以前に、物体の内在属性とは何かを考えたとき、非常に重要な要素があります。それはジオメトリ、マテリアル、テクスチャに加えて、物体がどのように変形しうるかということです。そして、生きた物体を考えたときに非常に重要な内在属性の1つが、その物体の「ライフスパン(lifespan)」です。私の博士課程の学生であるChenが主導したこの研究では、バラの4D表現、すなわちそのジオメトリ、テクスチャ、そして反射特性を蒸留しようと試みましたが、同時にそのライフスパンも蒸留しました。異なる照明条件や異なる視点から見ることができるだけでなく、バラが成長し、やがて萎れていく過程も見ることができます。同様に、パンについても、異なる視点や照明条件から見えるだけでなく、その焼成過程を見ることができます。これは単一物体のライフスパンについての例です。
Jiajun： 次に、物体がどのように相互作用しうるかを蒸留する研究についてです。静的なシーンがあり、そこに言語によるガイダンスを与えます。例えば「食べ物を電子レンジに入れる、あるいは取り出す」というものです。この静的なシーンから、動画モデルを通じて、複数の物体の状態系列、そしてそれらがどのように相互作用するかを蒸留できることが分かります。そして最終的にはロボティクスへの応用を目指しています。ロボットアームとレンガのメッシュを含む静的なシーンがあり、テキストは「ロボットアームがレンガを拾い上げる」というものです。この静的なシーンとメッシュから出発して、ロボットがレンガを拾い上げようとする様子を得ることができました。ただし、ここには力学(dynamics)は一切含まれていません。すべて運動学的(kinematic)なものであり、力や動作速度のモデルは存在せず、単に両方の物体についての時系列の状態を持っているだけです。もう1つの例として、バスケットボールがリングに当たって跳ね返る様子も静的なシーンから生成しました。また、猫を含む例もあります。このシステムは非常に汎用的で、様々な変形の仕方をする物体を扱うことができます。猫がクッションの上に飛び乗る様子と、猫とクッションの相互作用を見ることができます。
Jiajun： このように、物体や人間がどのように相互作用しうるかを本当に推論できるのであれば、ある意味で、事前の教師信号を無償で得られることになります。実世界のものをシミュレーションに変換し、この一片の布とどのように相互作用しうるかを推論することができます。ある意味でシミュレーションと呼べるかもしれませんが、この4D表現の中で、人間の手が布とどのように相互作用しているかを見ることができます。そして、この密な物体表現を4Dで得ることは、ある意味で無償で、非常に優れた模倣学習のターゲットとして機能します。これにより、蒸留・推論された表現と同じように動くロボットシステムを訓練することができます。例えば、ノートパソコンを閉じる様子から、そのやり方を推論することができます。この研究は、スタンフォードに入学予定の博士課程学生であるAngelによって行われました。Chenは私の博士課程の学生で、Carthicはスタンフォードの修士課程の学生でしたが、現在はUC Berkeleyの博士課程に進学予定です。
3.3 ロボットタスクと模倣学習への応用
Jiajun： ここまでの研究では、複数の物体について時間軸に沿った状態系列(状態1、状態2、というように)へと蒸留してきましたが、そこには行動(action)が含まれていませんでした。もしアクション条件付きの予測を行いたいのであれば、事前学習済みの動画拡散モデルから、物体のジオメトリや変形の仕方だけでなく、その物理的属性も学習できるでしょうか。これができれば、静的なシーンを、インタラクティブなものに変換できます。つまり、インタラクティブな3Dシーンを持つことになり、あちこちを突いてみるといったことができるようになります。ここでの課題は、剛性やヤング率(Young's modulus)といった、より狭い定義での物理的属性を、どれだけ正確に得られるかという点です。というのも、こうした物理的な物体属性についての推定が十分に良いものでなければ、あまり現実的に見えない結果になってしまうからです。そこで私たちは、Genesisのような微分可能シミュレーションの研究の力を借りつつ、これらを異なる生成モデルと組み合わせることで、どれだけ物理的属性を推定できるかを試みました。これにより、静的な3Dシーンを、インタラクティブに推論できるものへと変換することを目指しています。
Jiajun： 時間の制約上、これらの研究について詳細にお話しする時間はありませんが、後ほど個別にお話しできれば幸いです。これも、ジオメトリ、テクスチャ、相互作用の系列、物理的属性、ライフスパンといった物理的な物体属性を蒸留するという、より大きなパラダイムに属するものだと考えています。私たちはこれを流体についても試みており、静的な3Dシーンを、物理的属性を保持したまま、煙を含む3Dへと変換する研究も行いました。ここでの物理的属性はヤング率ではなく速度です。これを異なる視点から見て、物体がどのように相互作用しうるかを見ることができます。例えば、ある方向から煙が出ている場合、風がその煙を右方向へ押し流すといったことも確認できます。
4. ハイブリッド生成的シミュレーターとまとめ
4.1 蒸留だけでは不十分という問題意識
Jiajun： それでは最後のテーマについてお話しし、講演を締めくくりたいと思います。ここまで2つのパラダイム、すなわち内在属性をどのように帰納バイアスとして活用するか、そして内在属性をどのようにFoundation Modelからの蒸留ターゲットとして活用するか、についてお話ししてきました。ただ、正直に申し上げると、蒸留だけを行うことには、時として物足りなさを感じています。というのも、これらの内在属性をFoundation Modelから取り出す目的は、最終的にはそれらを制御信号(control signal)として使いたいというところにあるからです。これらのFoundation Modelは非常に強力で、美しい動画を生成できますが、その制御可能性は非常に限られています。もしこれらのFoundation Modelから有用な物理的属性やアクションを取り出せるのであれば、ロボット学習向けの合成データを、より柔軟に再生成できるようになるはずです。
Jiajun： そこでこの最後のパラダイムでは、すべてを本当に統合するにはどうすればよいかを考えています。私たちは煙についても、柔らかい物体(soft body)についても研究してきましたが、これらすべてを1つにまとめたいと考えています。同時に、非常に柔軟な条件付け、つまりアクション条件付けや言語条件付けによる生成、言い換えれば実画像やあらゆる写真を、インタラクティブでシミュレート可能かつアクション条件付きの3Dシーンへと変換するreal-to-simを実現したいと考えています。これがこの最後のパートで目指しているゴールであり、いわばすべてを統合しようとする試みです。
Jiajun： 蒸留のみを使う場合、私たちがこれまで議論してきたいくつかの理由から、十分ではないと感じています。1つには、精度が十分でない可能性があること、そして速度が十分でない可能性があることが挙げられます。さらに、たとえ非常によくシミュレートできることが分かっているものであっても、完全な状態推定を前提とすることは実質的に不可能です。限られた観測から、ジオメトリだけでなく、対象とするすべての物理的属性について完全な推定を得ることは非常に困難だからです。しかし良い点として、物理シミュレーターは根本的に因果的(causal)であるため、非常に柔軟な制御が可能です。ここに力を加えたらどうなるか、カメラをここやあそこに動かしたらどうなるか、といったことを言えます。同時に、これらの事前学習済みのFoundation Modelや動画モデルは、ある意味で非常に補完的な存在です。というのも、非常に汎用的であり、シミュレートできるかどうかに関わらずどんな素材にも対応できますし、限られた観測しかなくても、何かしらの結果を与えてくれるという強い視覚的事前分布(visual prior)を持っているからです。ただし課題は、これらのモデルが本当の意味でアクションを入力として受け取ることが難しいという点にあります。特に、器用な手(dexterous hand)のような非常に詳細なアクションをどう指定すればよいのか、動画モデルにとってそれは非常に難しい問題です。言語によるアクションや、前進・後退といったナビゲーション的なコマンドは受け取れますが、それ以上の詳細な指定は困難です。
4.2 ハイブリッド生成的シミュレーターの仕組み
Jiajun： そこで、私たちが探求してきた最後のアイデアが「ハイブリッド生成的シミュレーター(hybrid generative simulator)」と呼んでいるものです。ビジョンと物理的表現を統合しようという発想で、先ほどのパラダイムに戻りますと、これらの物理的な物体属性をFoundation Modelから蒸留しようとしています。しかしそれで終わりではなく、蒸留したこれらの物理的属性を、今度は条件信号として使うことで、Foundation Modelをより良く制御・条件付けし、取りたいアクションを具体的に指定できるようにして、ロボット学習を含む様々な応用に使えるほど制御可能にしたいと考えています。
Jiajun： 私たちが探求した1つの枠組みでは、この発想を、1枚の画像を3Dへ再構成するという形で試験的に実装しました。この再構成は完璧ではなく、多くのアーティファクトが見られます。しかし、この不完全な3Dであっても、私たちが「ハイブリッド生成的シミュレーター」と呼ぶものを通すことができます。これは物理シミュレーターと動画生成器を組み合わせたものです。3Dシーンを物理シミュレーターに通すと、状態推定が完璧ではなく物理シミュレーション自体も完璧ではないため、粗いシミュレーション結果が得られます。これは、煙が立ち上るといった直感的な物理推論に相当するものですが、物理的なリアリズムは十分に高くなく、視覚的なアーティファクトも多く見られます。
Jiajun： しかし、この粗く不完全な物理シミュレーションは、先ほど申し上げた通り、より汎用的で高い視覚品質を持つはずの動画生成モデルに対する条件として利用できます。シミュレーション結果を、深度(depth)やオプティカルフローといった形で条件として動画生成手法に与えることで、物事がどのように相互作用するかについて、はるかに現実的に見える複数の動画を生成することができます。ただしこれは動画にすぎず、ジオメトリや速度など私たちが必要とする情報は何も与えてくれません。そこで最終的に、背後にある物理的表現を再最適化し、先ほど述べたScore Distillation Samplingのような技術を用いて、生成された複数視点の動画に一致させます。これにより、4Dの精緻化された背後の物理的表現が得られます。この表現はカメラを動かして異なる視点から見ることができ、物理的な整合性を保っており、下から煙が出てきたらどうなるか、といったアクションを条件として受け取ることができます。同時に、動画生成モデルによって生成された高品質な動画に一致するようになっているため、視覚的にもはるかにリアルなものになっています。
Jiajun： つまり、このようなハイブリッドな表現とハイブリッドなシミュレーターを持つことで、ある意味で両方の世界の良いところを得ることができるのです。このシステムは非常に汎用的であるはずで、剛体が水と相互作用する、煙が剛体と相互作用する、柔らかい物体、砂や粒状の物体といった、様々な種類のアクションを扱うことができます。同じシーンから3Dへ変換し、異なる種類のアクションを適用したらどうなるかを問うことができます。この研究は私の博士課程の学生であるJangとCovenが主導しました。そして最近では、このアイデアをさらに改良し、高速化を図っています。というのも、以前はこの物理シミュレーションの部分における最適化がかなり遅かったからです。
4.3 高速化の取り組みと総括
Jiajun： そこで私たちが考えたのは、物理的属性を取り出し、それを物理シミュレーションへ送り込み、動画生成手法への柔軟な条件として使えるようにできれば、というものでした。そして、self-forcingのような動画拡散における最新の進展と組み合わせることで、動画生成を大幅に高速化できることが分かりました。現在では、画像を入力として3Dに変換し、アクション条件を生成してそれを動画生成の条件として使うことで、ほぼリアルタイム、具体的には毎秒13フレーム程度で、アクション条件付きの動画生成を行うことができます。実際の例をお見せしますと、1枚の画像から、3次元的に異なる方向へ取りたいアクションを指定すると、システムはバックエンドで粗い3Dシミュレーションを行い、それを動画生成のための条件として使うことで、それに応じた動画を生成することができます。さらに、ロボットのアクションを条件として使うこともできます。ロボットからのアクションを条件として、柔軟なアクション条件付けを行った場合にシーンがどうなるかを推論し、アクション条件付きの動画・視点生成を行うことも可能です。
Jiajun： 時間となりましたので、まとめに入りたいと思います。私たちが取り組んでいるのは、視覚的、あるいは場合によってはマルチモーダルな観測を、何らかの背後にある表現へと変換することで、非常に強力な事前学習済みFoundation Modelと、物理学に関する事前知識の両方を活用できるようにする、ということです。ここで根本的な問いとなるのは、Foundation Modelとシミュレーションを本当につなぐインターフェースとは何か、ということです。私たちがこれまで探求してきたのは、これらの物理的な物体属性を通じて、Foundation Modelが物理世界とどのように相互作用できるかという様々な方法だと考えています。これらの属性の良い点は、対象とするあらゆる物体、そしてあらゆるシーンに適用できるという意味で、非常に普遍的であるということです。シーンは物体から構成されており、物体は常にジオメトリと物理的属性を持っているからです。
Jiajun： しかしそれ以上に重要なのは、これらが因果的(causal)であるという点です。これらの物理シミュレーターの根底にある前提は、本質的に因果的だということです。つまり、異なる種類のアクションを適用し、何が起こるかを推論することができますし、その物体が異なる物理的属性を持っていたらどうなるか、あるいは別の物体が異なるパルス(力積)を受けたらどうなるか、といった反実仮想的な推論を行うことができます。物理的な物体表現を中間表現、あるいは蒸留のターゲットとして使うことで、こうした推論をいわば無償で行うことができるようになり、実世界のデータで訓練されたモデルを活用しつつ、物理シミュレーションデータや合成生成データも組み合わせることができます。real-to-simを行ってこれらのアセットを得れば、様々な姿勢や照明条件のもとで多数の物体を配置することができ、それが固定されているために解釈可能性を無償で得られますし、動画モデルの条件付けの仕方とデータ生成の両面において、より高い制御可能性を得ることができ、多くの応用を可能にすると考えています。ご清聴ありがとうございました。
質疑応答
司会： ありがとうございました。質問はありますでしょうか。
Jiajun： すみません、質疑応答にあまり時間を割けません。実は1時間後に空港に向かわなければならないのです。良い質問ですね。それはsim-to-realのタスクについてでしょうか。
質問者： はい、real-to-simとsim-to-realのギャップについてです。
Jiajun： これはすべて、シミュレーターがどれだけ良いものであるかという前提に基づいていると思います。もしシミュレーターが非常に優れていれば、sim-to-realのギャップは存在しません。もしシミュレーターがあまり優れていなければ、ランダマイゼーションのような手法を使うことができますし、私たちがこれまで探求してきたreal-to-simの手法の多くを活用することもできます。
質問者： 最大の課題は何だとお考えですか。
Jiajun： 分かりません。ただ、こう言い換えることはできると思います。real-to-sim的な手法は、すべて決して完璧にはならないだろうと思います。というのも、私たちは世界を近似しようとしているわけですが、その近似自体も、世界のより大きな一部を、世界の一部分を用いて近似しようとしているに過ぎないからです。したがって、これは最終的には決して完璧にはならないでしょう。同時に、そもそもなぜ蒸留する必要があるのか、という根本的な問いを立てる人々も多くいます。これがどのようなワークショップとして位置づけられるべきか、私には分かりませんが、私たちが常に何らかの実データを必要としていることは明らかだと思います。そして、合成データを一切使わずすべて実データで行うべきだと主張する人々もいます。私が思うに、現時点で人々が探求している最大の課題は、データのどのような組み合わせが適切かということです。つまり、どれだけのシミュレーションデータとどれだけの実世界データを組み合わせるべきか、そして実世界データにも一人称視点データやテレオペレーションデータなど様々な形態がありますが、これらのデータをどのような組み合わせで、どのような能力を持たせて統合すれば、必要とする水準を達成できるのか、ということです。ありがとうございました。