※本記事は、Yunzhu Li氏（Columbia University）による講演「Structured World Models as Scalable Data Engines for Policy Training and Evaluation」の内容を基に作成されています。動画の詳細は https://www.youtube.com/watch?v=-mRObpf5A-I でご覧いただけます。本記事では、講演内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
Yunzhu Li氏はColumbia University所属の研究者であり、ロボットマニピュレーションのための学習ベース動力学モデルやグラフベース神経動力学モデル、構造化ワールドモデルに関する研究で知られています。本講演では、環境の構造化ワールドモデルをロボットポリシーの訓練および評価のためのスケーラブルなデータエンジンとして活用する研究について紹介しています。
1. はじめに:ロボット操作の課題と環境モデルの必要性
1.1 ロボティクスの進展と操作タスクの限界
Li： この度は身に余るご紹介をいただき、誠にありがとうございます。本日は私たちの研究室で取り組んでおります、環境の構造化ワールドモデルの構築という方向性についてお話しさせていただきたいと思います。この構造化ワールドモデルを、ロボットの学習という観点だけでなく、評価という観点でもどのように活用できるかを、特にロボットマニピュレーションの領域を中心にご紹介いたします。
Li： 近年、ロボティクスの分野では目覚ましい進展が見られます。例えばヒューマノイドロボットが街中を歩き回るようになったり、自動運転車の展開範囲がますます広がったりしています。しかし、複雑な物理的相互作用を伴うタスクについてはどうでしょうか。人間レベルのマニピュレーション能力の実現までに、私たちはどれほど近づいているのでしょうか。学術界では興味深いデモを数多く目にしますが、産業界で実際に広く展開されているものは、依然として比較的単純な形状の物体を対象とした、比較的単純なピックアンドプレースのタスクにとどまっています。
Li： 私たちがロボットに求めているのは、それをはるかに超えるものです。構造化された環境だけでなく、半構造化あるいは非構造化の環境でロボットに働いてもらいたいと考えています。また、剛体だけでなく変形物体も扱えるようになってほしいですし、より大規模で長い時間軸を持つタスクをこなせるようになってほしいと考えています。こうした要求は、現在のロボットシステムが持つ汎化能力と適応能力を超えるレベルのものです。
Li： 言語領域や画像領域では多くの成功事例が見られていますので、当然ながら、その成功をロボティクスの分野にも取り込めないかという議論が起きています。ロボティクスにおける基盤モデルの活用については、大きく分けて二つの考え方があります。一つは、基盤モデルとロボットの間に構造化された中間インターフェースを設けて両者を橋渡しするアプローチです。この方向では、ロボットが自然言語による指示を理解したり、オープンセットの物体を扱ったりできるようにする、真摯な取り組みが進められています。もう一つは、モジュール化されたアプローチではなく、もっとエンドツーエンドに物事を進めようという考え方です。これにはさらに二つの方向性があり、視覚言語モデルからの事前学習を利用する方法と、ワールドモデルや動画モデルからの事前学習を利用する方法とがあります。
Li： ただ、これらのエンドツーエンドの手法にはまだ多くの課題が残されています。まず操縦性の問題です。モデルは実際にロボットに命じた通りに動いてくれるのでしょうか。あるタスクから別のタスクへとロボットを切り替えることは、単に言語指示を変えるだけで済むほど簡単なことなのでしょうか。次に物理的接地の問題があります。視覚言語モデルは低レベルの物理的相互作用を本当の意味では理解していません。動画予測についても同様で、予測された動画を下流の低レベルな物理的相互作用にどう接地させるかは、いまだ未解決の問題です。さらにデバッグ可能性とスケーラビリティの問題も残っています。こうした基盤モデルの概念とロボットマニピュレーションを組み合わせる取り組みは着実に前進していますが、まだ多くの研究課題が答えを得ていません。
1.2 環境モデルというピース
Li： その中で私が主張したい重要な欠けているピースの一つが、この環境のモデルなのです。このモデルは物理ベースのモデルであっても、学習ベースのモデルであっても、あるいは何らかの近似的なモデルであっても構いません。このモデルこそが、現在の多くのロボットアプリケーションを可能にしてきた鍵だと私は考えています。飛行機を見ても、ロケットを見ても、ドローンを見ても、歩き回るロボットや最近進歩している脚式移動ロボットを見ても同じことが言えます。これらのロボットが実世界の物理環境の中で機能している理由は、すべて私たちがモデルを持っているからです。モデルは完璧である必要はありません。しかし、ロボットが実世界の物理環境の中で興味深いことを成し遂げられるようにしているのは、常にこのモデルなのです。
Li： 私たち人間もまた、環境についてのこのようなメンタルモデルを持っています。あるアクションを加えたときに環境がどのように変化するかを予測できます。例えば生地がどのように形を変えるか、玉ねぎの切れ端がどのように動くかを予測できます。そして、まさにこの順方向予測能力こそが、特定の目標を達成するための行動計画を可能にしているのです。つまりこれは本質的に順方向予測モデルなのです。
Li： こうしたモデルをどう構築するかを考えるとき、一つのスペクトラムに沿って捉えることができます。左端に位置するのが純粋な学習ベースのアプローチで、Genie3がこの方向性の非常に良い例です。これは行動条件付きの動画予測を学習するものです。右端に位置するのが物理のみに依拠するアプローチで、NVIDIAのNewtonやWarpがこの方向の優れた例です。両極端にはそれぞれ長所と短所があります。皆さんもすでにその長所と短所について多くのことを耳にされていることと思います。
Li： 私自身が問い続けている研究課題は、その中間に何かがあるのではないかということです。両者の良いところを取り入れて、ロボットが環境をモデル化できるようにする方法があるのではないか。この問いこそが、これから紹介する一連の研究の出発点となっています。
2. グラフベース神経動力学モデルの研究蓄積
2.1 グラフ表現による多様な物体操作
Li： ここ数年、私たちが取り組んできた方向性の一つが、グラフを環境の表現として用い、グラフベースの神経動力学モデルを学習させるというものです。この手法は、剛体、変形物体、複数物体の相互作用、ロープ、布、さらには弾塑性を持つ物体まで、非常に幅広いマニピュレーションタスクに適用できることを示してきました。基本的な考え方としては、対象となる物体を多数の粒子に分解し、その粒子間の関係をグラフによって記述します。これにより、剛体同士の相互作用だけでなく、物体内部での相互作用、そして異なる物体間での相互作用の両方を捉えることができます。
Li： 特に難易度の高い課題として取り組んできたのが、生地の動力学をモデル化し、ロボットに生地を操作させて餃子を作らせるという研究です。これは数年前にCoRLでベストシステム論文賞をいただいた研究でもあります。私たちは15種類の異なる3Dプリント製の道具を用意し、ロボットが外部からのさまざまな擾乱に対してロバストに振る舞えるようにしました。具体的には、道具ごとに約15分間、ロボットに生地と自由に触れ合わせ、ランダムに相互作用させるというやり方でデータを集めています。こうして学習させた神経動力学モデルは、特定の道具を使って特定のアクションを加えたときに、生地の形状がどのように変化するかを予測できるようになります。この順方向予測能力があるからこそ、ロボットは自らの行動を逆算的に計画でき、最終的には生地から餃子を作り上げることができるのです。
Li： また、まったく同じアプローチが粒状物体、いわゆる粉粒体のモデル化にも応用できることを示しています。押すという動作を加えたときに、粒状の破片がどのように再配置されるかを予測できるのです。この順方向予測モデルにより、粒状の破片を目標とする形状へと再配置するための行動計画を立てることができます。皆さんはすでにお気づきかもしれませんが、私たちが設定した目標の形状というのは、AからZまでのアルファベットの文字の形です。これは決して些細なタスクではありません。粒状の破片を非自明な形で再配置する必要があるうえに、目標形状との細かい位置合わせも求められるため、文字の形を正確に描き出すには高い精度が要求されます。
Li： さらに同じアプローチは、複数物体の相互作用にも応用できます。物体同士がどのように相互作用し、収納タスクの中でどのように動かされていくかを予測することができ、このグラフベースの順方向予測モデルによってロボットの行動を計画できることを示しました。
2.2 10年間の研究の総括
Li： そして2025年末には、Science Roboticsに掲載されたレビュー論文において、ロボットマニピュレーションのための学習ベースの動力学モデルに関する10年以上の研究を総括いたしました。この論文では私が最終著者かつ責任著者を務めており、個人的にも思い入れの強い論文となっています。というのも、この論文全体の構成が、私自身の博士論文の構成をそのまま土台としているからです。この論文は、私たちがこの数年間かけて積み重ねてきた、ロボットマニピュレーションのための学習ベース動力学モデルを構築する上での機微や考慮事項についての、深い思考と省察の結晶と言えるものです。もしこの方向性にご興味があれば、ぜひ一読をお勧めします。
Li： では次にどこへ向かうべきか。動力学モデルを構築してきたわけですが、それをさらに一歩進めて、より複雑なタスクやより複雑な物体を扱い、より不均質な相互作用にも対応できるようにするにはどうすればよいか。そして最も重要な点として、テーブルトップ環境に自らを制約するのではなく、より実世界に近い、いわゆる「in the wild」のデータ収集の取り組みへとスケールアップしていく必要があります。多くの人々が、こうした相互作用データの収集に膨大な資本と労力を投じていますが、そのデータを大規模な模倣学習だけに使うのは、あまりにもったいないことです。行動条件付きのロボット相互作用データの中には、非常に豊かな知識が埋め込まれており、その周りに動力学モデルを構築することによって、私たちはその知識を捉えることができるはずです。これはまさに、ロボットポリシーの学習と評価の両方のためのスケーラブルなデータエンジンへ向かう方向性なのです。
3. PhysTwin:デジタルツインによる評価エンジンの構築
3.1 デジタルツインの構築手法
Li： 先ほどのスペクトラムに立ち返って、スケールアップを可能にするレシピとは何かを改めて考えてみますと、私たちがやや物理ベース寄りの方向で取り組んできた研究の一つに、PhysTwinと呼ばれる研究があります。ここで私たちが行っているのは、変形物体のためのデジタルツインを構築することです。デジタルツインとは何を意味するかと申しますと、これは変形物体の見た目、幾何形状、そして動力学を捉えた物理的実体のことです。
Li： 左側にお見せしているのが、私たちのシステムへの入力となる動画です。中央には、時間経過とともに追跡された物体の再構築されたメッシュと、人間の手による入力アクションの動きを記述する残余球体を示しています。右側には前景と背景をお見せしており、背景は元の動画そのもので、前景は開ループの行動条件付き3D動画予測です。私たちは入力動画とまったく同じ視点から動画をレンダリングし、入力動画に重ね合わせています。両者がどれほどよく一致しているかをご覧いただけるかと思います。
Li： そしてデジタルツインを構築した後は、当然ながらキーボードとマウスを使って自由にそれと戯れることができます。このフレームワークは布やロープ、その他の変形物体にも同様に適用できます。
3.2 Googleとの協業と評価プロトコルの厳密化
Li： この研究を発表した後、Googleの友人たちから連絡がありました。彼らは、このモデルを評価目的に使えないかと尋ねてきたのです。彼らの言い分はこうでした。もしGoogleのことを想像していただければ、彼らはディープニューラルネットワークを訓練していて、何百、いや何千ものチェックポイントを評価していると想像されるかもしれません。しかし実際には、彼らが評価できるのはほんの一握りのチェックポイントに過ぎず、しかも結果が返ってくるまでに1日から2日は待たなければなりません。これは大きなボトルネックであり、ロボットモデルの開発と大規模言語モデルの開発との間にある大きな違いの一つでもあります。当時彼らが私に語った言葉をそのまま借りれば、「私たちには十分な予算があるので、それでもなんとか前に進むことはできる」というものでした。これはテーブルトップ環境における彼らのGemini Roboticsについての話でしたが、より長い時間軸のタスクやより大規模なタスクに移行すると、その進展は急速に先細りしてしまうというのです。
Li： そこで私たちは、このデジタルツインの構築プロセス全体を効率化しました。私たちはただ歩き回るだけで、ロボットと背景、そして対象物の見た目と幾何形状を捉えることができます。同様に色味の調整や、先ほどお見せしたような相互作用を行うことで、対象物の動力学も捉えることができます。そしてこうして得られた結果がこちらです。一段目がデジタル環境、二段目が実環境です。ここでご覧いただいているのは、実データのみで訓練された、まったく同一のポリシーです。何の追加作業もなしに、そのポリシーはこの変形物体操作タスクにおいて、実環境での挙動と最も良い相関を示すような形でデジタル世界の中で振る舞うことができます。
Li： そこで私たちはこのエンジンを用いてポリシーの評価を行いました。ここではAction Chunking Transformer、Diffusion Policy、π0、Small VLAといった複数の異なるポリシーを、さまざまなチェックポイントにわたって評価しています。横軸が実環境での成功率、縦軸がデジタル世界での成功率です。複数のタスクにわたって、私たちのデジタル環境が実環境とのシミュレーションとの間で非常に良い相関を達成していることがご覧いただけるかと思います。ここで強調しておきたいのは、評価について語る人は誰であれ、評価に用いるプロトコルについてもう少し真摯に、そして厳密であるべきだという点です。私たちはToyota Research Instituteの、特に優れたベストプラクティスを取り入れました。異なるチェックポイント間、異なるポリシー間で公正な比較を行うためには、訓練と評価に用いている分布を本当の意味で理解している必要があります。私はいつも学生たちに、訓練と評価それぞれの初期配置を重ね合わせて見せてほしいと頼んでいます。もしその重ね合わせを見せてもらえなければ、その結果は信用しないと、はっきり伝えています。これは、私たちがどのような分布のもとで評価を行っているのかを較正し、理解するために非常に重要な手法だと私たちは考えています。
Li： 初期配置のわずかな違いが、評価の仕方によっては、まったく異なる意味を持ってしまうことがあります。これはロボット研究者であれば誰もが知っていることです。ですから、チェックポイント間、ポリシー間、そして何より実環境とデジタル世界の間で、初期配置が一貫していることを確認する必要があります。初期配置を設定する際には、必ず左側にお見せしているような重ね合わせを使用します。学生には、その重ね合わせに一致するように対象物を配置してもらい、異なる評価の試行間で初期配置が一貫するようにしています。これは非常に重要な手法であり、こうした評価エンジンが、例えば一つのポリシー内の異なるチェックポイントのスクリーニングにどのように役立つかを検証しようとしています。
Li： ここでお見せしているのは、タスクとポリシーの異なる組み合わせで、横軸が訓練の反復回数、縦軸が成功率です。シミュレーションでの成功率と実世界での成功率が非常によく一致していることがご覧いただけるかと思います。これが示唆しているのは、最も性能の良いチェックポイントが必ずしも訓練の両端、つまり訓練の最初や最後に位置するとは限らず、時には中間に位置することがあるという点です。
4. 物理ベース方向への展開:高難度タスクへの応用
4.1 複雑な操作タスクでの実証
Li： 最近私自身も、あるスタートアップを共同創業し、現在はまだいわゆるステルスモードに近い状態ではありますが、この方向性、すなわちデジタル環境をどこまで実世界に近づけられるかという方向性を、さらに強く推し進めようとしています。左側にお見せしているのが実環境、右側にお見せしているのがデジタル環境です。これは非常に複雑なマニピュレーションタスクで、弾塑性を持つ関節物体を操作し、最終的にはこの物体を非常に狭い穴の中に挿入するというタスクです。ここでご覧いただいているのは、シミュレーションデータのみで訓練されたポリシーですが、それでも左側の実環境と右側のデジタル環境との間で、非常に良い相関を示す形で振る舞うことができています。そして私たちは、このデジタル環境を使って継続的にデータを生成し続けることができ、こうして生成されたデータによって、実環境の中で休むことなく、しかも非常に高い信頼性で動作し続けるポリシーを訓練することができるのです。
Li： これはまさに、物理モデリングをループの中に組み込んだ構造化ワールドモデルが、物理的相互作用の機微や複雑さを捉え、実環境で機能する非常に頑健なポリシーを訓練できることを示す好例です。他にもいくつかの例をご紹介したいと思いますが、その一つがケーブルの操作です。左側が実環境、右側が私たちのデジタル世界です。見た目が非常に美しく一致しているだけでなく、こうしたマニピュレーションのプロセスの中で、ケーブルの不均質性も捉えられていることがご覧いただけるかと思います。そして私たちは、このようなデジタル環境を使うことで、プラグの抜き差しという作業を、実環境の中で非常に長時間にわたって頑健に、休むことなく行い続けられるポリシーを訓練できることも示してきました。
Li： 実はこの分野については、近いうちにさらに多くの内容を皆さんにご紹介できる予定です。今回ご紹介したデモに関連して、私たちはAnalog Devicesと共同で、展示ホールの72番ブースにてライブデモを実施しております。ご興味のある方はぜひお立ち寄りいただければと思います。以上が、私たちが物理ベースの方向へとやや寄せて進めてきた取り組みについてのご紹介です。
5. 学習ベース方向への展開:インタラクティブ・ワールドシミュレータ
5.1 行動条件付き動画予測モデル
Li： 一方で私たちは、より学習ベースに寄った方向性についても検討を進めてきました。特に学習という手法は、データを吸収すればするほど性能が向上していくという点で非常に優れていることが分かっています。そこで私たちが開発したのが、インタラクティブ・ワールドシミュレータと呼ぶ研究です。これは本質的に、物理的相互作用という文脈の中で行動条件付きの動画予測を行う取り組みです。私にとってもこれは、非自明で長い時間軸を持つ相互作用について、剛体と変形物体の両方が絡むような相互作用を含む動画予測が実際に可能であることを示した、初めての説得力ある成果だと感じています。
Li： 今画面にお見せしているものは、純粋にAIが生成した動画です。これはまさに行動条件付きの動画予測そのものであり、この相互作用には実際のロボットは一切関与していません。これは純粋な動画予測であり、左側にお見せしています。私たちは15ヘルツで10分以上にわたって安定した行動条件付き動画予測を行うことができ、剛体と変形物体の間のさまざまな種類の相互作用を含めることができます。しかもリアルタイムで動かすこともできます。ご覧の通り、私の学生がAlohaのセットアップで記録しながらライブでインタラクションを行っています。
Li： この手法は、非把持的なマニピュレーションであるT字押しのタスクや、把持を伴うマグカップの操作、さらには複数物体の相互作用など、他の多くのタスクにも応用できます。まずいくつか重要な点を強調させてください。この動画予測モデルは、クリップとロープの間の拘束関係を捉えています。またこのロープがクリップの上にあるのか、それともクリップの内側にあるのかを理解するという意味で、3次元的な理解も備えています。グリッパーとマグカップの間の、非常に機微に富んだ相互作用も捉えられていることがご覧いただけるかと思います。例えばグリッパーを開いたり閉じたりする、マグカップを押す、あるいは取っ手を押してマグカップを回転させる、といった動作にも正しく追従します。しかもアクションに対して非常に精緻でリアルタイムな追従性を持っており、こうしたグリッパーと対象物との相互作用のモデル化を捉えることができています。
Li： さらに3次元空間の中でマグカップを持ち上げ、皿の上に置くといった動作も可能です。こちらも動画予測ではありますが、複数のカメラ視点にわたってお見せしており、視点間でも一貫性が保たれています。この研究は実際に公開しており、RSSに採択された研究でもあります。私たちのウェブサイトにアクセスしていただければ、実際に操作して遊べるインタラクティブなデモを見つけていただけます。左右にキーボード操作の入力があり、接続に少し時間がかかりますが、接続が完了すると、私がキーボードを押すことでインタラクションを行い、グリッパーと剛体であるTとの間の長い時間軸のマニピュレーションを捉えることができます。長時間の動画予測であっても、このTは剛体としての形状を保ち続け、ロボットは指示に非常に精緻に従います。
Li： 左側では別のタスクに切り替えることもできます。例えばロープのタスクに切り替えれば、ロープを持ち上げて置いたり、右側のグリッパーで持ち上げてこのケーブルを横切るように動かしたりすることもできます。また、これが実際にどこかで記録されたロボットの映像ではなく、動画予測であることを示すような、わずかなアーティファクトが見られることもあります。さらにこのロープをクリップの中に留めて置き、ロープとクリップが互いにどのように張力の拘束条件に従って引っ張られ合うかを見ることもできます。ご興味のある方は、ぜひウェブサイトで実際にこのデモに触れてみてください。
6. データエンジンとしてのポリシー訓練・評価
6.1 ゼロショット訓練とロバスト性検証
Li： ここまでご紹介してきたこのモデルが、ロボットマニピュレーションの文脈でどのように活用できるかを見てまいりました。冒頭でも触れました通り、私たちはポリシーの訓練とポリシーの評価という二つの領域を特定しています。まずポリシーの訓練の側面についてお話しします。私たちはワールドモデルの空間の中だけでデータを収集しました。つまり、実データは一切収集していないということです。すべてのデータがワールドモデルの空間の中で収集され、そのデータで訓練されたポリシーは、実環境の中でゼロショットで頑健に機能することができます。しかもこれは、何らかの外部からの擾乱がある場合でも同様です。
Li： 具体的には、ロープをルーティングするタスク、把持を行うタスク、山積みになった物を掃くようなタスク、そしてT字押しのタスクといったものが対象です。ご覧いただくと、常に誰かがロボットの作業を妨げようとして外乱を加えている様子が分かるかと思いますが、実データをまったく使わず、ワールドシミュレータのデータのみで訓練されたポリシーは、実世界のシナリオにおいて非常に高い信頼性を達成することができます。
6.2 データ構成比のアブレーション実験
Li： よく尋ねられる質問の一つに、どれだけのシミュレーションデータが一つの実データに相当するのか、というものがあります。そこで私たちはこのアブレーション研究を行いました。データセットのサイズは固定した上で、その構成を変化させます。100%がワールドシミュレータデータで実データが0%という状態から、実データが100%でワールドシミュレータデータが0%という状態まで、構成比を段階的に変えていきました。
Li： もちろん、Efficient Policy、Action Chunking Transformer、π0といった複数の異なるポリシーについて評価を行っています。ご覧いただくと、これらのポリシーの性能は、データの構成比が異なっていても、かなり一貫した水準を保っていることが分かります。そしてこの傾向は、T字押し、山積みの掃き作業、把持、ロープルーティングといった異なるタスクの間でも共通して見られる、転用可能な観察結果となっています。これらの結果を平均してみますと、実世界のデータ一つ分は、私たちのワールドシミュレータで生成したデータのトラジェクトリ一つ分とほぼ等価であると、ほぼ言い切ってもよいだろうと私は考えています。
6.3 実データ訓練ポリシーの評価整合性
Li： 同時に、私たちはこのワールドモデルをポリシーの評価にも活用しています。ここでご覧いただいているのは、実データのみで訓練されたポリシーですが、私たちはこのポリシーを、上段に示すワールドシミュレータの空間と、下段に示す実環境の両方で走らせています。両者は定性的にも非常によく一致しており、同様の評価を定量的に行った場合でも、非常に良く一致していることがご覧いただけます。
Li： また最近気づいたことなのですが、私自身は関与していないものの、あるYコンビネーター出身の若い起業家たちが、私たちのこのインタラクティブなワールドシミュレータのモデルをそのまま使って資金調達を行い、スタートアップを立ち上げていることに気づきました。彼らのブログ記事を確認したところ、そこに掲載されていた画像がどこか見覚えのあるものだったのです。
7. まとめと質疑応答
7.1 まとめ
Li： これが本日の講演の全体的な要約になります。私たちが本当に解きほぐそうとしているのは、ロボット向けの基盤モデルの開発において直面している重要なボトルネックの数々であり、そのために構造化ワールドモデルを、訓練と評価の両方のためのスケーラブルなデータエンジンとして活用するというアプローチです。改めて申し上げたい点として、現在多くの人々が、この種の相互作用データやデモンストレーションデータの収集に膨大な予算を費やしています。しかしそのデータを大規模な模倣学習のためだけに使うのは、あまりにもったいないことです。私たちは、ワールドモデルを用いることによって、そうした豊かな相互作用のすべてを捉えられるはずなのです。
Li： 最後になりますが、共同研究者の皆さん、とりわけ本日ご紹介した研究の重労働を一手に担ってくれた学生たちに感謝を申し上げたいと思います。彼らなしにはこれらの研究はどれも実現できませんでした。また、私の研究室を支えてくださっているスポンサーの皆様にも感謝申し上げます。彼らは私たちが開発するプロジェクトに着想を与えるような、貴重な知見を提供してくださっています。以上で私の講演を終わらせていただきます。ご清聴ありがとうございました。喜んでご質問をお受けいたします。
7.2 質疑応答
司会者： ありがとうございました。一つ伺いたいのですが、グラフニューラルシミュレータの計算上のボトルネックについて、また非常にダイナミックなマニピュレーションのシナリオへの応用においてスケーラブルかどうかについて、コメントいただけますでしょうか。
Li： とても良い質問だと思います。基本的に、グラフ表現というのは環境に対するある種の抽象化です。どの程度の粒度でマニピュレーションを行いたいかによって、異なる数の粒子を使うことも、時にはキーポイントと呼ばれるより抽象化された記述方法を使うこともできます。ですから本質的にはこれは一つのスペクトラムであり、効率性と有効性の間で最良のトレードオフを実現できるように、そのスペクトラムの中を行き来することができるのです。突き詰めて言えば、必要なのは容量の面では最小限でありながら、下流のタスクを遂行するには十分な、そうした表現なのです。つまり効率性と有効性を両立させる表現ということになります。
質問者： ありがとうございます。講演についてもう一つ質問させてください。ガウシアンスプラッティングとグラフ表現を比較すると、それぞれどのような長所と短所があるとお考えでしょうか。例えばアーティファクトへの対処という点ではいかがですか。またペアでのポリシー評価という観点では、どれくらいのデモンストレーションデータが必要になるのでしょうか。汎化についても気にされているのか、つまり手法についてのデモンストレーションのやり方が明確でない部分があるように思うのですが、いかがでしょうか。
Li： とても良い質問です。まず確認しておきたいのですが、私たちが使っているのはガウシアンだという点にお気づきかと思います。ガウシアンは主に環境のレンダリングのためだけに使っているものです。実際の動力学のモデリングについては、グラフと粒子を用いています。例えば生地についてはグラフベースの神経動力学モデルを使い、布のようなものについては、そのグラフの上にばね質量系の密な拘束条件を重ねて用いています。つまり動力学のモデリングとレンダリングは、本質的に互いに切り離されているのです。ガウシアンはレンダリングのため、グラフは動力学のモデリングのためですが、もちろん両者はつながってもいます。グラフの動きに応じてガウシアンも動く必要がありますので、その際にはリニアブレンドスキニングという手法を使っています。
Li： 評価についてのご質問もありました。これらの研究では、私たちは経験的により厳密であろうと努めています。評価結果が本当に信頼できるものであり、相関があると言うときにはその相関が本当に信頼できるものであることを、皆さんに納得していただけるようにしたいと考えているからです。具体的にどうしたかと申しますと、先ほどお示ししたように、まったく同じ初期配置の組み合わせを用意し、それぞれのポリシーの各チェックポイントについて、実環境とデジタル環境の両方でそれぞれ20回ずつ評価を行いました。デジタル環境であれば非常に簡単にスケールアップできるのですが、多くのサイドバイサイドの比較においては20回という数で行っています。ですから、先ほどお見せしたようなプロットの一つ一つの点が、実環境での20回の評価と、デジタル環境での多数回の評価に相当するわけで、このプロットを作るために私の学生たちがどれほど多くの評価を行ってきたか、想像していただければと思います。相当な労力です。ただこれは評価についての話であり、訓練については、より一般的なやり方として、50から200件程度のデモンストレーションを使ってポリシーを訓練しています。
質問者： ありがとうございます。講演についてもう一つ伺いたいのですが、モデルや物体の動力学についての学習という点に関心があります。例えば別のケーブルや別のロープに対して、これらのモデルはどれくらいうまく汎化するのでしょうか。ロープを例に取りますと、使うワイヤーによって動力学が変わってくるかと思うのですが、そのたびに別のモデルを訓練し直す必要があるのでしょうか。それとも、こうしたモデルはどの程度の汎化性を持っているのでしょうか。
Li： とても良い質問です。動画の前景でお見せしたデジタルツインの構築については、私たちはリアル・トゥ・シーンというプロセスを通じて、その物体に特化した形でデジタルツインを構築しています。この構築にかかる時間は数分程度のオーダーです。ですから、もしそれが許容できる範囲であれば、新しい物体を置くたびに、いわばゼロからモデルを構築し直すというやり方でも構わないと思います。ですので、当然ながらこのモデルはその物体のために特別に構築されたものですので、他の形状を持つ物体には汎化しません。ここでお見せしているような物体については、その都度、識別のプロセスを再度実行する必要があります。ただ、現在私たちが検討しているのは、こうして識別された物体向けの神経動力学モデルを蒸留できないか、ということです。うまくいけば、一つのモデルが自然とさまざまな種類の変形物体に汎化できるようになることを望んでいますが、これはまだ進行中の研究です。
質問者： ありがとうございます。もう一つ伺いたいのですが、一方は物理ベースの構築という方向性かと思います。あなたご自身も画像処理の分野出身で、人々の間ではその手法が良いかどうかについて議論があるかと思います。将来的にこの二つの方向性がどのように組み合わさっていくと見ておられますか。一方は再利用可能な物理モデルを構築する方向、もう一方はデータからスケールを構築していく方向かと思うのですが。
Li： とても良い質問ですね。これは何時間でも議論できるテーマですので、手短にお答えしたいと思います。まず申し上げておきたいのは、私は3次元空間というものを強く信じているということです。もし私に3次元空間の中で研究を進める機会があるならば、私は常に自分の技術的な取り組みを、より3次元空間の中に位置づけようとしてきました。これは私のこれまでの研究の多くから、かなり明確に見て取っていただけるかと思います。動画予測についても、先ほどお見せした通り、私たちはマルチビューの動画予測を行っています。つまり少なくとも、私の研究の中には何らかの形で3次元的な要素が含まれている必要があると考えているのです。ですから2次元の動画予測であっても、少なくともマルチビューであってほしいと考えています。
Li： 長期的に見れば、学習ベースの手法には明らかな長所と短所があると考えています。データが増えれば増えるほど、学習は着実に良くなっていくでしょう。しかし汎化性についてはまだそこまで到達していませんし、視点の一貫性についても、まだそこまで到達していません。一方で、非常に汎化性の高いロボットポリシーを訓練するという観点では、物理の側は非常に一貫性があります。物理法則によって支配されているからです。しかし、完全な状態情報が必要であること、動力学についての完全な知識が必要であることが、物理を使う上での限界要因となっています。だからこそ私はいつも、その中間に位置する何かを見つけられないかと模索し続けてきました。これこそが、私がこれまでお見せしてきた多くの研究に取り組んできた重要な動機なのです。
Li： 今後の展望として私が考えているのは、両者の良いところを取り入れるためには、結局のところ中間に位置する何かが必要になるだろうということです。ただそのためには、モデルに組み込むべき最も汎化性の高い事前知識とは何か、そして実環境からより多くのデータを得るにつれてこのモデルがどのように良くなっていけるのか、こうしたデータフローをどう構築していくかについて、非常に積極的に考えていく必要があります。そしてこれこそが、私がこのレシピにとって必要な条件だと考えている点なのです。