※本記事は、メリーランド大学教授でありAmazonにも所属するMing Lin氏による講演「Data Challenges in Robot Learning」の内容を基に作成されています。Ming Lin氏は計算ロボティクス、物理ベースモデリングおよびシミュレーションを専門とする研究者であり、米国国家科学アカデミーのフェローも務めています。講演の詳細は https://www.youtube.com/watch?v=_3zSxMCCXxg でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演動画をご視聴いただくことをお勧めいたします。
1. データ駆動革命の時代とメタバースへの展望
1.1 データ駆動革命とあらゆる形態のデータの氾濫
Peter： 本日ご登壇いただくのはメリーランド大学の教授であり、Amazonにも籍を置かれているMing Lin博士です。博士は計算ロボティクス、物理ベースのモデリングとシミュレーションの分野における第一人者であり、国家科学アカデミーのフェローでもいらっしゃいます。今年は最も影響力のある論文賞も受賞されました。本日は「Data Challenges in Robot Learning」というテーマでお話しいただきます。それでは、よろしくお願いいたします。
Ming Lin： ご紹介いただきありがとうございます、Peter。ウィーンに戻ってこられたこと、そしてまたこのIROSの場でお話しできることを大変嬉しく思っています。本日は、ロボット学習におけるデータの課題についてお話しさせていただきます。
私たちは今、研究者として最も刺激的な時代を生きていると感じています。少なくとも私自身にとっては、そう言い切れます。その理由の一端は、私たちがまさにデータ駆動革命のただ中にいるという事実にあります。データの入手可能性は、あらゆる形態において拡大し続けています。2次元・3次元の画像はもちろんのこと、絵画やドローイング、文書、動画、音声、医療記録に至るまで、あらゆるウェブベースのデータが存在します。さらに、ジオメトリやモデル、物理法則やダイナミクス、モーションキャプチャで取得されたデータ、シミュレーションによって生成されたデータ、そして本日お話しする合成データなど、実に多様なデータが私たちの周囲にあふれています。
それだけではありません。ソーシャルメディアのようなオンラインデータや、気温や湿度といった環境センサーのデータ、交通データ、衛星画像、そしてあらゆる監視デバイスから得られるデータも存在します。例えば私が今身に着けているスマートウォッチは、私が行っているすべての行動を実際に記録しています。スマートフォンも常に音声を拾い続けています。つまり私たちは、自分たちが行うすべての行為がデータとして捕捉されるような環境の中で生活しているのです。これは、私たちがかつてない量のデータを手にしていることを意味しますが、同時にそれは極めて多様で異種混淆的な情報でもあります。これによって、過去の出来事をシミュレートするだけでなく、現在の状態を再構成し、未来の展開を予測することさえも可能になりつつあります。
1.2 究極のメタバース構想
Ming Lin： 私はこうした時代を、非常にエキサイティングなものだと捉えています。私自身、ロボティクスの研究を数十年にわたって続けてきましたが、同時にバーチャルリアリティやシミュレーション、とりわけ物理ベースのシミュレーションにも取り組んできました。個人的には、自分がやっていることはすべて、私が考えるところの「究極のメタバース」を作り出すことに向けられていると思っています。それは、物理世界とデジタル世界の境界を超えるメタバースです。デジタルな情報を現実世界へと持ち込むだけでなく、逆に現実世界をこのデジタル空間の中へと取り込んでいく。そうすることで、まだ起きていない未来のシステムを予測するといった、本来不可能なことを可能にしていくのです。それは私にとって、心から楽しめるバーチャルな遊び場でもあります。
さらに、それは仮説を検証し、新たな実験を設計し、私たちが考えてきたことを検証するための「メタ・ラボ」としても機能します。新しい製品や設計をプロトタイピングする場としても活用できるのです。私自身は、これは長らくロボティクスや自動化の分野で行われてきたシミュレーションによって支えられているだけでなく、これまでにない規模のデータによっても後押しされている、非常にエキサイティングな時代だと考えています。
2. データに伴う課題と物理法則モデルとの関係
2.1 データに内在する課題
Ming Lin： しかしながら、こうしたデータには同時に多様な課題が伴います。単純にデータの量だけが問題なのではありません。データを生成するプロセスそのもの、例えば発熱や冷却、電力消費といったエネルギーの問題も無視できません。それに加えて、バイアスやノイズ、不確実性、そして情報の不完全性といった問題も付きまとってきます。本日は、これらの課題のいくつかに取り組んでいきたいと思います。
私たちがデータについて語るとき、しばしば前提とされているのは、ウェブ上やYouTube上にすでに存在するデータをただかき集めればよい、という発想です。しかし、私たちが実際に取得する一枚一枚の画像には、必ず視点に由来するバイアスが含まれています。私たちが記録するすべての動画にも、ノイズや不確実性、そして不完全性が伴っています。そして、ガーベジデータを入力すれば、ガーベジな出力しか得られないという原則があることも、忘れてはならないと思っています。さらに、3次元環境における可視性の問題、すなわちオクルージョンの問題も存在します。
こうした課題に、私たちはどう対処すればよいのでしょうか。そして何より重要なのは、私たちがこれらのデータを取得する際、ほとんどの場合、制御されていない環境やプロセスの中でそれを行っているという事実です。技術的な観点から言えば、私たちは生成AIやデータ駆動型のアプローチを扱っており、それらはより経験的なモデルを提供してくれます。しかし、ここで私が申し上げたいのは、私たちはすでに手にしているモデルに立ち返る必要があるということです。
2.2 物理法則モデルとデータ駆動モデルの相補性
Ming Lin： ここで私は、私たちがすでに保有している既存のモデルについても言及しておきたいと思います。私たちが物理法則、物理法則モデルと呼んでいるもののほとんどは、実はそれ自体もデータ駆動型であったということです。唯一の違いは、それらが人間を介して導出され、多くの場合、数十年どころか数世紀にもわたって観測されてきたという点にあります。であれば、なぜ私たちがすでに知っていることを捨て去る必要があるのでしょうか。数百年、数世紀をかけて学習されてきたデータ駆動モデルと、AIによるデータ駆動アプローチとの間に、いったいどのような違いがあるのでしょうか。私自身の考えでは、この両者は互いに補完し合う関係にあります。突き詰めれば、私たちが観測してきたあらゆる事象を支配する一つの物理法則が存在するはずであり、私たちは一方を他方に対して活用できるはずなのです。
とはいえ、そのどちらも完全なものではありません。というのも、それらの多くは結局のところ、私たちがすでに観測ないし取得したことのあるデータに基づいているからです。そして、これこそが、こうしたモデルが異なるタスク間で必ずしも転移しない理由の一端でもあります。それはモデルが依存している相互作用のあり方に左右されるためです。この相互作用という観点について、先ほどの登壇者もすでに触れておられましたが、衝突によって生じる相互作用、人間と環境の間で生じる相互作用、そして物体同士の相互作用が挙げられます。
こうした相互作用からは、私たちが普段話題にするさまざまなパラメータが生じてきます。例えば摩擦接触のパラメータ、照明条件によって観測されることになる材料パラメータ、そしてマニピュレーションを行う際に対処しなければならない接触力やコンプライアンスといったものです。これらは、私たちが普段あまり意識せず、また議論の俎上に載せることも少ない事柄です。本日お話しする内容が、こうした問題のいくつかに対処する一助となることを願っています。私の考えでは、物理的パラメータ、材料パラメータ、光学的パラメータといったものは、私たちが行うあらゆる事柄に本質的に内在しているものです。しかし多くの場合、私たちはその具体的な数値を持ち合わせていません。この点が、本日お話ししたいことの一つ、すなわち微分可能プログラミングのパラダイム、とりわけ微分可能物理へとつながっていきます。これは、データ駆動型のアプローチとモデルベースのアプローチを実際に結合させる考え方です。
3. 微分可能プログラミングとシミュレーション研究の全体像
3.1 微分可能物理によるモデルとデータの融合
Ming Lin： 私がもう一つ強調しておきたいのは、データのみから純粋に学習することは、非常にコストがかかりうるという点です。ここで、皆さんに一つ簡単な質問を投げかけたいと思います。人間が行っていることをロボットに教え込むためには、いったいどれだけのデータがあれば十分なのでしょうか。どなたか答えをお持ちですか、あるいは推測でも構いません。答えは「無限大」です。指数関数的に高いと言ってよいでしょう。なぜなら、私たちが達成しうることの範囲は無限に広いからです。したがって、そうしたデータをすべて取得しようとすれば、指数関数的にコストがかかってしまいます。では、私たちはどうすればよいのでしょうか。私は、ここでもやはりモデルが必要になってくると考えています。そこでシミュレーションの出番となるのです。シミュレーションは、このギャップを埋めることができると私は信じています。
シミュレーションを生成することは、はるかに低コストで済みますし、いったんモデルを手にすれば、そのシミュレーションモデルをさらに洗練させていくこともできます。これはまさに、ここ数年、私自身が歩んできた道のりでもあります。よりコスト効率の良いハイブリッドシミュレーションとデータ駆動型の手法とを組み合わせることで、こうした課題に取り組んでいこうと提唱してきました。
3.2 GAMMA研究所の研究事例とGenesis AIへの展開
Ming Lin： 私はメリーランド大学のGAMMA研究所で共同ディレクターの一人を務めております。私たちの研究室では、特化型のロボット自動化と、汎用的な自律システムの両方に取り組んできました。少しだけ、私たちの研究室がこれまでに手がけてきた事例をご紹介したいと思います。これらは移動ロボットが人間の周囲を歩き回りながら環境と相互作用している様子です。これはまさに、人間との相互作用を日常的に、しかも密集した群衆の中で行っているロボットの好例です。
ここではまた別の課題にも取り組んでいます。芝生のような場所を歩き回る四足歩行のロボット犬を扱っており、こうした環境では常に視認できるとは限りません。これも、不確実性や未知性を伴う環境の中でロボットが機能しなければならないという、代表的な課題の一つです。私たちの研究室の取り組みについては、Big Ten Network Spotlightでも動画が紹介されていますので、ぜひご覧いただければと思います。
先ほども申し上げた通り、本日ここでお話ししたいことの一つは、微分可能なシミュレータとジオメトリを用いて物理世界を学習するというアプローチです。ここでは、AI駆動型のアルゴリズム設計という新しい刺激的な時代を取り入れつつ、人間を介して導出されてきた既存の知見をも決して手放さない、という姿勢を組み合わせています。既存の物理モデルやジオメトリモデルが数多く存在しており、実際に私の博士課程の学生たちの多くも、この分野で研究を行ってきました。これらはシミュレーションのフロンティアにおける研究成果のほんの一例ですが、ここでご覧いただいた研究の一部は、Genesis AIという製品にも実際に組み込まれ、大変喜ばしいことだと感じております。
Genesisの物理エンジンが提供できることについて、簡単にお見せしたいと思います。もしまだご覧になっていなければ、ぜひチェックしていただきたいと思います。ちなみにこの会社は実在しており、数億ドル規模の資金調達を受けています。彼らの目標は、ロボットを訓練するために活用できるシミュレーションを生成することにあります。モデルを持つことで、実際に何が起きているのか、そしてシミュレートされている物理的挙動を目で確認することができるのです。この技術は多体問題を扱うことができるだけでなく、実際にロボットの訓練にも用いることができます。例えば板を操作する場面では、複数の物体に力を加えた際の挙動が再現されており、さらに大規模言語モデルによるインターフェースも備えています。Genesisについては簡単なご紹介にとどめますが、素晴らしい動画や進捗がすでに公開されておりますので、これは私たちが今後期待できる現実の姿だと思っています。
私たちが開発した新しい微分可能なハイブリッドシミュレータについてもご紹介します。このシミュレータは非常に大規模なシミュレーションに対応しており、マクロなスケールとミクロなスケールのシミュレーションを組み合わせることで、さまざまな交通問題を解決することができます。これによって渋滞を緩和したり、シミュレーション内のパラメータを推定したり、さらにはペースカーを訓練して他の車両を制御させたりすることも可能になります。また、このシミュレータは、NeRFやガウシアンスプラッティングといった、最近の最先端のレンダリング技術やジオメトリ表現とも統合することができます。
こうしたアプローチを組み合わせることで、私たちが観測した動画から直接パラメータを導出することも可能になります。この方法論の詳細についてはすべてをお話しすることはできませんが、私たちの論文もぜひチェックしていただければと思います。これは私たちが比較的早い段階で行った研究の一つですが、ここでお話ししていることは視覚的な相互作用だけに適用されるものではなく、聴覚的な相互作用にも適用できるという点を強調しておきたいと思います。実際、こうした音響的な材料パラメータはすべて、たった一つの実世界の録音から自動的に抽出されたものなのです。
4. Time-Aware World Modelによる効率性の追求
4.1 タイムステップ問題とマルチスケール学習戦略
Ming Lin： ここからは、効率性とグリーンAI、安全性、そして汎化性という三つの論点について、順を追ってお話ししていきたいと思います。まず効率性についてですが、最近私たちが取り組んだTime-Aware World Modelという研究をご紹介します。基本的な発想は次の通りです。私たちが行うシミュレーションのほとんどには、時間ステップというものが組み込まれています。もしこの時間ステップが大きすぎれば、その間に起きている重要な現象を見逃してしまう可能性があります。逆に小さすぎれば、計算コストが非常に高くついてしまいます。多くの場合、私たちは安定性を確保するために、単純に非常に小さな時間ステップを採用しがちです。しかし問題は安定性やコストの話だけにとどまりません。この時間ステップは、ワールドモデルを扱う場合、シム・トゥ・リアルのギャップにも影響を及ぼすのです。
つまり、訓練時に用いた時間ステップと、実際の推論時に用いる時間ステップが異なっていれば、シミュレートされた現実と実際の現実との間にギャップが生じてしまいます。この論文はまさにこの問題に対処するためのものでした。基本となる考え方を簡単にご説明します。私たちが着目したのは、異なる力学系はそれぞれ固有のナイキスト基準に従っており、その系のダイナミクスの周波数に応じて挙動が決まるという点です。そのため、あらかじめ適切な時間ステップの幅を定めておくことは非常に困難です。そこで私たちが採用したのが、マルチスケールのサンプリング戦略です。具体的には、対数的なサンプリング戦略を用いてシステムを訓練しました。
つまり、訓練時には対数スケールに基づいたマルチスケールサンプリングを行うことで、推論時にはどのような力学系を用いても、また推論時の周波数がどうであっても、自動的に適応できるようになるのです。これが基本的な考え方であり、この方法によって、対象となる系がどのような周波数で動作していようとも、標本化定理が常に尊重されることを保証できます。すでに申し上げた通り、異なる力学系はそれぞれ異なる周波数で動作します。この手法は、シミュレータを用いてワールドモデルを構築する際の、非常に適応的で知性的、かつ効率的な方法と言えます。詳細については割愛しますが、この論文はぜひチェックしていただきたいと思います。これは昨年のICMLで発表されたものです。
4.2 実験結果と性能検証
Ming Lin： この手法が効率性を向上させる理由については、理論的な裏付けとなる定理もあります。私たちは組み立て作業やボックスを閉じるといったマニピュレーションタスクでこの手法を検証しました。グラフの一番上に示されているのが私たちのモデルの結果で、下側にさまざまなベースラインの結果を示していますが、私たちの手法が他と比較してはるかに高い報酬を達成していることがご覧いただけると思います。
私たちはこの手法をさまざまなベースラインにも適用しており、私たちのアルゴリズムには赤と青の2つの異なるバージョンがあります。両者はともに時間認識型のアプローチですが、赤と青の曲線の違いは積分手法の違いによるものです。この方法論は、異なる積分手法とも組み合わせて機能することが分かります。ベースラインは点線で示されており、グラフの下部に位置していることがご覧いただけると思います。
私たちの手法は、私たちが見つけられる最良のベースラインと比較しても、一貫して上回る結果を示しました。これらはさまざまなロボティクスタスクにおいて、一貫した性能を示す実験結果です。また、訓練時のサンプリング戦略を変化させた場合にどうなるかについても検証しました。私たちの手法では、推論時の時間刻みΔtを増やしていっても、ベースラインモデルが時間の経過とともに性能を劣化させていくのに対し、私たちの手法ではどの時間ステップで訓練されていようと、また推論時の周波数がどうであろうと関係なく、優れた報酬と、出来事の再構成の両方を達成することができました。
私たちはさらに、この時間認識という概念をVisual Odometryにも応用しました。この論文は、実は今年のCVPRで発表される予定です。基本的な発想としては、Visual Odometryもまた、周囲で起きている事象の時間的なダイナミクスを認識した形で構築されるべきである、という点を活用したものです。ここでも見られた結果は、時間認識型のアプローチによって一貫した性能向上が確認されたということです。
5. 安全性の確保と自動運転における事故シナリオ活用
5.1 線形時相論理による安全性の担保
Ming Lin： ここからは、私たちがICLRで発表したばかりの、非常に重要だと考えている取り組みについてお話ししたいと思います。それは、私たちのシミュレータに時相論理をどのように組み込んでいくかという問題です。これはロバスト性だけでなく、何よりも安全性を確保するために不可欠だと考えています。私たちが行っていることには、必ず論理を組み込む必要があります。それによって、安全性が確実に保証されるようにしなければなりません。
強化学習アルゴリズムのほとんどは、単に何らかの報酬関数を満たすことだけを目指しています。しかし私たちは、そこに線形時相論理、いわゆるLTLを組み込むことができます。これによって、軌道全体にわたって望ましい挙動をLTLの形で規定することができるのです。これにより、いかなる損害も発生しないことを保証できます。ロボットが物体を損傷させたり、人間を傷つけたりすることがないようにするわけです。essentially私たちが行っているのは、LTLを導入することによって追加的なコスト制約を課すことです。これがやっていることは、基本的にはこうした安全性に関する論理をLTLの定式化の中で規定し、それを自動的にMDP(マルコフ決定過程)の中に組み込んでいく、というアプローチです。
ここで申し上げておきたいのは、LTLを導入することによって、報酬がスパースになるため、問題が実質的により高次元の空間に持ち込まれてしまうという点です。そこで私たちが実際に行ったのは、微分可能な定式化を導入することでこの問題を緩和し、計算を千倍単位で高速化したことです。これは、安全性を確保しながら同時に効率性も達成できるという、まさに好例だと言えます。
5.2 事故シナリオシミュレーションとDISCデータセット
Ming Lin： もう一つ触れておきたいのは、私が数年にわたって取り組んできた自動運転という分野です。私の博士課程の学生であるWhisyやDavid、そして昨年Waymoに入社したLauraたちが取り組んできた仕事についてです。私たちが試みてきたのは、コーナーケースに着目することです。以前の研究では、実際に意図的に事故をシミュレートするという手法を示してきました。これにより、自動運転シミュレータのためのパラメータ化されたシミュレーションを構築し、障害物を回避する方法を学習させることができるのです。
つまり、こうした事故軌道を意図的にシミュレートすることで、その軌道から直接、どのようにすればそうした事故を回避できるかを学習できるという発想です。Lauraはこれをさらに一歩進めました。私たちは米国の国家高速道路交通安全局(NHTSA)のデータを調査し、37種類の一般的な事故カテゴリを抽出しました。そして、それらすべてをVR環境の中でシミュレートし、自動運転車にとって没入感のある体験を作り出しました。
私たちはこうして生成したデータセットを「DISC」と名付けており、興味のある方にはぜひ活用していただきたいと考えています。関連する動画については本日は割愛しますが、資料の後半に含まれておりますので、ぜひチェックしていただければと思います。
最も新しい取り組みの一つは、現在査読中のものですが、こうしたデータセットを通じて、私たちはただデータを収集するだけでなく、私たちのVR没入型シミュレータを利用したドライバー一人ひとりに対してパーソナリティテストも実施しました。これにより、パーソナリティに関する情報を用いて運転行動を予測することを試みています。周囲を走る自動運転車が、その運転者のパーソナリティを把握していれば、さまざまな状況下でその人がどのように運転するかを予測できるようになり、それによって将来のシナリオにおける挙動をも予測できるようになる、というのが基本的な考え方です。将来の自動運転車は、こうしたドライバーの行動特性をも考慮に入れられるようになるはずです。
6. Foundation Modelへの応用とReal-to-Sim/Sim-to-Realの往還
6.1 医療・アパレル分野への応用
Ming Lin： 最後に、Foundation Modelに対する期待についてお話しさせてください。これは、私のかつての博士課程の学生であるShiyanと共に行った研究の一部です。私たちはシミュレーションと最適化ベースのアプローチを組み合わせることで、動画やシミュレータを通じて患者固有のパラメータを自動的に推定できるようにしました。そして、そのシミュレータを用いて外科医のトレーニング用にバーチャル版を作成することができます。
ここでご覧いただいているのは、動画から直接抽出した材料特性であり、心臓の超音波画像のような医療データも扱っています。これはその復元版です。これはまさに、患者一人ひとりが異なる組織特性を持っているという事実を、私が先ほど推定したものの好例です。では、その情報をどうやって得ればよいのでしょうか。優れたシミュレータを持っていても、パラメータが誤っていれば、患者固有のシナリオを正しくシミュレートするための適切なパラメータを用いることができません。
しかし、これは患者だけの話にとどまりません。材料そのものにも関わってきます。私たちはこのパラダイムを拡張し、衣類の素材を復元する研究にも取り組みました。衣服が身体にどのようにドレープするかは、素材によって大きく左右されます。実は、この技術はAmazonの製品にも実際に組み込まれており、初めての3Dバーチャル試着に活用されました。私自身もAmazonのスカラーを務めており、これはAmazonが打ち出した最初の3Dバーチャル試着の一つでした。
この研究を詳しくお話しする時間はありませんが、Jimbangの博士論文としてさらに発展していく予定ですので、ぜひチェックしていただければと思います。今後に向けては、real-to-simおよびsim-to-realの汎化という点で、非常にエキサイティングな研究がまだ数多く残されていると考えています。
6.2 Sim-to-Realのギャップと今後の展望
Ming Lin： これまでお話ししてきたすべての期待を踏まえた上で、私が最大の課題だと考えているのは、sim-to-realをどのように実現するかという点です。もし私たちがシミュレーションに用いるデジタルツインが現実を真に反映していなければ、つまりあらゆる材料特性や、対象・人間データに固有のシナリオが正しく反映されていなければ、私たちが行うシミュレーションは現実を適切に反映することができず、その結果をロボットへと転移することもできません。
そのため私自身は、sim-to-realのギャップを縮めるためには、まずreal-to-simを行わなければならないと考えています。そして、微分可能物理と微分可能プログラミングのパラダイムこそが、学習ベースのアプローチとモデルベースのアプローチを結合させ、パラメータを精緻化しつつ結果を最適化する上で、極めて重要な役割を果たすと考えています。もう一つ申し上げておきたいのは、敵対的学習(adversarial training)です。これもまた、ロボティクスのFoundation Modelにおける汎化性能と頑健性を確保する上で、非常に有用であることが分かっています。
以上で私の発表を終えたいと思います。持ち時間のほとんどを使ってしまったようですが、一つだけ質問をお受けできればと思います。
Peter： それでは質問は後ほどお受けすることにしましょう。