※本記事は、Angela Schoellig氏（ミュンヘン工科大学）による講演「Beyond Training: Synthetic Data for Reliable Robot Learning from Benchmarking to Real-Time Decision-Making」の内容を基に作成されています。動画の詳細情報は https://www.youtube.com/watch?v=h2knBGtgwTY でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. 導入：合成データの意義とロボット学習の背景
1.1 講演の主旨とロボティクスにおける要求事項
Angela Schoellig： 本日の講演では、合成データが単に大規模な基盤モデルを訓練するためのデータセットを増やす目的だけでなく、それを超えてロボット学習を信頼できるものにするために不可欠であるということをお話ししたいと思います。具体的には、ベンチマーキングのための合成データの活用、そしてリアルタイムの意思決定における合成データの活用という二つの観点から議論を進めてまいります。
ロボット学習は現在急速に発展しておりますが、その典型的な例として、大規模な強化学習をシミュレーション上で行い、ドメインランダム化を施した上で実世界に展開するという手法が広く知られております。しかし、ロボティクスは典型的な機械学習の応用とは異なり、安全制約や展開時のリアルタイム意思決定といった非常に厳しい要求事項を伴います。私が今日の講演で皆様に伝えたい最も重要な点は、合成データは単に大きな基盤モデルを構築するためにより多くのデータを得る手段ではなく、実世界においてロボット学習パイプラインを展開可能にするための、いわばインフラストラクチャーであるという考え方です。
一つの例として、カナダの自動運転スタートアップの取り組みをご紹介いたします。このスタートアップは、公道における自動運転車両の安全性は、合成的なシミュレーション環境において検証されて初めて証明されるものであると主張しております。本日は、まず合成データをベンチマーキングや検証のために用いる段階からお話しし、続いてロボットの意思決定アルゴリズムのファインチューニングにおけるsim-to-realの活用について述べ、最後にリアルタイムの意思決定において合成データをどのように用いることができるかという、比較的新しい取り組みについてもご紹介したいと思います。
1.2 実験プラットフォームの紹介と実世界データの限界
Angela Schoellig： 私たちの研究の出発点をご理解いただくために、私たちが実際に取り組んでいる典型的な実験やロボットプラットフォームの映像をご覧いただきます。私たちは、精密に制御された複数の飛行体からなるスワームの協調飛行に取り組んでおります。これらは非常に安全性が重要な対象であり、単一の飛行体が空から落下する危険性だけでなく、複数の飛行体が互いに衝突する危険性も伴います。私たちはこれらの飛行体を実験室の外に持ち出し、視覚情報に基づいて屋外を飛行させる実験も行っております。したがって、学習は視覚パイプラインにも影響を及ぼします。こうした技術は、オフロードの走行環境や、先ほどの映像でご覧いただいた露天掘りの鉱山といった応用にも活用されております。さらに、私たちはGeneral Motorsとの自動運転コンペティションに参加し、シミュレーションと合成データを大いに活用することで、毎年優勝を果たしております。
そもそもロボット学習において合成データがなぜ必要なのかと申しますと、実世界のロボットデータは収集に費用と時間がかかることに加えて、私たちが偶然に収集したものに偏ってしまうという問題があるためです。私たちは通常、まだ安全でリスクの低い状況のデータを収集する傾向にあり、その結果、私たちが本来関心を持つべき安全上重要なケースがまさに欠落してしまうことが多いのです。これに対して合成データは、異なる環境、外乱、形状、意味的な構成、そしてエッジケースといった様々なバリエーションを体系的に生成することを可能にします。私が本日申し上げたい主張は、私たちが最終的に「いつロボットを実世界に展開して信頼できるのか」という問いに答えるためには、合成データが不可欠であるということです。
2. データの変遷：事前知識ベースからインターネット規模知識へ
2.1 事前知識に基づく自動化システムでの活用例
Angela Schoellig： ここまで申し上げた点は、実は決して新しいものではございません。以前私たちが構築していた自動化システム、私はこれを純粋に事前知識に依拠するシステムと呼びたいのですが、そこにおいても私たちは実世界データだけでなく合成データやシミュレーションを、システムを実際に試す前の検証のために活用しておりました。一つの例をご紹介いたします。ここでは全身運動コントローラーを扱っており、トレイの上に物体を乗せてバランスを取る実験を行っております。私たちはシミュレーション上で様々な物体の配置を数多くテストし、実世界に移す前にそれが機能するかどうかを確認しております。
また、私たちは動的な外乱についても同様にシミュレーション上でテストしてから実世界へと移行しております。そして、このシミュレーションデータを用いて、少なくともチューニングの過程の出発点とすることができるのです。このように、事前知識に基づくアプローチにおいては、モデルを比較的よく理解できていたため、シミュレーション上で見ているものをうまく変化させることができました。
2.2 インターネット規模データへの移行とシミュレーターの高度化
Angela Schoellig： しかしながら、私たちがロボット固有の事前情報からより広範な、インターネット規模の知識へと軸を移していくにつれて、データの源の多様性はますます大きくなってまいります。そしてそれは、同様のアプローチを追求しようとするならば、私たちのシミュレーションもそれに応じてますます高度化していかなければならないということを意味しております。私はこれまでに大きな進展があったと考えておりますが、まず私たちはロボット固有かつセンサー固有のデータに依拠して、ロボットの能力を向上させておりました。その段階においてすら、実世界から得られるデータを補完できるような、本当に優れたシミュレーターは存在しておりませんでした。
そして現在、私たちはさらに一歩進んだ段階に到達しております。言語データのような、インターネット規模の知識を私たちの手元で扱い、それをロボティクスに組み込むことができるようになったのです。こうしたラベルは、ロボットが見ているものを記述することができます。しかしこの段階においても、私たちが合成的な世界の中で実現できることには、まだかなりの制約が残っております。それは、モデルを非常によく理解し、私たちが見ているものをかなりうまく変化させることができた第一段階、すなわち事前知識に基づく段階と比べると、はるかに限定的なものです。とはいえ問題は、私たちが目指すべき方向、すなわち多様な源のデータを最大限に活用し、ロボットをますます高い能力へと導いていくという方向に向かって進んでいくことにございます。
3. ベンチマーキングからSim-to-Realトランスファーへ
3.1 サーベイ研究とSafe Control Gymの開発
Angela Schoellig： 学習ベースの制御に注目し始めた当初、私たちはまずサーベイ論文を執筆し、記法を統一するとともに、制御理論のコミュニティと強化学習のコミュニティの双方から非常に急速に生み出されていた様々なアルゴリズムを整理して見渡すことを試みました。しかし、実際にどのアルゴリズムが本当にうまく機能するのかを理解しようとした際、私たちは大きな課題に直面いたしました。サーベイ論文で調査した80本の論文のうち、実際にハードウェア実験を行っていたものはわずか25%強に過ぎず、オープンソースのコードを公開していた論文はさらに少なかったのです。
つまりこの時点では、そもそもアルゴリズムを比較するために合成データやシミュレーションのみを用いるという可能性自体が存在しておりませんでした。実世界への展開からはまだ程遠い状況にあったのです。そこで、制御理論の研究者と強化学習の研究者、それぞれのコミュニティから生まれてきた様々な手法のうち、どれを今後も追求すべきで、どれが最も有望であるのかをより深く理解するために、私たちはsafe-control-gymというベンチマークスイートの構築を開始いたしました。これは、当時オンラインで見つけることができたものを超える内容を目指したものです。私たちは、モデルベースのアプローチと学習ベースのアプローチをより詳細に比較し、制約条件を組み込み、さらに事前知識を取り入れられるようにしたいと考えておりました。まさにこれこそがsafe-control-gymが実現していることであり、モデルベースおよびモデルフリーの学習アプローチを比較できるだけでなく、強化学習と制御理論、そして安全性に関するアプローチが交差する領域で普及している多くの手法を、私たち自身で実装、あるいは再実装いたしました。
これによって、これらのアルゴリズムをより詳細に比較し、実際にどのような特性が重要であるかを検討することが可能になりました。その一例が、データ効率性に関する比較です。事前知識として粗いモデルを組み込んだGP-MPCという手法は、データを収集しながら性能を改善していく手法ですが、これは学習初期の段階においてより優れた性能を示します。すなわち、非常に少量の訓練データであっても既に良好な性能を発揮し、収束のために必要なデータ量もはるかに少なくて済みます。しかし一方で、PPOのように、収束後の最終的な性能値としてはより低い水準にしか到達しないというトレードオフが見られました。このように、私たちは初めて、こうしたトレードオフをより適切かつ分析的な形で、また制御された形で研究することができるようになったのです。なぜなら、私たちはこうした様々なパラメータを直接制御し、アルゴリズムを本当の意味で比較することができたからです。
私たちはこうした取り組みを継続しており、本日のようなワークショップに類する活動も数多く行ってまいりました。ご興味のある方は、safe-and-robust-learning.orgのウェブページからメーリングリストにご登録いただけます。この最初の研究における私の主張は、safe-control-gymにおいて私たちが構築し、誰でも拡張できるこの合成環境こそが、実世界において実際に機能しうるものについて、より信頼性の高いエビデンスを収集することを可能にしたという点にございます。実際、ロボット学習パイプライン全体の初期段階において、何が機能し何が機能しないのかを理解し、様々な種類の外乱を注入して因果関係を実際に検証することが求められるのです。
3.2 Crazyflieによる実機展開と教育コースへの応用
Angela Schoellig： もちろん、私たちはこの段階で立ち止まるつもりはございませんでした。シミュレーション上でうまく機能したアルゴリズムを、実世界へと移行させたいと考えたのです。そのために、私たちは2022年にsafe-control-gymを拡張し、Crazyflie 2.0というプラットフォームを用いて実世界への転移を実現いたしました。私たちはIROSのコンペティションを開催し、各チームはまずシミュレーション上のみで競い合い、シミュレーション上で最も優れた成績を収めたチームのアルゴリズムが選抜され、私たちの研究室において実行される、という形式を採用いたしました。ここでご覧いただいているのは、あるチームがシミュレーションのみで提出した最良のアルゴリズムであり、それを私たちの研究室で実際にテストしたものです。ただし、各チームはこの段階でアルゴリズムを再調整したりファインチューニングしたりすることはできませんでした。もちろん、それを可能にするための一定の仕組みは私たちの側で構築いたしましたが、これはまさに、シミュレーションで行ったことを実際に実世界へと転移させる方法の一つの例と言えます。
この取り組みを発展させていく中で、私たちは人々が単一の飛行体だけでなく、マルチエージェントのシステムに注目し、それを普及している強化学習アルゴリズムと結びつけたいというニーズを持っていることに気づきました。そこで開発されたのが、gym-pybullet-dronesです。これは、私たちが想定していた以上に人気を博すこととなりました。その理由としては、まずCrazyflie 2.0をベースにしていることによる一定のリアリズムがあったこと、そして人々がシミュレーション上で行ったことを、多少の労力をかければ実世界に持ち込むことができるという点が挙げられます。加えて、柔軟性と使いやすさも大きな要因でした。この時点ではまだ3Dのレンダリングのようなものは実装されておりませんでしたが、gym APIと接続できる点、そしてマルチエージェントのアプローチを可能にした点が、特に評価された特徴でございました。
このsim-to-realの取り組みは、研究の枠を超えて発展いたしました。実際にこの仕組みは十分に信頼性が高く、講義の中で活用することができたのです。これはトロントで実施された講義でしたが、私たちは最近これをさらに発展させ、ミュンヘンにおいて一連の講義を開講いたしました。ご興味のある方に申し上げますと、私たちはまさに最適制御と強化学習に関する基本的なアルゴリズムの発想を、Jupyter Notebook上で非常に単純なマウンテンカー問題を用いて学ぶ講義から出発し、三つの講義の連なりを通じて、最終的には自律ドローンレーシングへと至る構成をとっております。ここでは、Jupyter Notebook上の小さな例から、非常にリアルなシミュレーションへと発展し、上級ロボット学習の講義を経て、自律ドローンレーシングのプロジェクトに至ります。そこでは学生たちが実際に自分自身の強化学習アルゴリズムやその他の様々な高度な手法を開発し、シミュレーションから実世界へと転移させる経験を積んでおります。ここで申し上げたい重要な点は、合成データが実世界においてループを閉じたときにこそ、真に価値を持つようになるということです。もちろん、最終的には実世界に対して価値を付加するものでなければならないのです。
4. リアルタイム意思決定への応用とアウトルック
4.1 Crazy Flowsによるリアルタイム意思決定
Angela Schoellig： これまでご紹介してきたのは、まだ比較的リアルなシミュレーションが可能な飛行体の例に限られておりました。ここからお話しする内容は、非常に最近の取り組みであり、合成データをリアルタイムの意思決定に用いるというものです。ここでも改めて申し上げたいのは、合成データは訓練セットを拡張し、ますます大きな基盤モデルを構築するためだけに有用なのではないということです。この取り組みはCrazy Flowsと呼んでおり、現在ソフトウェアは公開されておりますので、ぜひご覧いただければと思います。
このパイプラインでは、まず実世界からシミュレーションへという方向で、ロボットのダイナミクスを正確な形でシミュレーションに取り込む仕組みを構築しております。現在、私たちは五つの異なるプラットフォームに対応しておりますが、もし独自のプラットフォームをお持ちであれば、同様の手順を踏むことで対応することが可能です。そして私たちは、完全に微分可能でTPUによって高速化されたシミュレーターを備えており、これを用いることで、任意の台数の飛行体について、数十万通りのシナリオを同時に試すことができます。この処理速度は非常に高速であり、飛行体が飛行している最中に様々なシナリオを思い描き、それに基づいて意思決定を行うことを可能にしております。私たちがよく知るように、これらの小型飛行体は非常に高速かつ機敏に動くことができます。
具体的な例をいくつかご紹介いたします。一つは、飛行体が狭い障害物コースの中を飛行する例です。ここでは直接的にsim-to-realおよびreal-to-simを行い、非常に多くのシナリオを試すことができます。この例では50万通りの軌道サンプルを試し、その中から衝突のないものを見つけ出して実際に飛行させております。さらに印象的な例として、飛行体を空中に投げ上げた状態から、方策をゼロから学習させるというものがございます。飛行体を空中に投げ上げると、380ミリ秒という短い時間の中で数十万回の試行、すなわち強化学習によるイテレーションが実行され、400から500ミリ秒の間に安定化のための方策が見出されるのです。もちろん、飛行体は結局のところ空中における質点に近い存在ではございますが、これは将来的に何が可能になるのかを示すものであると考えております。そして、このようなシミュレーションを、より高次の生成AIと結びつけて拡張することも可能です。
その一例として、私たちはこのCrazy Flowsシミュレーターを大規模言語モデルと組み合わせて活用いたしました。ここでの目標は、音楽と言語の入力から振り付けを生成することです。私たちは、生成的な形でウェイポイントを配置するバニラの大規模言語モデルを用いております。しかし、こうして生成されたウェイポイントは、実現可能でなかったり、衝突を回避できていなかったりする場合がございます。そこで、複数段階からなる安全フィルターを設け、これらのウェイポイントを最小限の修正で変化させ、衝突を回避するようにいたします。そのうえで、シミュレーション上でその結果を確認するか、あるいは直接実世界へと転移させることができます。このように、こうした種類のシミュレーションは、安全でないものを安全なものへと変換するために、まさに活用することができるのです。ここで改めて申し上げたい点は、訓練を超えたところで、合成データが制御ループの内部においてリアルタイムに、異なるシナリオを思い描き、それに基づいて意思決定を行うために活用できるということでございます。
4.2 レアイベント対応と安全性判断への展望
Angela Schoellig： 今後の展望として、合成データは稀に発生する事象を扱うためにも用いられる可能性がございます。安全性やロバスト性を検証するためです。私たちはこの方向性を探るプロジェクトをまだ始めたばかりですが、ここで重要になりうる点を一つご紹介したいと思います。言語や映像は、何が安全であり何が安全でないかについて、多くのことを私たちに教えてくれます。現在、私たちはロボットが自分の見ているものを理解するための、オープンボキャブラリーのセグメンテーション技術を有しております。また、ロボットが見ているものに基づいて、環境の文脈が何であり、何が安全で何が安全でないかを教えてくれる大規模言語モデルも存在しております。
現在、私たちはこうした基盤モデルの発展によって手元にあるこの種の目線レベルの情報を用いて、ロボットにとって何が安全であるか否かを判断し、ロボットが安全でない可能性のある行動を取ろうとした際にそれを停止させるということを行っております。このような情報は、現時点においてすでに言語の中に埋め込まれているわけですが、私たちは実世界においてこうした様々な安全でない相互作用をすべて試したり探索したりすることは決して望んでおりません。ロボットを信頼する前にそれを行うわけにはいかないのです。したがって、この領域においても、知覚や意味理解の側面において多くの取り組むべき課題が残されており、安全な行動を探索することを可能にし、最終的に安全で信頼できる学習アルゴリズムを開発することを可能にするような状況を生成していく必要があると考えております。
ドローンにご興味のない方に向けても一点申し添えたいのですが、マニピュレーションのための低レベルコントローラーおよびシミュレーターの開発に貢献してくれた学生たちについても触れておきたいと思います。ご興味のある方には、マニピュレーションのためのコンプライアントなコントローラーがございまして、これは学習ベースの方策を安全な形で実世界に展開し、また訓練データを収集するうえで非常に有用なものとなっております。詳細についてはあまり多くを申しませんが、ぜひご自身で調べていただければと思います。これは複数の異なるロボットに対応しており、昨年の開発以来、私たちのグループだけでも既に四本ないし五本の論文を支えてまいりました。これもまた、シミュレーションと実世界のデータを組み合わせて、後に実世界における信頼できる展開を可能にするための、もう一つの方法であると言えます。
5. まとめと質疑応答
5.1 講演の結論
Angela Schoellig： 最後にまとめとして、私が本日最もお伝えしたい点は、合成データは単に大規模な強化学習モデルのための訓練データにとどまるものではないということです。もちろん訓練データとしても非常に有望であることに変わりはございませんが、私たちがシミュレーターを構築するのであれば、それは学習のためのデータを得るという目的よりもはるかに大きな価値を持つのだということを、改めて心に留めていただきたいと思います。シミュレーターは、ベンチマーキングのため、検証のため、ストレステストのため、そしてオンラインの意思決定のためにも活用することができるのです。
その際に重要となるのが、シミュレーターにおける操作可能性、すなわちコントローラビリティです。シミュレーターは、私たちが実際にそこに含まれる様々なパラメータを効率的な形で変更し、変化させる手段を持っている場合にのみ有用となります。これはこれまでお話ししてきたようにパラメータを通じて実現することもできますが、言語を通じて実現することも可能であり、これは今後さまざまな領域において目にする、あるいは既に目にしつつある方向性であると考えております。そして最後に、信頼できるロボット学習のためには、クローズドループのパイプラインと多様なデータが必要であるということを強調したいと思います。私たちはこれまでロボットの制御において常にデータを活用してまいりましたが、今後はそれを超えて、知覚データや言語データへと進んでいかなければなりません。それによって状況を多様化し、私たちのロボットが、そうしたデータによって可能となる限りの能力を発揮できるようにしていく必要があるのです。したがって、合成データが最も重要な意味を持つのは、私たちが訓練を超えたところに目を向け、それをロボティクスにおける信頼性を担保する全体的なパイプラインの一部として捉えたときであると考えております。もう少し詳しく知りたい方は、LinkedInで論文のプレゼンテーションをご覧いただけますし、Zoom GPTなど幾つかの論文もそちらにございます。GitHubのリポジトリにはCrazyflowを含むオープンソースコードも公開しております。また今年は実際のロボットによるデモも用意しており、水曜日の午後には展示エリアにて対話的な群集ナビゲーションのデモをご覧いただけます。
5.2 質疑応答
参加者： 一方には強固な保証を提供する手法があり、他方にはソフトウェアを提供する手法があると思いますが、これらの関係についてどのようにお考えでしょうか。
Angela Schoellig： これは連続的なものであると考えております。なぜかと申しますと、たとえ強固な保証と言っても、それは何らかの仮定に基づいており、その仮定が実際に正しいことをどこかで検証しなければならないからです。そしてそのためには、やはりデータ、実世界のデータが必要になります。逆に、私たちはこうした手法をすべてシミュレーション上で評価することもでき、これもまた検証の一つの方法であり、基本的には合成データを活用することになります。そして、自分が合成データに組み込んだバリエーションを信頼できるのであれば、ソフトな保証をハードな保証に近づけていくこともできると考えております。したがって、この二つは互いに近づいていくものだと思いますが、実は過去においても両者は共に存在していたのではないかと思います。例えば、飛行機がどのようにして安全性を検証されているかを人々に尋ねますと、そこでもまさにこうした両方の手法が組み合わされて用いられているのです。ですので、両方のアプローチが可能であると考えております。実際、深層強化学習に基づく方策は、実世界において非常に優れた性能を発揮しておりますが、それらは基本的に合成データを通じた検証によって成り立っているのです。
参加者： 二つ目の質問についてですが。
Angela Schoellig： すみません、二つ目の質問を失念してしまいました。ただ、ある程度申し上げられるのは、ロボティクスには様々な応用領域があるということです。少し言い方を変えさせていただきますと、私たちが構造化されていない動的な環境でロボットを本当に運用したいのであれば、合成データなしには何もできないと考えております。
参加者： End-to-Endの手法と、それ以外の手法についてはどのようにお考えでしょうか。
Angela Schoellig： これについては二つの方向性があり、おそらく研究コミュニティにおいても二つの流れが見られると思います。一つは、知覚と行動を完全に結合した、完全なEnd-to-Endの方策を目指す方向です。この場合、現在のシミュレーターにはまだ課題があると考えておりますが、シミュレーターの性能は着実に向上しておりますので、いずれ十分な水準に到達できるのではないかと考えております。もう一つは、知覚と行動を部分的に分離しておく方向です。すなわち、知覚モジュールから位置情報や意味的な理解などを得て、それを容易にシミュレーションに戻すことができるようにするという考え方です。この場合、センサーに関わる部分と行動に関わる部分を分離しておくことになります。あるいは、常に失敗する可能性があるという前提のもとで、最悪の場合には実際の安全ブレーキを備えておくという考え方も成立し得ると思います。
参加者： 現在のシミュレーターは、どの程度物理に基づいているのでしょうか。
Angela Schoellig： 現在、私たちのシミュレーターは基本的に物理ベースのシミュレーターです。ただ、これは完全に正確な言い方ではございません。一部の複雑な部分については、モデルを同定する際にニューラルネットワークを用いることもございます。これは主に低レベルの部分に関するものであり、大部分は物理に基づいております。
参加者： 実世界をシミュレーションに取り込むという点について、より一般的にはどのようにお考えでしょうか。
Angela Schoellig： ご質問を完全に理解できているか自信がありませんので、後ほど個別にお声がけいただければと思いますが、私たちが関心を持っている取り組みの一つは、実世界をどのようにしてシミュレーションに取り込むかという点です。コンピュータグラフィックスや3Dモデリングの分野では、既に素晴らしい成果が得られておりますが、そこには物理が組み込まれておりません。したがって見た目は完璧に見えるのですが、たとえば円錐が地面の上に本当に置かれているのかどうか、そこに実際にどのような力が働いているのかがわからず、実際には1ミリメートルほど浮いた状態で表示されているといったことが起こり得ます。私たちはまさに現在、この点について研究を進めております。すなわち、椅子が床の上に立っているという見た目だけでなく、椅子と実際に相互作用したときに何が起こるのかという点まで含めて、素晴らしい3Dグラフィックスに物理をどのように組み込むかということです。したがって、グラフィックスの分野で成し遂げられてきた進展を、ロボティクスにおいて本当に有用なものとするためには、まだ多くの情報が欠けているのではないかと考えております。ご質問をいただき、ありがとうございました。