※本記事は、YouTube動画「Poster Flash Presentations (2 minutes each)」の内容を基に作成されています。動画の詳細は https://www.youtube.com/watch?v=HXCbSqZndE0 でご覧いただけます。本記事では、動画内で行われた各登壇者によるポスターフラッシュ発表の内容を要約しております。なお、本記事の内容は各発表者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. リアルタイム方策適応のためのオンライン学習フレームワーク(クアッドロータ制御)
1.1 手法概要
Presenter: 皆さん、こんにちは。今回発表させていただくのは、実世界において高速に方策を適応させるためのオンライン学習フレームワークです。私たちの手法の最大の特徴は、わずか数秒という短い時間で方策を実世界の状況に適応させられる点にあります。この枠組みの有効性を検証するために、クアッドロータの制御タスクを二つ用意しました。一つはホバリングの安定化、もう一つは軌道追従です。いずれのタスクにおいても、ペイロードの追加や風といった、実際の飛行環境で起こりうるさまざまな外乱を加えた条件で評価を行っています。
Presenter: 手法の全体像についてご説明します。まず出発点として、クアッドロータの簡略化された解析的な力学モデル、具体的には質点モデルを用意します。このモデルをもとに、微分可能シミュレーションを用いて、いわゆる解析的な方策勾配によって基礎となる制御方策を学習します。この基礎方策を、次に実機のハードウェアへとデプロイします。この段階では、実世界には未知の外乱が存在するため、シミュレーションと実世界との間にはギャップが生じますが、このデプロイの過程でデータを収集することが狙いです。
Presenter: 収集したデータは、残差力学ネットワークの学習に用います。この残差ネットワークの役割は、シミュレーション上の力学と実世界の力学とのズレを補正し、両者を整合させることです。重要なのは、この残差力学ネットワーク自体も微分可能であるという点です。つまり、質点モデルと残差ネットワークを組み合わせた全体のシミュレーションパイプラインが、依然として完全に微分可能な形で保たれているということになります。この性質を利用することで、方策の更新を非常に高速に行うことができ、更新後の方策は再び実世界へとデプロイされます。
Presenter: このプロセス、すなわち実機での収集、残差ネットワークの学習、方策の更新、そして再デプロイという一連の流れを継続的に繰り返すことで、私たちの手法は方策を実世界の状況に反復的に適応させていきます。実際に、2回から3回程度の反復を行うだけで、大きなシム・トゥ・リアルのギャップや未知の外乱に対しても、方策を十分に適応させられることが確認できています。
1.2 実験結果と考察
Presenter: 提案手法の性能を評価するため、二種類のベースラインと比較を行いました。一つは最適化ベースの適応制御手法であるL1 MPCで、もう一つは学習ベースの適応制御における最新手法であるDATTです。比較はホバリングタスクと軌道追従タスクの両方で実施しましたが、いずれのタスクにおいても私たちの手法は良好な性能を示しました。
Presenter: ここで特に注目していただきたい発見があります。DATTという既存の学習ベース手法は、分布外、いわゆるOOD(out-of-distribution)の状況に対してはうまく汎化できず、性能が低下してしまうことがわかりました。一方で、私たちの手法はそうした分布外の状況に対しても適応が可能でした。これは、残差力学ネットワークを介したオンライン適応というアプローチが、事前に学習した分布に強く依存しないという性質を持つことを示していると考えています。加えて、私たちの手法はPPOをベースとするDATTと比較して、サンプル効率および計算効率の面でも優れていました。適応にかかる時間についても、残差力学の学習には約3秒、方策の適応には約5秒程度と、非常に短時間で完了します。
Presenter: 実世界での実験映像についてもいくつかご紹介します。まず、視覚情報のみに基づくホバリング方策が、質量の追加や風による外乱に対して適応していく様子をご覧いただけます。また、シミュレーション上では継続適応の実験も行いました。これは、15秒ごとに風向きが反転するという時変的な外乱を加えた設定で、方策がこの変化し続ける外乱に対しても継続的に適応できることを確認したものです。
Presenter: さらに興味深い実験として、質点モデルで学習した方策を、より大きなシム・トゥ・リアルのギャップを持つ対象に適応させる試みも行いました。具体的には、物理特性や力学特性が大きく異なる、より大型のクアッドロータを用いた実験です。この場合でも、実世界上で直接学習を進めることで、8の字軌道の追従性能が徐々に向上していく様子が確認できました。詳細については、プロジェクトサイトにてPDF資料や動画へのリンクを公開しており、コードもオープンソースとして公開していますので、ぜひご覧ください。
2. 自律レーシングのためのB-splineタイヤモデリング
2.1 課題設定と手法
Patryk Gicki: こんにちは、Patryk Gickiと申します。本日は、自律レーシングのためのB-splineタイヤモデリングという研究について発表させていただきます。私たちの目標は、車両を自律的にレースさせることです。そのためにはRLかMPCのいずれかを用いることになりますが、どちらのアプローチを取るにせよ、車両の力学モデルが不可欠になります。
Patryk Gicki: その中でも特に重要なのがタイヤの力学モデルです。既存のタイヤモデルには、大きく分けて二つの系統があります。一つは古典的なモデルで、これは柔軟性や表現力に乏しく、特に簡略化された車両モデルと組み合わせた場合には、複雑なタイヤ特性を十分に捉えきれないという課題があります。もう一つはニューラルネットワークを用いたモデルですが、こちらは物理的な整合性に欠け、制御アルゴリズムによって容易に悪用されてしまう、つまり非物理的な挙動を突かれてクラッシュを誘発しやすいという弱点を抱えています。
Patryk Gicki: そこで私たちは、この両者のギャップを埋める中間的な解決策として、B-splineによるタイヤモデリングを提案しました。B-spline曲線を用いてタイヤの主要な特性を表現するというアプローチです。B-splineを用いる利点は、私たちが持っている物理的な事前知識をモデルに自然な形で組み込める点にあります。同時に、スケーラビリティにも優れており、必要に応じて表現力を拡張できるという比較的高い柔軟性も兼ね備えています。実際には、少量のデータから車両のモデルを学習する形を取っています。
2.2 実験結果
Patryk Gicki: 学習したモデルは、MPCの枠組みの中で利用することができます。ここでは、異なる種類のモデルを用いたレーシングMPCの走行例をいくつかお見せしています。残念ながら、ニューラルネットワークをベースとしたモデルはMPCの枠組みとの相性があまり良くなく、クラッシュを引き起こしてしまう結果となりました。そのため、ここでの比較対象は古典的なモデルとの比較に限られていますが、結果を見ていただくとわかる通り、B-splineによるタイヤモデルは最も良好なラップタイムを達成し、高速かつ安全な走行を実現しています。
Patryk Gicki: また、学習したモデルを用いて方策を学習し、シミュレーション上で走行させた結果についてもご紹介します。この方策は、学習に使用したものとは異なるトラックに対して、ゼロショットで実世界の自律レーシングに展開されました。この場合においても、B-splineによるタイヤモデルは、モデルベースの知覚手法や、TMEZやPacejkaといった古典的なモデルを上回る性能を示しています。ご清聴ありがとうございました。
3. デクスタラスハンドによる幾何認識型プッシュ・プル操作(GD2P/G-TOP)
3.1 動機と手法
Presenter: それでは、デクスタラスハンドを用いた幾何認識型の非把持型プッシュ・プル操作について発表します。まず問題意識からお話しします。物体を運搬する際、把持という操作は必ずしも理想的な手段ではありません。例えば、こちらの赤い箱の中にあるような、非常に薄くて大きな物体は、そもそも把持のためのアフォーダンスを持たないことが多いのです。そこで私たちは、GD2Pという手法を提案します。読み方はG-TOPとしています。
Presenter: この手法の核となる着想は、デクスタラスハンド、つまり多指の器用な手を用いることで、より豊かな接触モードと汎用性を実現できるという点にあります。デクスタラスハンドは、多様な物体やさまざまな接触方向に対応する上で有利であり、物体の力学をモデル化することの難しさを、学習ベースのアプローチによって補うことができます。この研究の貢献は主に三つあります。一つ目は、非把持型操作のためのデクスタラスハンドの姿勢を生成し、フィルタリングするスケーラブルなパイプラインです。二つ目は、実際にそれらのハンド姿勢を生成する、幾何情報に条件付けられた拡散モデルです。三つ目は、実世界での展開に用いるモーションプランニングの枠組みであり、加えて、ハンド姿勢を含む新規データセットも構築しています。
Presenter: 手法の流れとしては、まず物体のメッシュとハンド姿勢を入力として、幾何を考慮した目的関数のもとで、接触前のプッシュおよびプルの姿勢を最適化します。次に、物体の点群情報に条件付けられた姿勢生成用の拡散モデルを学習します。生成された候補姿勢は、まずシミュレーション上で検証され、続いてアームを含めた形で実世界での実行可能性が確認されます。そして、その中から最も性能の良いハンド姿勢を選択し、実世界で実行するという流れになります。
3.2 実験結果
Presenter: 評価にあたっては、異なる物体とハンドの方向を組み合わせた840回にわたる実世界試行を実施しました。方向については3種類を検証しています。また、ハンドの種類についても複数を試しており、その一例としてLeap Handを用いた結果もお見せしています。さらに、後ほど触れるマルチステップの計画についても検証を行いました。
Presenter: 定量的な評価では、GD2Pをいくつかのアブレーションおよびベースライン手法と比較しました。全体として、私たちの手法は他の手法を上回る傾向が確認されています。加えて、GD2Pはマルチステップの計画にも対応しています。映像でお見せしているように、ハンドは二つの異なる姿勢を取る必要があり、一度目のプッシュを行った後、二度目のプッシュのために別のハンド姿勢を選択するという流れになります。以上が発表内容です。ご質問はポスターセッションで承ります。
4. 双腕デモンストレーション生成のためのビデオ拡散モデル(Craft)
4.1 動機と手法
Jason: こんにちは、Jasonと申します。本日は、双腕デモンストレーション生成のためのビデオ拡散モデル、Craftについて発表します。まず一つ目の動機についてお話しします。これまでの研究では、背景、物体の種類、照明、そして身体構造の異なるロボット間でのクロスエンボディメントといった拡張が、それぞれ個別に行われてきました。しかし、これらすべてを組み合わせて同時に生成する研究はこれまでありませんでした。
Jason: 二つ目の動機は、既存研究がこうした拡張を行う際に、時間的な一貫性を維持できていなかったという点です。Craftは、双腕による模倣学習のためのオフラインデータ拡張を行う手法であり、クロスエンボディメント、背景、照明、カメラ視点、物体の色、三人称視点と手首視点を組み合わせた生成、そして物体姿勢の拡張といった、これら一連の拡張をすべて実行できるという特徴を持っています。
Jason: 手法の流れについてご説明します。まず第一段階として、軌道の拡張を行います。実世界でのデモンストレーションを収集した上で、デジタルツインを活用し、シミュレータ内でより多くのデータを生成します。この際、シミュレーション上で成功しているかどうかを検証することも可能です。生成した軌道はCanny edgeへと変換し、あわせて実世界から参照画像を取得します。さらに言語による指示文も作成します。これらすべてをビデオ生成モデルへの入力とし、今回はある特定のモデルを用いています。このビデオ生成モデルが、先ほど挙げたすべての拡張を生成する役割を担います。生成されたデータは、その後、双腕操作方策の学習に利用されます。
4.2 生成データと学習結果
Jason: ここで、検証したタスクの一例をお見せします。左側が二つのボウルを積み重ねるという制御用の映像、中央が参照画像、右側が生成された映像です。また、物体姿勢、色、背景、照明、そして三人称視点と手首視点それぞれについての拡張例もお示ししています。これらはすべてゼロショットでの生成となっています。加えて、Franka Panda以外のロボットへの生成例として、xArm 7を用いた生成結果もご紹介しています。ご清聴ありがとうございました。詳しくはウェブサイトをご覧ください。
5. 準最適コントローラ上でのオフラインRLによる全身移動操作
5.1 課題と手法
Snehal Johri: こんにちは、私はSnehal Johriと申します。TU DarmstadtのPearl Labから参りました。本日は、準最適なコントローラ上でオフラインRLを用いた全身移動操作について発表します。まず前提として、テレオペレーションだけでは記述しづらい全身的な振る舞いを学習する上で、合成データは非常に有用です。しかしながら、合成データそのものは依然として準最適なものにとどまります。MoMoBotのような手法では、こうした合成データを用いても全身方策がうまく機能することが示されており、有効性は確認されています。
Snehal Johri: ただし、そこには多くのリターゲット処理やフィルタリングが介在し、データを取捨選択する必要があります。全身の振る舞いは、全身コントローラのチューニングが不十分であれば準最適なものになりかねませんし、モーションジェネレータが完璧に機能していない場合には物体を損傷させてしまう可能性もあります。そこで私たちは、こうした準最適な振る舞いをあえてそのまま用い、オフラインRLによって模倣学習の結果を改善するというアプローチを提案しています。
Snehal Johri: 具体的には、まず全身モーションジェネレータを用いて大量の全身モーションを生成します。次に、これらすべての軌道に対して、単純な報酬関数を用いてスコアを付けます。例えば引き出しを開けるタスクであれば、エンドエフェクタが正しい位置に到達しているか、あるいは引き出しが実際に開いているかどうかを報酬の基準としています。その上で、オフラインRLを用いて良好な振る舞いをつなぎ合わせ、実世界へと転移させます。オフラインRLの内部では、報酬関数を基準としてどの振る舞いが最適でどれがそうでないかを判定するクリティックを学習し、その情報をもとに、advantage weighted diffusionという手法を用いて良好な振る舞いをつなぎ合わせています。
5.2 実験結果
Snehal Johri: この手法は、シミュレーション上でさまざまなタスクを用いて検証しています。例えば、引き出しを開けながら同時に別の引き出しを閉じるタスク、扉を開けながらそこを通過するタスク、あるいは片方の手で戸棚を開けながらもう片方の手で物体を中に入れるタスクなどです。シミュレーション上では大量のデータを生成することが可能であり、それを実世界へと転移させることもできます。実機では、左手で取っ手をつかみ、ベースと左腕を動かして戸棚を開けるという全身的な振る舞いを実行します。
Snehal Johri: それと同時に、右腕を動かして物体を中に配置するという動作も行っています。さらに、ロバスト性を確認する実験も行いました。ここでは、ユーザーが実際にロボットの方策を妨害するように介入し、例えば扉を閉めようとするなどの外乱を加えています。それに対してロボットは反応し、即座にもとの振る舞いへと戻って動作を継続することが確認できました。ご質問がありましたら、ポスターセッションにてお待ちしております。ありがとうございました。
6. 言語条件付きロボット操作のための言語アクションポリシー(SynthLA)
6.1 手法概要
Presenter: こちらの発表は、本日会場にいない同僚の代理として、私が担当させていただきます。同僚があらかじめ発表を録画してくれていますので、その映像をそのまま再生させていただきます。ご質問がありましたら、後ほどポスターセッションで改めてお受けいたしますので、その際にお話しできればと思います。
Video Narration(SynthLA発表者): 本研究では、SynthLAという枠組みを提案します。大量の実ロボットデータを必要とするVLAや、あらかじめ定義されたスキルに依存するLLMプランナーとは異なり、SynthLAは合成テキストデータのみから低レベルのロボット動作を学習します。まず、ユーザーからの指示文と、視覚検出結果やロボットの状態を記述した構造化テキストを組み合わせます。次に、学習時にはgeometric articleと呼ぶ仕組みを用いて、タスクを単純なサブスキルへと分解することで合成的な例を生成します。最終的に、言語アクションモデルがクローズドループでロボットの行動を予測し、実行中にロボットが継続的に環境へ適応できるようにしています。
6.2 実験結果
Video Narration(SynthLA発表者): SynthLAは、四つのテーブルトップタスク、すなわちリフト、ピックアンドプレース、移動、そして鍋を閉じるという動作で評価しました。その結果、合成的な学習データのみを用いているにもかかわらず、73%の成功率を達成し、OpenVLAを上回る性能を示しています。続く映像では、ロボットがこれらのタスクを実行しながら、動的なシーンや未知の物体にも適応していく様子をご覧いただけます。詳細な実験内容については、ウェブサイトをご確認ください。
Presenter: ご覧いただきありがとうございました。ご質問がある方は、ぜひポスターまでお越しください。お待ちしております。
7. 大規模シミュレーションによるゼロショット操作(MoMoBot)
7.1 手法概要
Presenter: 発表を始めます。本日は、大規模シミュレーションによってゼロショットの操作を可能にする研究、MoMoBotについてご紹介します。私たちが提案するMoMoBotは、大規模な合成データ、具体的には大規模シミュレーションデータのみを用いて学習されたVLAのファミリーであり、追加学習なしにゼロショットで実世界へと転移するという特徴を持っています。
Presenter: これまでの研究では、大規模なデータを用いることで印象的な汎化性能を示す事例が数多く報告されてきましたが、それらはいずれも実世界で収集されたデータに依存しており、転移性に乏しく、スケールさせることが難しく、また収集コストも非常に高いという課題を抱えていました。シミュレーションはこの課題に対する有力な解決策になり得ます。コストが低く、制御可能で、かつスケールさせやすいという性質を持つためです。
Presenter: そこで私たちは、MoMoBot Engineという合成データ生成パイプラインを開発しました。これは、ヒューリスティックなデモンストレータを大規模に用いてデータを生成する仕組みです。具体的な流れを、ピックアンドプレースを例にご説明します。まず、MoMo Spacesに用意された10万を超えるシーンの中から一つを選択します。次に操作対象となる物体を選び、その近くに受け皿となるレセプタクルを配置し、その上でワークスペース内にロボットを配置します。シーンを設定した後は、照明、ロボットの関節角度、力学パラメータなどをランダム化します。そして、デモンストレータによって実際の動作をロールアウトします。このデモンストレータは、特権情報を伴う単純なステートマシンを用いており、失敗から回復するためのリトライ動作も含んでいます。
7.2 データセットと実機評価
Presenter: MoMoBot Engineを用いることで、大規模かつ極めて多様性の高い、強くランダム化されたMoMoBotデータを生成しています。このデータは、Franka DroidとRainbow RB-1という二種類のロボットに対して生成しました。他のデータセットと比較すると、MoMoBotデータの規模は非常に大きく、5,700時間を超えるデータと、94,000種類を超えるユニークな環境を含んでいます。
Presenter: このMoMoBotデータを用いて、MoMoBot、MoMoBot Spock、MoMoBot Pi Zeroという三種類の方策を、Franka DroidとRainbow RB-1という二台のロボット向けに学習しました。対象タスクは、剛体操作と移動を伴う関節物体操作を中心とする多様なタスクです。実世界での評価全体を通して、Mobile ALOHAの方策は非常に高いロバスト性を示しました。これらの方策は実世界データを一切見ておらず、タスクに特化した追加学習も受けていないにもかかわらず、強力なゼロショットのシム・トゥ・リアル転移性能を発揮しています。シミュレーション上の評価でも、既存の最先端ベースラインを一貫して上回る結果となりました。
Presenter: 実機の様子として、Mobile ALOHAのロバスト性を示す映像もご覧いただけます。エピソードの途中で環境を敵対的に変化させても、Mobile ALOHAの方策は問題なく対応します。カメラの姿勢も汎化の失敗要因となりやすい要素ですが、背景で人が動き回ってエゴセントリックカメラにノイズが入るような状況でも、ロボットは問題なく対応できています。また、Mobile ALOHAのレシピは、より高い自由度を持つ移動操作タスクにも拡張可能であり、この場合もゼロショットでのシム・トゥ・リアル転移を実現しています。お時間をいただきありがとうございました。ポスターおよびQRコードに掲載しているウェブサイトもぜひご確認ください。
8. GPU並列変形シミュレーションによる人型ロボットの布たたみ
8.1 手法とシミュレーション性能
Presenter: 私たちが構築したシステムは、精緻なNCPベースのソルバーを基盤としており、厳密な接触制約および変形制約を課しながら、GPUによる細粒度の並列計算を活用しています。シミュレータのみで生成した合成データによって学習された方策は、わずか数分の学習でありながら、頑健なゼロショットのシム・トゥ・リアル転移を達成します。私たちはこの方策を双腕の人型ロボットに実装し、1時間にわたる連続的なタオルたたみを実演するとともに、実世界における方策の回復能力についても示しています。
Presenter: パイプラインの流れとしては、まず実世界の変形可能な物体をモデル化し、GPUによって加速された私たちのコア上でシミュレーションを行います。次に、ロボットエージェントを統合し、シミュレーションデータのみを用いて操作方策を学習します。最終的に、これらの方策を実世界のシナリオへと実際にデプロイします。この一連の流れの中で、人型ロボットによるタオルたたみを学習しています。
Presenter: 私たちのシミュレータは、単一のRTX 5090上で、778,000を超える自由度を25フレーム毎秒で扱えるようにスケールしており、物理的な相互作用を正確にシミュレートすることが可能です。この枠組みの効率性を検証するため、単腕によるタオルたたみタスクをゼロから学習させました。シミュレーション映像では学習の進行過程を確認でき、エポック10、時間にして約4分の時点ではエージェントはまだ探索段階にありますが、エポック110、約40分が経過した時点で方策は収束に達します。この収束済みの方策を、そのまま直接実機へとデプロイしています。
8.2 実験結果
Presenter: さらに、私たちはこの手法を双腕による操作タスクにも拡張し、挑戦しています。Tシャツやズボンのたたみ動作は、より大きな変形を伴い、両腕間の精密な協調が求められるタスクです。シミュレーション上では、左側のTシャツたたみと右側のズボンたたみの両方において、複雑な力学を学習し、収束を達成できることが確認されています。学習した方策は、その後ゼロショットで実世界へとデプロイされました。シム・トゥ・リアルのギャップを埋めながら、私たちのシステムは実際の布の物理的な力学を効果的に扱うことができています。
Presenter: また、この枠組みが持つロバスト性と回復能力についても実証しています。特筆すべき点として、わずか40分という短時間の学習にもかかわらず、この方策は実世界における外乱、例えば人間によって布を引っ張られる、把持に失敗する、あるいは突発的な位置ずれが生じるといった状況に対しても、高い耐性を示すことが確認されました。
Presenter: 比較対象として、Isaac Sim、Newton、そしてGenesisという既存のシミュレータとの比較も行っています。これらのベースラインでは、剪断のような歪みや、意図しないほどけ、あるいは不自然な摩擦挙動といった不具合が見られましたが、私たちの手法は実世界の力学をより忠実に捉えており、正確な摩擦による固着や曲げの挙動を再現し、最も安定的でリアルなたたみ動作を実現しています。ソルバーの精度をさらに示すため、布と剛体の連成、複数の変形体間の相互作用、そして静止摩擦と動摩擦の間の精密な遷移に関する実験もあわせて提示しています。これらの結果は、私たちのシミュレーションコアが持つ性能上の優位性を裏付けるものです。ありがとうございました。
9. ソフトロボットのためのデータ効率的適応ドメインランダム化
9.1 課題と手法
Andrea Papavasiliou: 皆さん、こんにちは。Politecnico di TorinoのAndrea Papavasiliouです。本日は、ソフトロボットにおいてゼロショットでシム・トゥ・リアル転移を実現する、データ効率的な適応ドメインランダム化の手法について発表します。ここで扱う課題はリアリティギャップです。私たちは、ソフトロボットの方策をシミュレーション上で学習し、それを実機へとゼロショットで転移させたいと考えています。しかし、これは容易なことではありません。というのも、ソフトロボットは非線形な力学を持つ上に、部分観測性しか持たない、つまりすべての状態を観測できるわけではないという性質があるためです。
Andrea Papavasiliou: このギャップを埋める手段としてドメインランダム化という技術がありますが、標準的なドメインランダム化はチューニングが非常に難しいという問題を抱えています。そこで私たちは、単一の目標ドメインの軌道からダイナミクスの分布を推定し、その推定した分布を用いてドメインランダム化そのものを学習させるという手法を提案しました。
Andrea Papavasiliou: この手法はARと呼んでおり、シミュレーション上のロールアウトと実際の軌道とを一致させるように、パラメータの分布を探索して最適化を行います。私たちはこれをリセットフリーの方法で実現しています。つまり、各状態ごとに軌道全体をリセットしながら利用するのではなく、初期状態でのみリセットを行うという方式です。この設計により、環境の完全な観測可能性を必要としないという利点も得られます。さらに、私たちはホライズンスケジューリングという手法も導入しています。これは、最適化の過程でカリキュラム的な方法を用いながら、軌道の長さを徐々に増加させていくというものです。
9.2 実験結果
Andrea Papavasiliou: 結果として、私たちの手法はさまざまなシミュレーションタスクにおいて、推定フェーズでのパラメータ精度の面で良好な性能を達成できることが確認されました。しかし、それ以上に重要な点として、シミュレーション上でのみ学習した方策を、他のベースライン手法よりも優れた形で実機へと転移させることに成功しています。
Andrea Papavasiliou: まとめますと、これは部分観測環境向けに設計された、軽量かつオフラインの適応ドメインランダム化手法であり、ソフトロボットに対する効果的な転移のために活用できる手法です。ご質問がありましたら、ポスターセッションで私を捕まえてください。ありがとうございました。
10. 視覚ベースドローン飛行のためのモデルベース強化学習(Dream to Fly)
10.1 従来手法の限界と手法
Ismael: 皆さん、こんにちは。私はチューリッヒ大学のRobotics and Perception GroupのIsmaelです。本日は、視覚情報に基づくドローン飛行のためのモデルベース強化学習、Dream to Flyについて発表します。私たちはこれまで、明示的な状態推定を用いずにドローンレーシングを行う方法について研究を重ねてきました。つまり、RGB画像のみからレースを行うというアプローチです。
Ismael: 従来の研究では、この問題をゲート検出やゲートのエッジといった中間的な抽象表現を用いることで解決してきました。しかし、この方法にはいくつかの限界があります。例えば、シーン内のゲートを検出するために別の検出器が必要になる点、サンプル効率が非常に低い点、そして報酬がこの特定タスクに合わせて強く形作られてしまう点などです。
Ismael: そこで本研究では、こうした中間的な状態表現を用いず、RGB画像のみを直接利用してこの問題を解く方法を検討しています。具体的には、Dreamer V3をベースとした潜在ダイナミクスモデルとしての世界モデルを、三段階のプロセスで学習します。まずシミュレーション上でデータを収集し、方策を学習します。次に、その方策によって収集したデータを用いて世界モデルを更新します。そして、更新された世界モデルを用いて方策自体も更新します。この三段階のループを繰り返し実行していきます。
10.2 実験結果と気づき
Ismael: 最終的に、私たちはこの方策をhardware-in-the-loopシミュレーションを用いて実世界へとデプロイしています。これは、ドローンの力学については実機のものを用いる一方で、画像についてはシーンからレンダリングしたものを用いるという方式です。この設定を採用した理由は、RGB画像から学習するという観点そのものを検証したかったためであり、RGB画像自体をシーンから実世界へと転移させる部分は今回の検証対象としていません。
Ismael: さらに、興味深い創発的な性質についても調査を行いました。例えば、タスクとは無関係な追加のゲートをシーンに加えるという実験です。これらのゲートはタスクの遂行には関係がありませんが、視覚的な観測内容を変化させる要因にはなります。その結果、方策がこれらの追加のゲートの存在に応じて、その振る舞いを変化させることが観察されました。ご清聴ありがとうございました。ご質問がありましたら、ポスターにてお会いしましょう。
11. 拡散モデルによる全身軌道生成(人物-物体操作)
11.1 動機と手法
Ilya Sutskever: 皆さん、こんにちは。本日は、拡散モデルを用いて人物-物体操作のための全身軌道を生成する研究についてご紹介します。この研究の主な動機は、長期的なゴールとシーンが与えられたときに、そこに至るまでの全身軌道を得たいというものです。私たちは、これを典型的な接触計画アルゴリズムを用いずに実現したいと考えています。というのも、こうしたアルゴリズムは、より長い時間軸や複数の物体にわたる接触探索を必要とするため、計算コストが非常に高く、スケールしないという課題を抱えているためです。テレオペレーションによるシステムも同様にスケーラビリティに乏しく、そもそも多様な物体を含む十分なデータセットを用意できないという事情もあります。
Ilya Sutskever: そこで私たちが提案するのは、まず大規模言語モデルを用いて、高水準の行動計画を分解するというアプローチです。次に、テキストから画像を生成するモデルを用いて2次元のデモンストレーションを生成し、そこから接触点を転移させてターゲティングを行い、最終的にそれらのキーフレームによって誘導される軌道最適化を実行するという流れになります。接触点の転移については、画像上の実物体、あるいはシミュレーション上の物体を対象に、ファウンデーションモデルを用いて、どのピクセルがどのピクセルに対応するかという仮説を得ます。その上で、サンプリングベースの手法を用いて、二つの点群の間で最も適合する対応関係を探索します。
Ilya Sutskever: 最終的に、画像間で転移された接触点と、人間のデモンストレーションから得られる3次元の身体復元情報とを組み合わせ、これらのキーフレームによって誘導される軌道最適化を実行することで、目的とする軌道を得ています。
11.2 実験例と発展研究
Ilya Sutskever: 具体例をいくつかご紹介します。一つ目は洗濯かごを取りに行くというタスク、二つ目は台車を扱うシナリオです。後者では、物を持ち上げて配置し、その後台車を押すという一連の動作を行っています。
Ilya Sutskever: さらに、この研究の発展として、LLMによって誘導される木探索を用いることで、ロボットの軌道をゼロから生成できるようになりました。こちらでは、バナナに到達するというゴールが設定されており、その過程でロボットは複雑な接触を伴う動作を実行しています。そして、この軌道の上に学習したコントローラを載せることで、実機ロボットにおいてもこの動作を実行できることを確認しています。この研究については近日中に公開予定ですので、続きは映像に譲りたいと思います。ご質問やさらに詳しい議論をご希望の方は、ぜひポスターまでお越しください。ありがとうございました。
12. カテゴリ6D姿勢推定・把持のためのボトムアップ3Dアセット生成
12.1 課題と手法
Guillaume Dure: こんにちは。私はGuillaume Dureと申します。フランスのEcole Centrale de Lyonと、ドイツのTechnical University of Darmstadtの博士研究員です。本日は、3Dアセットをボトムアップに構築するという研究、すなわちカテゴリ6D姿勢推定およびロボットの把持のために、ゼロから整列済みの3Dメッシュアセットを高速かつスケーラブルに生成する手法についてご紹介します。
Guillaume Dure: まず動機からお話しします。一般に、2次元の分野では大規模なアセットが整備されており、この領域には非常に有名なファウンデーションモデルも存在します。しかし、3次元、あるいは6Dやロボティクスの分野になると、そうしたデータセットを手に入れることは非常に困難になります。具体的には、カテゴリ6D姿勢推定を例に取ると、データセットを構築する上で多くの制約が存在します。あるカテゴリについてモデルが正準的な知識を学習できるようにするためには、理想的には一つのカテゴリあたり数十万個規模のメッシュが必要になります。加えて、各物体について手作業によるアライメント、つまり位置合わせが求められます。例えばノートパソコンであれば、すべてのノートパソコンのメッシュを揃える必要がありますが、これは現状、手作業で行われるのが一般的です。さらに、こうしたデータセットを構築する際には、手作業によるフィルタリングも必要になってしまいます。
Guillaume Dure: そこで、この課題を解決するために、私たちはメッシュをゼロから生成するパイプラインを提案しました。一貫性とアライメントを確保するため、まず形状画像を生成するステップを設け、この深度情報からテクスチャ付きの画像を生成するように条件付けを行い、その後、適切な方法でメッシュにテクスチャを貼り付けます。これにより、生成されるすべてのメッシュが自動的に整列された状態になることを保証しています。
12.2 実験結果
Guillaume Dure: 私たちのパイプラインを用いることで、96%のメッシュが自動的に整列された状態で生成されることを確認しています。この生成パイプラインについては、各カテゴリごとに1,000枚の画像、1,000インスタンスを用いて評価を行いました。さらに、このデータセットをカテゴリ6D姿勢推定モデル、そして実世界におけるゼロショットの把持モデルの学習にも用い、その有効性を評価しています。ご質問がありましたら、ポスターまでお越しください。ありがとうございました。
13. 強化学習探索におけるリセットの役割
13.1 手法と気づき
Jesse Don: こんにちは。私はJesse Donと申します。この論文の著者ではないのですが、ObviousX Labのポストドクトラルフェローとして、Patrickの代理でラボを代表して発表させていただきます。この論文の動機は非常にシンプルで、強化学習における探索に対してリセットがどのような役割を果たせるか、という問いです。
Jesse Don: まず標準的なRLの問題設定について見てみましょう。ここでは、多数の狭い開始点、つまり非常に狭い分布の範囲内でリセットを行い、ランダムなガウス的な探索によってゴールを見つけようとします。ここに一つの軌道、また別の軌道、さらに別の軌道があります。ご覧の通り、2次元空間の中でランダムなガウス的な歩行を行いながら、いわば右往左往しているだけの状態になっていることがわかります。もしゴールがあの緑の星の位置にあったとすると、そこに到達するのは非常に困難です。
Jesse Don: 一方で、もし非常に広いリセット分布を用意し、ゴールの近くも含めてどこからでもリセットできるようにした場合、当然ながらゴールに到達するために必要なランダムノイズの量ははるかに少なくて済みます。これは非常にシンプルな着想ですが、重要な点は、狭い開始点の設定では報酬を見つけるために長いホライズンの探索が必要になる一方で、十分に多様なリセット分布さえ用意すれば、非常に短いホライズンの右往左往だけでも報酬を見つけられるようになる、ということです。
13.2 実験結果
Jesse Don: それでは、この着想によって何が得られるのでしょうか。報酬設計を一切行うことなく、また同一のハイパーパラメータのまま、この非常にシンプルな着想だけで、Furniture Benchの多数のタスクにシミュレーション上でスケールさせることができました。例えば、引き出しを差し込むタスクや、家具を組み立てるタスク、あるいは穴にキューブを挿入するタスクなどです。この手法は新しいタスクへの適用も非常に容易であり、これらは非把持型の動作が数多く学習されている新規タスクの例になります。
Jesse Don: 実世界への適用を考える場合の全体のパイプラインとしては、部分的な組み立て状態や把持の情報を収集し、多数のリセット状態を集めた上で、シミュレーション上で標準的なPPOのRL方策を実行し、そこからRGBデータセットをレンダリングすることで、シム・トゥ・リアル転移を実現するという流れになります。これにより、あらゆる場所からリセットするというこの非常にシンプルな着想だけを用いて、ゼロショットのシム・トゥ・リアル転移の一例を示すことができました。ここで得られる方策は、Isaac Simのみで学習されたRGBベースの方策でありながら、十分にロバストな性能を発揮します。以上です。ありがとうございました。
14. 人型ロボット模倣学習のための合成データ生成(Humanoid MimicGen)
14.1 手法概要
Kaylin: こんにちは。私はKaylinと申します。NVIDIAでリサーチサイエンティストをしております。本日は、人型ロボットの模倣学習のために合成データセットを生成する研究、Humanoid MimicGenについてご紹介します。この研究の着想は、少数の人間によるデモンストレーションを起点として、シミュレーション上で模倣学習を行うための大規模なデータセットを自動的に生成できるようにしたい、というものです。
Kaylin: 具体的には、人間のテレオペレータがVRのようなデバイスを用いて、例えば箱を棚まで移動させるといった一つのデモンストレーションを行います。その後、私たちのアルゴリズムであるHumanoid MimicGenを適用することで、ロボットや物体の初期状態が異なる、また世界の中の障害物への対応も含んだ、約1,000件規模の大規模なデータセットを合成します。この合成は、モーションプランニングとデモンストレーションの適応によって実現されています。
Kaylin: もう少し詳しく見ていくと、このシステムは三つのフェーズを統合しています。一つ目はロコモーションプランニング、つまりロボットのベース部分に関する計画です。二つ目はマニピュレーションプランニング、つまり上半身に関する計画です。三つ目はスキルアダプテーションで、これは接触が密なセグメントのみを適応させる処理です。これらを分解して見ていくと、まずマニピュレーションプランニングによってスキルを適用するための初期姿勢に到達し、次にロコモーションプランニングによって棚まで移動するための足取りの経路を計画します。その後、再びマニピュレーションプランニングのセグメントによって箱をスキルの前提条件となる位置まで移動させ、最後に配置に関するデモンストレーションの適応を行うという流れになっています。
14.2 実験結果
Kaylin: このデータ生成システムを用いることで、シミュレーション上の9タスクからなるベンチマークにおいて、成功率の高い人型VLA方策を学習するための大規模なデータセットを生成できることを示しました。この際、全身にわたる衝突を考慮した適応を行うことで、先行研究であるDex MimicGenを上回る性能を達成しています。さらに、実世界のデータとHumanoid MimicGenのデータを組み合わせて共同学習を行うレジームを、4種類のタスクを対象に実際にデプロイし、実世界においてより高いデータ効率を実現できることも示しました。
Kaylin: 具体例として、実データとHumanoid MimicGenのデータを組み合わせた場合と、実データのみを用いた方策とを比較した結果、成功率において25%の改善が見られました。また、より長い時間軸を要するロコモーションタスクについても、同様の効果を確認しています。さらに、シミュレーション上でデモンストレーションを生成する際に、この衝突を考慮した振る舞いを組み込むことで、障害物を回避できる方策を学習できることも示しています。ありがとうございました。
15. 最小限の視覚アライメントによるゼロショットSim-to-Real転移(Point Bridge)
15.1 手法と実験結果
MJ: どうも、MJです。私たちの研究であるPoint Bridgeについて発表します。Point Bridgeは、最小限の視覚的アライメントだけで、ゼロショットのシム・トゥ・リアル転移を実現する手法です。こちらの映像でもご覧いただけるように、多様な物体や背景のディストラクタが存在する状況においても機能するという特徴を持っています。
MJ: 性能の面では、ゼロショットの時点ですでに十分な性能を達成していますが、そこにわずかな実世界データを追加するだけで、さらに性能が向上することも確認しています。ポスターがすぐ後ろにありますので、よろしければぜひお越しください。ありがとうございました。