※本記事は、Chelsea Finn氏による「[GCV @ CVPR 2026] Chelsea Finn - 物理的汎化の創発」と題した講演の内容を基に作成されています。本講演は、CVPR 2026におけるGCV(Generalizable Computer Vision)関連セッションの一環として行われたものです。動画の詳細は https://www.youtube.com/watch?v=zHenqzBZxm0 でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。また、Chelsea Finn氏に関する最新情報についても、あわせてご参照ください。
1. 汎用AIシステムの発展とロボティクスの現在地
1-1. 生成AI全体の発展タイムライン
本日は、身体性を持つシステムやフィジカルなロボットにおける汎化についてお話しします。これからご紹介するように、汎用モデルはこうした汎化を実現する上でかなり重要な役割を果たすことになります。まず、これからお話しする内容を位置づけるために、汎用AIの大まかで非常に近似的なタイムラインをご紹介したいと思います。
これは非常に、非常に不完全なタイムラインであることをあらかじめお断りしておきます。もし皆さんのお気に入りの論文やご自身の論文がここに載っていなかったとしても、どうかご容赦ください。
汎用AIシステムという観点で指摘しておくべき最初の重要な瞬間は、深層学習という手法が外部のベンチマークで初めてトップの成績を収めた時点だと考えています。これは、その特定の問題向けに設計されたわけではないアルゴリズムを使って、エンドツーエンドの深層学習によってその問題に対処できるという意味で「汎用的」でした。
そこから、おそらく2014年あたりを境に、個々のタスクごとにゼロから学習するのではなく、下流タスクの性能を押し上げるために汎用的な事前学習モデルが使われ始める流れが見えてきました。
そしてある時点、おそらく2019年あたりからは、単に汎用的な事前学習モデルというだけでなく、そのまま使うだけで汎化できるモデルが実際に登場し始めました。これは重要なポイントです。というのも、モデルをある程度の汎化性能を持つように調整するためにファインチューニングをする必要がなく、そのまま使えるということを意味するからです。
もう一点強調しておきたいのは、モデルがそのまま使えるようになったことに加えて、コンポジショナル(構成的)な汎化の強い兆候も見られるようになってきたということです。これがなぜ特筆に値するのかについては、この講演の後半で改めてお話しします。
1-2. ロボティクス分野特有の遅れと課題
一方でロボティクスに目を向け、フィジカルAIシステムを見てみますと、つい最近まで、私たちはこのタイムラインにすら乗っていなかったと考えています。というのも、数年前まで、研究プロジェクトの大多数はプロジェクトごとに独自のデータセットを収集し、そこからゼロで学習するというやり方を取っていたからです。これは、研究プロジェクトのたびにImageNetをゼロから作り直すようなものであり、明らかにスケールしませんし、明らかに汎化可能なモデルにはつながりません。
さらに、これもごく最近までのことであり、今でもある程度当てはまると思いますが、多くの場合、研究プロジェクトの評価に使われる実ロボットのタスクは、外部のベンチマークによってではなく、研究者自身によって定義されているという問題がありました。こうした理由から、コンピュータビジョンのコミュニティの人々は、ロボティクス分野で行われている研究の多くを、ある意味当然のこととして批判してきました。研究者自身が定義したタスクに対して、研究者自身がデータセットを収集しているとすれば、それは一種の過学習になってしまうからです。
とはいえ、この点についてはかなりの進歩があったと考えています。現在では、ロボティクス分野でも再利用可能なデータセットが整備されるようになってきました。そして最後の点、つまり研究者自身がタスクを定義しているという問題については、依然として多くの研究プロジェクトに当てはまると思いますが、他者によって作られたタスクをこれらのシステムがこなせるという強い証拠も出てきていると考えています。
この点について、全体のタイムラインの話に戻る前に、いくつかの具体的な証拠をご紹介したいと思います。
2. 研究者が定義していない実タスクでの実証
2-1. π06スターにおける実workflowの実践
最初にご紹介する例は、π06スターの研究からのものです。ここでロボットが行っているのは、実際にDandelion Chocolate Factoryという施設で人が日常的に行っているワークフローそのものです。具体的には、段ボール箱を組み立て、その箱にチョコレートの種類を示すラベルを貼り付け、そして棚に収納するという一連の作業になります。
このタスクが興味深いのは、ワークフロー自体が本物であり、ロボットが人の代わりにそのままそのワークフローに組み込まれるような形になっている点です。もちろん、他にも様々なワークフローがある中で、このワークフローを選んだのは研究者自身ではあります。ただし、そのワークフロー自体は研究者が作り出したものではなく、実際に現場で人が行っている本物の作業であるという点は、非常に心強い材料だと考えています。
2-2. World Humanoid Robot Gamesへの挑戦
もう一つご紹介したい例は、最近、ロボティクス研究者のBenji Holsom氏が、World Humanoid Robot Gamesという競技会に対してある種の物足りなさを感じ、現在のロボティクス手法にとって本当に挑戦となるようなタスクを自分自身で定義しようとした、という出来事です。彼には、「もしAI技術が洗濯物を畳めるなら、何でもできるはずだ」という世間の風潮に対して、実際にはそうではないという強い思いがありました。彼は、AIやロボティクスがロボット向けに汎用的で実用的なものになるためには、新しい技術を発明する必要があると感じていたのです。
そこで彼が実際に定義したのは、ピーナッツバターサンドイッチを作る、犬の糞を拾う、鍋を洗うといった、新しい技術の発明を要求するだろうと彼が考えたタスクでした。私たちは、先ほど触れたπ06プロジェクトに取り組んだ後、ちょっとしたサイドプロジェクトとして、標準的なモデルのファインチューニングだけを使って、これらのタスクのうちどれだけを解決できるか、特に何も新しいものを発明せずにどれだけ解決できるかを実際に試してみることにしました。
Benji氏のブログ記事では、5つのカテゴリーがそれぞれ金メダル・銀メダル・銅メダルという難易度順で設定されていました。私たちはこれらのタスクのいくつかをロボットに学習させてみて、実際に楽しむことができました。
まず1つ目は、バネ仕掛けで自然に閉まってしまうドアを開けるタスクで、これはファインチューニング済みのπ06モデルによる自律動作の映像です。これは最初のカテゴリーにおける金メダルタスクでした。次に、工具箱に鍵を挿し込んで南京錠を解錠するタスクにもロボットを学習させました。これも金メダルタスクであり、ある程度の器用さと精密さを測るものでした。さらに、鍋を洗うタスク、具体的には鍋の両面についた油汚れを洗い落とすタスクにもロボットを学習させました。これは長時間にわたる作業であり、かつ汚れを伴う作業でもありますが、こちらも金メダルを獲得しました。
以上が5つのカテゴリーのうち3つについての結果です。4つ目と5つ目の最後の2カテゴリーについては、使用していたハードウェアが物理的にそのタスクをこなせる能力を持っていなかったため、銀メダルタスクのみに挑戦しました。具体的には、靴下を裏返すタスクと、犬の糞を処理する袋を使って偽の糞(実際にはジェンガのブロックを使用しました)を拾うタスクです。ロボットはこれらのタスクについても、自律的に学習して成功させることができました。
私がこの件を取り上げている理由は、これが、何も新しいものを発明することなく、エンドツーエンドの学習と事前学習済みモデルだけで、研究者以外の人物が定義したタスクを、かなり決定的な形でこなせるということを示す、非常に説得力のある証拠になっていると考えているからです。そしてこれは、汎用的な身体性AIシステムの発展に向けた、良い一歩になっていると思います。
3. 人間とロボット間の汎化の創発
3-1. 人間動画データとロボットデータの共学習実験
さて、ここまででいくつかの障壁を乗り越えてきたわけですが、この講演で私がお話ししたいのは、右側のパラダイム、すなわち身体性を横断した汎化の創発、人間とロボットの間での汎化、そしてコンポジショナルな汎化の実現、さらにモデルがそのまま使えるようになるという方向へと、私たちを意味のある形で近づけてくれる最近の研究についてです。
では、どうすればこれを実現できるでしょうか。まず、人間とロボットの間での転移について見ていきたいと思います。ここで、私たちがこれから検討する内容と少し類似した、別の汎化の例を挙げたいと思います。それは、2017年あたりの時期に、言語モデルがある言語でできることを、まったく異なる言語へと転移させられるようになってきた、という現象です。
例えば、ピーナッツバターサンドイッチを作るというレシピが一般的でない文化圏の言語でモデルにそのレシピを尋ねたとしても、そうしたモデルは、その特定のレシピに関する学習データを持っていないにもかかわらず、それを実行できてしまいます。そしてこれは、ある程度のデータの規模と多様性が伴って初めて生まれてくる現象です。
私たちは、フィジカルなロボットについても同じようなことを実現したいと考えています。ただし、ある言語から別の言語への転移ではなく、あるロボットプラットフォームの制御から別のロボットプラットフォームの制御への転移、そして特に、人間の動画データからロボットへとデータを転移させることを目指しています。
私たちは、Open Cross-Embodimentという研究論文において、複数の身体性についてのデータで学習を行うと、対象の身体性のみのデータで学習する場合と比べて、対象の身体性における性能が向上するという、ある程度のクロスエンボディメント転移が見られることを確認していました。これは非常に有望な結果です。しかし私たちは、これをさらに一歩進めて、人間の動画データにしか現れない概念をロボットへと転移させたいと考えました。
そこで、ある具体例を見てみましょう。ここでは、データのみを変更し、モデルやアルゴリズムは変更しないという方針で取り組みます。まず、工具箱に対する基本的な運動スキル、例えば工具箱をラッチで留める、ラッチを外す、開ける、閉めるといった動作に関するロボットデータを収集しますが、工具箱全体を整理するタスクそのものについては収集しません。一方、人間のデータとしては、人が工具箱を丸ごと整理している動画を用意します。この動画では、大きなものを下に、小さなものを上に配置するという整理の仕方をしています。
私たちがやりたかったのは、このケースにおいて、π05モデルを人間の動画データとロボットデータの両方でファインチューニングし、ロボットにこの工具箱整理タスクを実行させることでした。このデータでファインチューニングを行うにあたっては、拡散モデルベースのロボットVLAモデル、具体的にはπ05モデルを使用し、画像を条件としてロボットデータにおける行動を予測すると同時に、人間のデータからの画像を条件として人間の将来の動きの軌跡も予測するよう学習させました。特別な転移学習の手法やドメイン適応の技術などは一切使用していません。
この結果、こうしたファインチューニングを行うと、ロボットは人間の動画に映っていたタスク、すなわち大きなものを下に、小さなものを上に置くという形で工具箱の中身を整理するタスクを実行できるようになりました。これはクローズドループの方策でもあり、例えば小さなネジを掴み損ねた際には、それに反応して自ら修正することもできました。一方で、人間のデータを使わずに、利用可能なロボットデータのみを使った場合、ロボットは整理タスクをこなすことができず、うまく転移が起こらず、単に任意の動作を行うだけで、すべての物を工具箱にきちんと収める結果にはなりませんでした。
この工具箱のタスクは、私たちが検証した5つの異なるタスクのうちの一つですが、定量的に見ると、平均して、人間のデータを使わない場合は10%程度の進捗しか見られず、ほとんど進展がありませんでした。これに対して、人間のデータを組み込んだ場合には、平均して70%の進捗が見られました。これは、人間の動画データにしか含まれていない概念が、実際にロボット上でのタスク遂行へと意味のある形で転移していることを示唆しています。
3-2. 事前学習データの多様性と表現の重なり
ここまでの結果も興味深いのですが、私が個人的により興味深いと考えているのは、そもそも何がこの人間とロボットの間の転移を生み出しているのか、という点です。具体的には、事前学習データが人間とロボットの間の転移にどのように影響するかを調べました。そのために、事前学習モデルにおけるデータの多様性の度合いを変化させました。最初は対象の身体性は同じままで、シーンの数やタスクの数だけを変化させ、その後、事前学習データに含めるロボットプラットフォームの多様性も増やしていきました。
そして、人間のデータを使った場合と使わなかった場合の両方で成功率を測定しました。この両者の差が、人間のデータを使うことによってどの程度の転移が起きているかを示す指標になります。まず分かったのは、事前学習モデルを使っていない場合、このデータで共学習を行っても転移はまったく見られないということでした。一方で、シーンやタスクの多様性を増やしていくと、人間の動画データを使うことによる転移がより多く見られるようになりました。
さらに印象的だったのは、多様なロボットの身体性のデータを追加すると、人間の動画データとロボットデータの間の転移が劇的に向上したという点です。これが意味するのは、人間データとロボットデータの間のこうした転移は、事前学習データが多様であるとき、特に多くの異なるロボットプラットフォームや身体性を網羅する多様な事前学習データがあるときに、初めて創発してくるということです。
これは非常に興味深い結果だと思います。というのも、通常、人間の動画データを使うと考えるとき、私たちは少量のロボットデータと大量の人間データを組み合わせることを想定しがちだからです。しかし、実際にこの結果が示しているのは、大規模で多様なロボットデータセットを収集すればするほど、人間データからより多くの恩恵を得られるということです。つまり、より多くの、そしてより多様なロボットデータを持っているときにこそ、人間データからより大きな恩恵が得られるのです。
もう一つ私たちが調べたのは、単なる定量的な性能だけでなく、VLAモデルが人間データとロボットデータをどのように内部表現として持っているか、という点です。そこで、モデルの最終層におけるVLAの表現についてt-SNEを行いました。事前学習を行っていない場合を見ると、人間データとロボットデータの表現は基本的に完全に分離していることが分かりました。事前学習の多様性を半分程度加えると、人間データとロボットデータの表現の間にある程度の重なりが見え始めます。そして、多くの異なるロボットの身体性を含む完全な多様性を持つクロスエンボディメントの事前学習データがある場合には、人間データとロボットデータの表現の間に、はるかに完全な重なりが見られるようになりました。つまり、多様なロボットの事前学習データがあるほど、人間とロボットの表現の間により明確な整合性が見られるということです。ここで念のため申し添えておくと、事前学習データの中には人間データは一切含まれていません。
まとめますと、多様なロボットデータによって、人間からロボットへの汎化の創発が見られるということです。人間データにしか現れないタスクにおいてより高い性能が得られ、また表現上の整合性もより強くなります。ここからは、さらに広い意味でのコンポジショナルな汎化と、事前学習なしにモデルがそのまま汎化できるようにする方法について見ていきたいと思います。
4. Out-of-the-boxモデルとコンポジショナル汎化への拡張
4-1. 大規模多様データと詳細な条件付けのレシピ
そのまま使えるモデルを実現するという最初の目標は、ファインチューニングを必要とするBERTのようなモデルから、そのまま使えるGPTのようなモデルへの移行に、ある程度類似したものだと考えています。現状、本当に良いロボットの方策を得ようとすると、基本的には常にファインチューニングが必要になります。これは、自然言語処理においてBERTのようなモデルを使う際のやり方と非常によく似ています。このことは、先ほどのオリンピック的なタスクの例でも、人間からロボットへの転移の例でも、そしてπ06スターモデルを開発する過程でも見てきました。つまり、高い性能を得たいのであれば、ファインチューニングを行う必要があるわけです。そして、モデルをファインチューニングしなければならないということは、実際には汎用目的のモデルを手にしているとは言えません。それは、各タスクについて、ロボットにあらゆることをやらせるのではなく、まずそれぞれのタスクごとにファインチューニングを行わなければならないということを意味します。
これが私たちが取り組みたい一つ目の課題です。そして二つ目がコンポジショナルな汎化です。ここで、2021年頃に発表されたDALL-Eモデルに立ち返りたいと思います。私にとっては、これがコンポジショナルな汎化について本当に説得力のある証拠が示された、最初の瞬間の一つだったと考えています。これが重要な画期であった理由は、まず第一に、このモデルがアボカドとは何か、アームチェアとは何かについてある程度の概念的な理解を持ち、それらの概念を組み合わせて、椅子にもアボカドにも見えるようなものを生成できることを示したからです。またこれは、モデルがより高いデータ効率を持つことも意味します。なぜなら、データの中にすべての概念の組み合わせが表現されている必要がないからです。これはつまり、実世界のさまざまな状況において、より優れた汎化が得られるということを意味します。
もう一点付け加えておきたいのは、このモデルは2021年当時、完璧ではなかったということです。時には、あまり椅子らしく見えないもの、場合によっては椅子にもアボカドにもあまり見えないようなものを生成してしまうこともありました。つまり、コンポジショナルな汎化の強い兆候を示してはいたものの、完璧に汎化していたわけではなかったのです。
そこで私たちは、コンポジショナルな汎化を示しつつ、そのまま使えるモデルを手に入れたいと考えました。この種のことを実現するための、実績のある試行錯誤済みのレシピは、十分に大規模で多様なデータセットを用意し、そのデータに十分に適合できるだけの容量を持つモデルを学習させることです。
そこで私たちはこれを実践することにしました。データセットの面では、利用可能なすべてのデータを使いたいと考えました。これには多様なロボットのデモンストレーションデータが含まれます。また、質の低いデモンストレーションデータも含まれます。さらに、方策自身が実世界で実際に動作した際に生成されたロールアウトデータも含まれます。加えて、人間の動画も取り入れますし、ウェブデータも取り入れます。これがデータ側の話です。そして容量の面では、より大きなモデルを学習させるという選択肢もありますが、このデータにうまく適合させる上で特に効果的だと分かったのは、モデルに対して詳細な情報をプロンプトとして与えること、しかもその詳細な文脈は、具体的には行動を予測する際に役立つような形で与えるということでした。
そして、こうした詳細なプロンプティングと、質の低いデータも含む多様なデータとを組み合わせることで、かなり強力な成果につながることが分かりました。
4-2. VLAモデルのアーキテクチャ設計
具体的には、私たちはビジョン・ランゲージ・アクションモデル、すなわちVLAモデルを学習させます。この研究では事前学習済みのバックボーンを使用し、観測を条件として行動を予測しますが、それだけでなく、タスクの指示についても条件付けを行います。
さらに、次にロボットが何をしようとしているのかについて、より詳細な情報を与えるサブタスクの指示についても条件付けを行います。これは、より大きな枠組みでのタスク全体の指示だけではありません。また、そのデモンストレーションや軌跡に関する情報、例えばそれがどこから来たのか、その品質はどうか、といったメタデータについても条件付けを行います。
そして最後に、場合によっては、サブゴール画像についてもオプションとしてモデルに条件付けを行います。これは基本的に、ロボットが目指すことのできる中間的なゴールの画像を示すものであり、このサブゴール画像は、サブタスクの指示よりもさらに描写性が高いものです。というのも、次にロボットがどこに到達しようとしているのかについて、画像全体の情報を提供してくれるからです。
こうした条件付けと詳細な情報のすべてが、モデルへの入力として与えられることで、質の低いデータも含む幅広いデータへの適合を助けてくれます。そして、実際にテスト時にこのモデルを使う際には、通常、どのメタデータやタスクの指示が適切かについては自分たちで判断できますが、サブタスクの指示やサブゴール画像については、別のモデルを使ってそれらを生成します。これは、モデルをどのように使いたいかによって異なります。
こうしたモデルについては、今回のケースでは別々のモデルとして用意していますが、実際にはこれらを共学習させ、単一のモデルにサブタスクの指示あるいはサブゴールの生成と、行動の予測の両方を行わせることも可能です。私たちは、今のところは単純にこれらを分けて行う方が少し簡単だと感じました。サブタスクの指示を生成する側は、より大きなタスクを次に取るべき直近のサブタスクへと分解する、上位レベルの方策になります。そして、サブゴール画像を生成したい場合の二つ目のモデルは、そのサブタスクの指示を入力として受け取り、画像空間における中間的なゴールを出力する、生成モデルということになります。
私たちはこのモデルを、先ほど述べたすべての多様なデータ、本当に多様なデータを使って学習させ、さまざまなことをこなせるかどうかを評価しました。これから評価結果としてお見せするものはすべて、ファインチューニングを一切行わない、そのままの単一モデルによる結果になります。
5. π07モデルの評価:定性・定量結果とコンポジショナル汎化の実証
5-1. 定性的評価と専門モデルとの定量比較
まず、いくつかの定性的な結果からご覧いただきたいと思います。ロボットは、そのままの状態でもかなり複雑なタスクをこなすことができます。例えば、左上では多様な洗濯物を折り畳む様子、左下では段ボール箱を実用的な速度で組み立てる様子、右下ではゴミを外に出す様子をご覧いただけます。そして右上でお見せしているのは、非常に精密なタスクで、極めて小さなネジをつまみ上げ、ドライバーを使ってロボットアームの試作品にそのネジをねじ込むというものです。
この右上のタスクは、実はこれまでファインチューニングによってのみ達成できていたタスクです。というより、正直に申し上げますと、こちらでお見せしているタスクのほとんどは、この研究以前は、性能を伴った形ではファインチューニングによってしか達成できていませんでした。
では、定量的に見た場合、そのまま使えるモデルという方向に進むにあたって重要な問いは、こうしたモデルが強力な専門特化モデルとどう比較されるか、そして特定のタスクに特化してファインチューニングされた方策の性能に近づけるかどうか、という点になります。私たちはまず、これを以前π06スターの論文で使用したタスクについて評価し、ファインチューニング済みの専門モデルと直接比較しました。その結果、黄色で示されているπ07モデルの成功率とスループットが、灰色で示されているファインチューニング済み専門モデルの性能と一致することが分かりました。実際、いくつかのシナリオでは、π07モデルがファインチューニング済み専門モデルの性能を上回ることも確認されました。
つまり、私たちのファインチューニング済みモデルと同等か、それを上回る性能を示したということです。こうした場合にπ07モデルが専門モデルを上回りうる理由としては、より広範なデータで学習されているため、下流のユースケースに対してファインチューニングを行う際に生じがちな過学習に比べて、より柔軟に転移できるからではないかと考えています。そして、前のスライドで示したRLベースの専門モデルだけでなく、教師あり学習ベースの専門モデルについても、同様の傾向が見られることを確認しています。
5-2. 家電・未見プラットフォームへの汎化テスト
そのまま使える性能を確認できたところで、次に、コンポジショナルな概念の汎化がどの程度見られるかを測定したいと考えました。まず一つ目のケースとして、エアフライヤーのような珍しい家電とロボットが対話できるかどうかを検証しました。この実験を始めるにあたって、私たちは実際に新しいエアフライヤーを購入しました。
具体的には、エアフライヤーを開ける、中に物を入れる、閉めるといった動作を、そのままの状態でこなせるかどうかをテストしました。ここで、大規模かつ多様なデータセットで学習を行う際にときどき起こることですが、この実験を行った後、最終的なモデルの学習に使うデータセット全体を確認したところ、実はデータの中にエアフライヤーはまったく含まれていないだろうと思っていたのですが、実際には約3エピソード分、エアフライヤーが写り込んだデータが存在していたことが分かりました。実際にはこれがモデルにほとんど影響を与えていなかったのではないかと考えています。というのも、そのデータの一部はまったく異なる文脈のもので、例えば産業用アームで撮影されていたり、コボットで撮影されていたりしましたし、他のケースでは、実際にはエアフライヤーと物理的にやり取りをしているわけではない映像も含まれていたからです。
とはいえ、これは、物をつかんで置く、物を閉めるといった概念を、データにほとんど登場しないエアフライヤーのような対象にも適用できることを示す兆候であると考えています。先ほどの動画では、Lucyがモデルに対してサブタスクの指示を実際に与えている様子をご覧いただきました。私たちはまた、こうしたサブタスクの指示のみを用いて、ベースとなるVLAモデルではなく上位レベルの方策だけをファインチューニングすることもできます。さらに、このケースでは実際にゴール画像を生成するものを学習させ、これによってサツマイモをエアフライヤーに入れるという長時間にわたるタスクを自律的にこなせるようになりました。
二つ目に行ったコンポジショナルな汎化のテストは、未見のロボットプラットフォームと未見のタスクを組み合わせるという試みで、具体的には、折り畳みの学習データがまったく存在しないロボットに、シャツを折り畳ませるというものでした。これは非常に器用さを要求されるタスクです。
私たちが持っていた折り畳みデータは、比較的低コストで小型のアーム、前方を向いた構成のロボットプラットフォームによるものばかりでした。そこで私たちは、まったく異なるアーム構成を持つ大型のバイアームUR5ロボットに、シャツを折り畳ませたいと考えました。このケースでは、このロボット上に折り畳みのデータが一切存在しないことを確実にしやすい状況でした。むしろ、このロボットについてはデータ自体が少なく、実機も1台しか所有していませんでした。また、このプラットフォーム上で折り畳み動作をテレオペレーションで行うこと自体がかなり難しく、そのため、以前このプラットフォーム上で折り畳みをテレオペレーションしようと試みたことすらありませんでした。
その結果分かったのは、右側で示しているこのプラットフォーム上には洗濯物を折り畳むデータがまったく存在しないにもかかわらず、ロボットは左側のプラットフォームからの概念を転移させてシャツを折り畳む方法を学習でき、基本的にタスクとロボットプラットフォームの間でコンポジショナルに汎化できるということでした。
総じて、ここで得られた大きな成果は、家電との相互作用という観点と、タスクとロボットプラットフォームという観点の両方で、かなり強いコンポジショナル汎化の兆候が見られたということです。定量的に見ると、こうした結果は、過去のモデルと比べてより多様性が高く、より詳細な条件付けを備えたπ07モデルにおいて、はるかに優れたものになっています。また、生成されたゴール画像を用いることが、特にこの種のコンポジショナル汎化に役立つことも分かりました。さらに、このタスクにおいては人間によるテレオペレーションに近い水準の性能にまで到達しており、このプラットフォーム上に洗濯物の折り畳みデータがまったくなかったことを踏まえると、これはかなり印象的な結果だと言えます。
5-3. データ多様性と条件付けのアブレーション実験
最後に私たちが実験したのは、多様なデータと詳細な条件付けがどれほど重要であるかを検証することでした。私はこれが実は最も興味深い実験だと考えています。
まず、データの多様性についてアブレーションを行いました。ランダムにデータのサブセットを取り除く場合と、最も多様性の高いデータを取り除く場合とを比較しました。その結果、保留されたタスクや保留された指示に対して、ランダムなデータのサブセットを取り除いても、性能はそれほど損なわれないことが分かりました。一方で、最も多様性の高いデータを取り除くと、こうした特定の汎化シナリオにおいて、性能が劇的に低下することが分かりました。
次に、特にメタデータ情報に関する条件付けについてもアブレーションを行いました。この点についてはいくつかの実験を行いましたが、その中でも特に、モデルの学習に含めるデータの量を変化させる実験を取り上げたいと思います。具体的には、品質の低いデータを徐々に多く加えていき、最後の20%のデータが最も品質の低いデータになるように設定しました。
その結果、メタデータによる条件付けを行わない場合、最も品質の低いデータを加えると、データを追加しているにもかかわらず、モデルの性能がむしろ低下することが分かりました。これはおそらく、低品質のデータであることを考えれば、それほど驚くべきことではないでしょう。一方で、メタデータを使った詳細な条件付けを行った場合には、低品質のデータを加えたときに、むしろ性能が向上することが分かりました。つまり、詳細なプロンプティングを用いることで、混在した品質のデータを含む多様なデータから、より多くの恩恵を得られているということです。
以上をまとめますと、π07モデルは私たちが以前ファインチューニングした専門モデルと同等か、それを上回る性能を示しており、これはある意味でBERTのようなモデルからGPTのようなモデルへの移行に類似したものだと言えます。そして、家電に適用されたスキルやロボットに適用されたスキルも含め、非常に強いコンポジショナルな汎化の兆候を示しています。なお、論文にはさらに多くの動画や実験が収録されており、ここでお見せした内容はすべて、単一のモデルをそのままの状態で評価した結果です。
6. まとめと今後の研究課題
6-1. 総括
まとめに入りたいと思います。私が最も伝えたい要点は、私たちがようやく、先ほどお示しした図の右側の領域に確かに位置するフィジカルインテリジェンスを目にし始めているということです。左側の領域ではなく、右側の領域に本当に足を踏み入れつつあると考えています。そして、そのまま使うことができ、汎化の強い形を示すロボットを開発するという点で、私たちはかなり長い道のりを歩んできたと思っています。
具体的には、家電への技能の適用やロボットプラットフォームへの技能の適用など、学習データの中には一度も見られなかった形での、コンポジショナルな汎化の非常に強い兆候を示すことができました。エアフライヤーのような稀にしか登場しない対象に対しても、物をつかむ、置く、閉めるといった概念を適用できましたし、折り畳みの学習データが一切存在しない大型のバイアームUR5ロボットにも、シャツを折り畳むという概念を転移させることができました。これらはいずれも、大規模かつ多様なデータセットと、詳細な条件付けという、実績のあるレシピの組み合わせによってもたらされたものです。
6-2. 今後の研究課題
また、今回お話しした汎化というテーマを超えて、他にも多くの未解決の研究課題があると考えています。
一つは、特に異なるクロスエンボディメントの状況において、どのようなデータを収集すべきかという点についての検討です。今回の発表でお示ししたように、事前学習データの多様性、特にロボットの身体性の多様性が、人間からロボットへの転移やコンポジショナルな汎化に大きく影響することが分かりましたが、こうした多様性をどのように設計し、どのようなデータを優先的に収集していくべきかについては、まだ検討すべき余地が大いにあります。
もう一つは、自己改善のためのより良いアルゴリズムについての検討です。これは、専門特化モデルからのデータを事前学習モデルへと還流させ、その性能に一致させることができたのと同じように、こうした自己改善の仕組みが、これらの事前学習モデル自体にフィードバックされ、さらに高い性能へとつながっていく可能性があると考えているからです。
さらに、メモリも重要な役割を果たすと考えています。PaLM-Eモデルには実際にメモリが組み込まれており、今年発表されたある論文で導入された形式のメモリを使用しています。ただ、多くのタスクにおいて、私たちはこうした文脈やメモリをモデルにどのように組み込むのが最も効率的かつ効果的であるかを考える必要があると思っています。というのも、多くの形式のメモリは、すべてのタスクに対してうまく機能するわけではないと考えているからです。
そして、詳細な条件付けが非常に有効であったのと同じように、より広範なメモリを備えることによっても、これらのモデルがさらに改善されていくのではないかと考えています。
以上で私の発表を終わらせていただきます。ご清聴ありがとうございました。それでは、質問を受け付けたいと思います。