※本記事は、Georgia Gkioxari氏による講演「画像と言語を超えて:3D知覚システムの構築」(GCV @ CVPR 2026)の内容を基に作成されています。動画の詳細情報は https://www.youtube.com/watch?v=rKv2SE4tP60 でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. 導入:2D知覚システムの限界とSAM 3Dプロジェクトの概要
1.1 2D知覚システムの課題と3Dへの転換
先ほどAlashshaが指摘してくれた通り、今の多くのモデルが抱えている問題は、実は2つの2D知覚システムがあって、その間に言語インターフェースが挟まっているという構造そのものにあります。正直なところ、問題がビジョンエンコーダーにあるのか、それとも言語インターフェースにあるのか、それを切り分けるのは非常に難しいのですが、どこかに明確な問題があることだけは間違いありません。Alaに向けて申し上げたいのですが、これは私たちが今日議論したい前提そのものなのです。
そこで今日私がお話ししたい前提は、こうした2Dの知覚システムから脱却して、3Dの知覚システムを構築していく必要があるということです。つまり、画像から世界を3Dとして理解できるシステムを作るということです。これが私たちが取り組んできたことになります。
1.2 SAM 3Dの概要と汎化性能
多くの方々と一緒に構築したモデルの成果をいくつかお見せしたいと思います。こちらがSAM 3Dプロジェクトです。明日発表される予定のモデルになります。このモデルは、入力画像と、対象物を選択するためのポイント参照を受け取ります。そしてモデルの出力は、形状とテクスチャを含む3D再構成と、カメラを原点とする座標系における3Dシーン内での位置、つまり配置情報になります。これによって、シーンを構成する個々のオブジェクトの結果として、シーン全体を再構成することができます。
このモデルは、私自身も自信を持って言えるほど良い性能を発揮します。もちろん皆さんの中にも実際に試してみて、いくつかのミスや誤りを見つけた方がいらっしゃると思います。完璧ではありませんが、かなり良い出来だと思っています。そして重要なのは、汎化性能も持っているという点です。例えば、モデルが一度も学習したことのないモダリティである絵画についても、再構成することができます。「ソクラテスの死」というこの絵画に描かれた人物たち全員を再構成することができますし、この絵の中にある鎖、これは明らかに分布外のオブジェクトなのですが、それすらも適切な位置に、正しい配置で再構成することができます。あるいは、皆さんお気に入りの美術展示品、例えばルーブル美術館にあるニケ像なども再構成できます。本来はギリシャにあるべきだという話もありますが、それはまた別の機会に議論すべき話ですね。
このモデルはオープンソースとして公開していますので、皆さん自身で試すことができます。モデルの重みもダウンロードできますし、ご自身の画像をアップロードしてデモとして試すこともできます。
しかし今日私がお話ししたいのは、このモデルをどのように実現したかということです。この取り組みを可能にした背景にある考え方、そしてこのプロセスの中で私が興味深いと感じた技術的な細部についてお話ししたいと思います。このプロジェクトには18か月以上を要しました。
2. データとモデルの共進化という発想の転換
2.1 従来のAI成功法則とその限界
本題に入る前に、少しだけ現代のAIシステムを構築する上で大きな力を発揮してきた成功パターン、いわばAIの成功物語について振り返っておきたいと思います。私たちは新しい能力を実現したいとき、一体何をするでしょうか。答えは、大勢のラベラーを雇い、彼らにデータのラベル付けやアノテーションを担当してもらうというやり方です。そうすることで大量のアノテーション付きデータが生成され、それをモデルに供給します。つまり、データをスケールさせることでモデルをスケールさせ、成功を収めるわけです。これは実に成功しているレシピであり、私自身もこのやり方に何ら不満はありません。うまくいっているのであれば、わざわざ作り直す理由はありませんから。
しかし、この成功物語には一つ問題があります。残念ながら、この物語は3Dの領域ではそのまま通用しません。なぜなら、3Dにおけるデータのラベル付けは、多くの人手で担うことができないからです。専門知識が必要ですし、3Dアートの素養が求められます。Blenderのような扱いの難しい複雑なソフトウェアを使いこなせる人材が必要になるのです。そしてこれは3Dに限った話ではありません。専門知識を要するあらゆる分野、例えば生物学のように、費用の高い医師を雇わなければならず、しかもそう簡単には見つからないような分野でも、同様にこの成功法則は機能しません。
そのため私たちは、3Dの領域でこれを実現するために、データとモデルの間のシナジー、そしてその間を流れる関係性そのものを、根本から作り直す必要がありました。これはSAM 3Dプロジェクトだけでなく、私が学生たちと一緒に取り組んでいる他の多くのプロジェクトにも共通して当てはまる話です。
2.2 モデルとデータを相互接続する新しい発想
では、その代替となる発想はどのようなものでしょうか。ここでも引き続きモデルとデータという2つの要素が登場しますが、今度はこの両者が相互に接続されています。モデルが、自分がどのようなデータを生成してほしいのかを教えてくれるのです。モデルは、アノテーションやラベル付けとして何が必要なのか、自分を改善するために必要なラベルを収集するには分布のどの部分をターゲットにすべきなのかを示してくれます。
そして、そこで得られたデータをモデルにフィードバックしていくわけですが、そのためにはオンライン学習の技術を工夫して実現する必要があります。モデルがデータを導き、データがモデルを導くというこのシナジー、このサイクルこそを、私たちは繰り返し回し続けたいのです。それによって、容易には手に入らないデータであっても、性能を発揮できるモデルにたどり着くことができます。
誤解のないように申し上げておきたいのですが、これは人間のアノテーターがもう一切不要になるという意味ではありません。私が申し上げたいのは、このサイクルを通じたモデルとデータのシナジーによって、純粋なラベラー、つまり専門知識を持たない多数のアノテーターへの依存を減らすことができるということです。そしてその分、このサイクルだけでは得られないようなデータを提供してくれる専門家を探し、より高い対価を払うという選択肢を取ることができるようになるのです。
つまりこれは自己改善型のサイクルなのですが、SAM 3Dモデルにたどり着くためには、これを実際に実装し、実現可能にする必要がありました。私たちが出した答えは、実世界の3Dアノテーションを収集するための、モデル・イン・ザ・ループ型のデータエンジンです。これによって、希少で見つけにくく、しかも高コストである多数の専門3Dアーティストを確保する必要がなくなりました。彼らは大変な変わり者でもあります。実際に何人かと一緒に仕事をしたことがありますが、独特な気質の持ち主で、こちらの指示に素直に従ってくれるわけではありません。彼らにとって作品を作るということはアートそのものであり、指示通りには動いてくれないのです。それは彼らにとっては良いことですし、私たちにとっても、彼らに頼らずに済むという意味で好都合でした。
そして最終的に私たちがたどり着いたのは、Yes/Noという二択の判断だけで3Dラベルを取得するという方法でした。この単純なYes/Noの判断を通じて3Dアノテーションを獲得できるというのは、実に見事な発見でした。まさにこのモデル・イン・ザ・ループという仕組みこそが、これを可能にしたのです。
3. モデル・イン・ザ・ループ データエンジンの仕組み
3.1 3D専門アーティストの実情とYes/No判定という発想
先ほど申し上げた通り、私たちのソリューションは、実世界の3Dアノテーションを収集するためのモデル・イン・ザ・ループ型のデータエンジンです。これによって、希少で見つけにくく、しかも高コストである多数の専門3Dアーティストをわざわざ確保する必要がなくなりました。実際、私は何人かの3Dアーティストと一緒に仕事をした経験がありますが、彼らは独特な気質の持ち主で、なかなに一筋縄ではいきません。彼らにとってアセットを作るという行為そのものがアートであるため、こちらの指示通りに動いてくれるわけではないのです。それは彼らにとっては良いことですし、私たちとしても、そうした専門アーティストに依存せずに済むという点で好都合でした。
そして最終的にたどり着いたのが、Yes/Noという単純な二択の判断だけで3Dラベルを取得するという発想です。この二択判断を通じて3Dアノテーションを獲得できるということが分かったのは、私たちにとって非常に大きな収穫でした。まさにこのモデル・イン・ザ・ループという仕組みこそが、それを可能にしたのです。
3.2 データエンジンの具体的フローと段階的なドメイン移行
このモデル・イン・ザ・ループ データエンジンの具体的な流れをご説明したいと思います。まず、画像から出発し、人間のアノテーターにオブジェクトを選択してもらいます。これは非常に簡単な作業です。SAMモデルを使えば、アノテーターは対象物をクリックするだけで済む、とても扱いやすいインターフェースになっています。ですので、この作業は非常に容易にスケールさせることができます。私たちはアノテーターに対して、多様なオブジェクトを選んでもらうようお願いしています。それによって、形状やカテゴリーの幅広いバリエーションを、入力画像とオブジェクト選択の組み合わせとして確保することができます。
そうして得られたデータをモデルに入力すると、モデルはその3D形状についての予測を行います。モデルは複数の予測を出すことができます。これは生成モデルですので、複数のモードをサンプリングすることが可能です。そこで私たちがアノテーターにお願いするのは、モデルが予測した再構成の中に正確なものがあるかどうかを教えてもらい、それ以外は棄却してもらうという作業です。
もちろん、学習の初期段階でモデルの性能がまだ低いうちは、この棄却率は高くなります。しかしモデルの性能が向上するにつれて、棄却率は徐々に下がっていきます。こうしてラベラーがYesと判断したデータが3Dデータの一部となり、私たちはそれを収集してモデルにフィードバックし、モデルをさらに改善していきます。
まさにこのサイクルこそが、事前学習段階、つまり孤立した3Dアセットのみを使う段階から、次第に脱却させてくれるのです。孤立した3Dアセットは実世界とは大きくかけ離れたものですが、このサイクルを通じて、実際のターゲットドメインに近いデータ、すなわち実世界の画像に紐づき、コンテキストやオクルージョン、雑然とした環境、そして私たちが想像もしていなかったような多様な形状やタイプを含むデータへと、収集対象を移行させていくことができるのです。教会や飛行機のような構造物は、他の方法ではなかなか見つけることのできないアセットですが、私たちが最終的にターゲットとしたいのはまさにこうしたドメインです。そして、まさにこのドメインに対して3Dアノテーションを収集できるように選択していくのが、このモデル・イン・ザ・ループ データエンジンなのです。これが私たちのデータにまつわるストーリーであり、私たちがどのようにデータを獲得しているかということになります。
4. SAM 3Dモデルのアーキテクチャと学習手法
4.1 フローマッチングモデルとしてのSAM 3D
ここからは、予測を可能にし、それによってさらに良いデータを収集することを可能にするモデルの話に移りたいと思います。SAM 3Dモデルの構造は、このようになっています。色々と要素が詰まっていますが、慌てないでください。もっと多くの要素がありますが、これは大規模な生成モデルであり、フローマッチングモデルです。オブジェクトのマスクを条件として、3D出力を生成します。
このモデルを簡潔な数式で表すとすればどうなるかをお見せします。まずノイズ3D潜在変数があり、これは純粋なノイズから始まって、徐々にノイズ除去されていきます。そして画像による条件付けがあります。これは、モデルに対して、対象としてほしいオブジェクトを条件として与える画像です。それからタイムステップがあり、モデルが生成するのが3D出力ということになります。
私たちはこのモデルを条件付きフローマッチングという手法で学習しています。おそらく皆さんの多くはこの手法に馴染みがあると思いますが、一言で説明すると、条件付きフローマッチングとは、ガウシアンノイズのようなシンプルなソース分布から、条件付けシグナル、この場合は画像を条件としながら、データサンプルへとサンプルを輸送する、時間依存のベクトル場を学習する手法です。この図は、フローマッチングが実際に何をしているのかを非常によく表している図で、バークレーの大学院生から拝借したものです。
これが標準的な条件付きフローマッチングの目的関数であり、ラベラーが良いと判断した画像と再構成のペアを使って学習を行います。ところが、この標準的な目的関数でモデルを学習させると、残念ながらそのモデルは十分な性能を発揮できないことが分かりました。得られる再構成はそれなりに見えるもので、画像に描かれたオブジェクトらしく見えてはいます。しかし、精度の面でも、また滑らかさや対称性といった3Dモダリティ特有の、モデル化が非常に難しい他の要素の面でも、再構成に欠けている部分が多くありました。つまり、この目的関数によって、私たちはターゲットとなる3Dオブジェクトのマニフォールドには近づくものの、そこにたどり着くことはできていなかったのです。ですから、サンプルがそのマニフォールド上に位置するように、分布をシャープにするための何らかの工夫が必要でした。
4.2 DPO(直接選好最適化)の導入とその効果
私たちはしばらくの間、どうすればよいのか悩んでいました。そしてある時、自分たちが非常に非効率なことをしているのではないかと気づきました。私たちは画像とポジティブなラベルだけを使ってモデルを学習させており、事実上、ネガティブなラベルを捨ててしまっていたのです。なぜネガティブなラベルを捨てていたのでしょうか。ネガティブなラベルは実はとても有益な情報を持っています。2022年以前に機械学習に携わっていた方であれば、ネガティブから学習することの効果をご存知だと思います。私たちは、次トークン予測という枠組みに慣れきってしまい、常にポジティブなデータからポジティブに学習することばかりを行ってきました。しかしネガティブなデータは、何が正しくないのかを教えてくれるという意味で、実はかなり有益な情報を含んでいるのです。
そこで私たちは、これほどまでにシャープにしたかった分布を実現するための良い方法として、ネガティブラベルを目的関数に組み込むことを考えました。これは大規模言語モデルの領域で使われている技術を応用することで実現しました。DPO、つまり直接選好最適化(Direct Preference Optimization)という手法を使い、まさにこのネガティブラベルの活用を組み込んだのです。
この目的関数は、ポジティブに対する損失を最小化し、ネガティブに対する損失を最大化するという形になります。これによって、ポジティブラベルとネガティブラベルの両方を活用できるようになりました。そしてこのネガティブラベルは、私たちのモデル・イン・ザ・ループ データエンジンから自然と得られていたものでした。DPOがもたらした効果は非常に大きく、また言語領域での使われ方とはかなり異なるものでした。
大規模言語モデルにおいては、DPOはモードの選択のために使われます。つまり、選好データが示すモードだけをモデルが選ぶように誘導するためにDPOを行うわけです。しかし3Dの領域では、そして動画の一部の応用でも同様なのですが、DPOは分布をシャープにするために使われています。これによって幻覚を減らし、対称性や滑らかさを強制し、さらに画像への追従性を向上させることができます。
これはこちらの図に示されている通りです。画像への条件付けに対する忠実性が向上しているのがわかりますし、視覚的により良い再構成が得られるだけでなく、定量的にも改善が見られます。これは再構成に対する人間の選好評価の結果ですが、DPO導入後には、評価者がSAM 3Dの再構成を選ぶ頻度が大きく跳ね上がったことが分かります。
5. データエンジンの反復運用とコミュニティでの活用
5.1 サイクルの反復運用という工学的知見
DPOの効果が、SAM 3Dを構築する上で重要だった最初の技術的な発見だったわけですが、もう一つ、それよりも少し手続き的というか、エンジニアリング寄りの重要な発見がありました。それは、あのデータエンジンをきちんと機能させることの重要性です。私たちはこのモデル・イン・ザ・ループ データエンジンを持っており、これがデータを提供してくれるわけですが、そのデータを使ってモデルを教師あり学習させ、事後学習を行い、そのモデルを再びデータエンジンに戻して、さらに多くのデータを収集するという流れになっています。そして分かったのは、最終的な性能にたどり着くためには、この自己改善サイクルを何度も繰り返し回す必要があるということでした。
右側にお見せしているのは棒グラフで、それぞれの棒が、3週間ごとに学習されたチェックポイント時点でのモデル性能を表しています。つまり、3週間間隔で学習されたチェックポイントということになります。ここで見ていただきたいのは、このサイクルを何度も繰り返すことによって性能が向上していく様子です。皆さんはおそらく、ここで性能が伸び続けているように見えると思われるかもしれませんが、実はこの時点で予算が尽きてしまいました。つまりこのタイミングでプロジェクトが終了したのですが、私たちはその時点での性能には十分満足していました。皆さんにお見せしているのは、実際にリリースした時点での性能ですが、もちろん続けようと思えば続けられて、さらにモデルを改善できた可能性もあります。
5.2 コミュニティにおける活用事例
SAM 3Dがコミュニティの中で使われている様子を見るのは、非常に嬉しいことでした。ここでお見せしているのは、ロボティクスにおける活用例です。FAIR Roboticsのグループが、SAM 3Dによる再構成結果を使って、graspポリシーの学習に取り組んでいます。このように、SAM 3Dは3D再構成を前進させる、素晴らしいプロジェクトになったと感じています。ただ、多くの生成モデルと同様に、3Dというものは編集ができるようになると、さらに面白くなってきます。SAM 3Dのような画像から3Dへのモデルは、対象物の画像から3D再構成を生成することを可能にしますが、では、その形状に対して修正を加えたいと思ったらどうすればよいのでしょうか。
6. 3D編集モデルへの挑戦とデータ効率化の課題
6.1 3D編集タスクの動機と難しさ
先ほど申し上げた通り、多くの生成モデルと同様に、3Dというものは編集ができるようになると、さらに面白くなってきます。SAM 3Dのような画像から3Dへのモデルは、対象物が写った画像から3D再構成を生成することを可能にしてくれます。しかし、そこにさらに形状に対する修正を加えたいと思ったらどうすればよいでしょうか。例えば、植物の画像があったときに、その植物の上に赤い花を追加してほしいとお願いしたい場合です。単に画像から植物を再構成するだけでなく、私のテキスト指示に基づいて、追加された編集内容そのものも生成し、再構成してくれるモデルがあったらどうでしょうか。それが実現すれば、画像からの再構成だけでなく、生成可能なオブジェクトの範囲を訂正したり広げたりすることができるようになります。これはアート的な用途にも使えますし、様々なロボットポリシーを学習させる際のドメインランダム化のために、より多くのアセットを生成したいという目的にも使えます。
SAM 3Dによる驚くべき結果を目にした後、私たちが立てた問いは、SAM 3Dのようなフィードフォワード型のモデル、つまり一度の順伝播で完結するモデルでありながら、3D編集を行えるものを学習させることができるか、というものでした。ここで申し上げておきたいのは、このタスクがどれほど難しいかということです。これは決して簡単なタスクではありません。モデルは画像から3Dを再構成するだけでなく、テキスト指示に基づいて対象を局所化(localize)し、角度も含めて生成しなければならず、しかもそれらすべてを3Dで行う必要があります。つまりここには、生成における自由度が非常に多く存在し、うまくいく可能性よりも、うまくいかなくなる可能性の方がずっと多いということになります。
では、こうしたタスクを一度の順伝播で行えるモデルを、どのように学習させればよいのでしょうか。皆さんは全員機械学習に携わっている方々ですから、最初に思いつく解決策は、データを収集して学習させるというものだと思います。しかし、これは明らかに良い解決策、あるいは実現可能な解決策とは言えません。理由は2つあります。まず、フィードフォワード型の生成モデルは、非常に多くのデータを必要とするという点です。
6.2 データ収集アプローチの限界と発想の転換
すでにお話しした通り、SAM 3Dのデータを得るためだけでも、ある種のスキーマを考案する必要がありましたが、編集タスクにおいては事態がさらに悪化します。テキスト指示という追加の条件付けシグナルが加わることで、カバーすべき、そして収集・学習すべきデータの量が指数関数的に増えてしまうのです。つまり、こうしたモデルはデータを非常に多く必要とするということです。
しかし、3D編集のペアデータを収集するのは、コストがかかるどころか、実質的には不可能に近いことです。ですから、私たちは別の解決策を考案する必要がありました。そこで私たちが決めたのは、次のようなアプローチです。ここで「私たち」と言うときは、私の学生であるZichiのことを指しています。彼女にこそすべての功績があります。彼女は、「この同じプロセスを繰り返すのはやめましょう。代わりに何か違うことをやりましょう」と言いました。
つまり、モデルをゼロから学習させるのではなく、既存の画像から3Dへのモデルを、テキストによって「ステアリング(steering)」しようという発想です。すでに3D再構成に必要な表現を構築済みの、画像から3Dへの再構成における素晴らしい進歩の数々を活用し、その事前学習済みの表現をテキストによってステアリングしようと試みるわけです。そうすることで、ゼロから学習させるよりもデータ効率が良くなるはずだと考えました。
7. モデルステアリングによる3D編集の実現
7.1 ControlNet型アーキテクチャと新たなデータエンジン構築
では、このステアリングという発想を、実際にどう実装すればよいのでしょうか。どうすればステアリングを実際に操作可能な形にできるのでしょうか。私たちがたどり着いた解決策がこちらです。これが唯一の解決策だとは思っていませんが、一つの最初のアイデアとして、ControlNetタイプのモデルを構築するというものです。
まず、ベースとなる生成モデルから出発します。これがSAM 3D、あるいはTrellisにあたります。これは3Dモデル、3D再構成のためのモデルです。このモデルを活用したいと考えています。なぜなら、これは非常に多くのデータで学習されており、3Dオブジェクトについて、そして私たちが活用したいあらゆる事前分布について、多くのことを知っているからです。ですから、このモデルは維持しつつ、パラメータは凍結しておきます。
そして、その隣に、いわば「小さな兄弟分」として、ControlNetアーキテクチャを追加します。これはベースモデルによく似た構造をしており、テキスト指示を入力として受け取ります。そして、その出力はこれらの表現から得られます。私たちが手を加えるのは、このControlNetの部分だけです。もちろん、これを学習させる必要がありますので、そのためのデータを用意しなければなりません。ですから、何らかの方法でデータを考案する必要がありました。
そこで私たちは、もう一つ別のモデル・イン・ザ・ループ データエンジンを構築することで、これを実現しました。詳細は割愛しますが、これはSAM 3Dのときよりも少し複雑なものです。なぜなら、編集ペアを扱う必要があるからです。少し複雑ではあるのですが、これによって私たちは96,000件の3D編集ペアを収集することができました。
これらは、編集前の3Dアセットと編集指示、そして編集後の3Dアセットという組み合わせのタプルです。これらを収集して、このモデルの学習に用いています。この数が96,000件にとどまっているのは、こうしたデータエンジンを構築してこのようなデータを生成する過程では、多くのことがうまくいかなくなり得るためです。ですから、正しさを検証するために非常に厳格なフィルタリングを行う必要があり、その結果として96,000件という数字になりました。これ以上スケールさせるのは非常に難しく、それだけ困難なタスクだということです。ただ、このステアリングという発想があれば、この96,000件の編集ペアだけでも、強力なモデルを学習できるのではないかと期待しています。96,000件というのは、一般的にはゼロから何かを学習させるには十分とは言えない数字です。だからこそ、このステアリングという手法だけが、この規模のデータで学習を成立させてくれるはずだと考えているのです。
こうして、モデルもデータも揃いました。さあ、これで学習の準備が整った、と皆さんは思われるかもしれません。しかし、実はまだそうではありません。ここでも「タダ飯はない」という話になります。
7.2 局所最適解という課題とDPOによる克服
事前学習済みモデルをステアリングするという発想には、一つ注意すべき点があります。それは次のようなことです。アーキテクチャの構成上、そして最初の段階でControlNetがベースモデルの重みをそのままコピーしているという事情から、学習を始める前、つまりイテレーション0の時点では、私の編集モデルの出力は、画像から得られる再構成結果そのものになってしまいます。
つまり、テキスト指示を無視して、画像に描かれたオブジェクトそのままの3D再構成、いわば「編集なし」の解が出力されてしまうのです。そして、フローマッチングの目的関数がどのように定式化されているかという事情により、これが実は良い局所最適解になってしまうということが分かりました。イテレーション0における損失は実際に低く、つまりこれはモデルにとっての局所最適解になっているのです。
この「編集なし」の解が局所最適解になってしまっているため、これを乗り越えるための何らかの工夫が必要でした。では、この局所最適解を乗り越えて、モデルが編集後の解を再構成するように、編集前の解ではなく編集後の解を学習するように、どうすればよいのでしょうか。ここでも、先ほどと全く同じ発想、つまり分布をシャープにするためのDPOを使います。DPOというのはネガティブから学習する手法だと私はいつも表現しているのですが、まさにそれを用いるわけです。
私たちは、モデルに対して、編集後の出力こそが正しい解であると明示的に強制します。そして、編集前の再構成は間違った解であるということも、明示的に教え込みます。この目的関数は次のような形になります。2つの項から構成されており、編集後の出力に対する損失を最小化し、編集前の出力に対する損失を最大化しようとするものです。
そして、まさにこのDPOの目的関数があるからこそ、私たちはこの局所最適解を乗り越え、わずか96,000件のペアデータからの学習だけで、3D編集を実現することができるのです。これによって、例えば植木鉢の画像に対して「上に赤い花を追加する」という編集を行って再構成したり、あるいはチャイルドシートの画像に対して「背もたれを全部取り除く」という指示を与えて、そのオブジェクトを生成したりすることができます。あるいは3Dアセット生成の用途では、多くのゲーム会社がこのタスクに関心を持っているのですが、例えば「男の子のジャケットを赤に変える」といった指示に対して、その3D出力を得ることができます。そしてこれ以外にも多くの結果があり、Zichiが素晴らしいウェブページを用意してくれていますので、この新しい機能について実際に触って試していただくことができます。
8. まとめと今後への展望
8.1 3Dデータの希少性という中心課題と2つの解決策の総括
もう時間が来てしまいましたので、いくつかの要点をまとめてお話ししたいと思います。まず、最も重要な要点は、3Dデータは希少であるということです。3Dモデル、あるいは3D知覚システムを学習させようとするとき、私たちが何をするにせよ、この3Dデータの壁をどう突破するかを考えなければなりません。
これは決して簡単なことではなく、多くの思考を必要とします。そこで私は、2つの解決策を提案しました。これらが唯一の解決策だとは思っていませんが、有望なものだと考えています。1つ目は、モデル・イン・ザ・ループ データエンジンです。これは、アノテーションの質、ラベリングの効率、そしてモデルの性能を着実に向上させ続ける、あの自己改善サイクルのことです。
2つ目は、モデルステアリングです。これは、事前学習済みの表現をステアリングすることによって、3Dにおける新しい能力を実現する手法です。これらの表現は、本来は少し異なるタスクをこなすためにモデルを学習させることで得られたものですが、ステアリングを通じて、こうした新しいタスクへと導くことができる可能性があります。このモデルステアリングによって、必要な学習データが少なくて済む、つまりサンプル効率が良くなるのです。
ただし、この点には一つ注意が必要です。ステアリングという手法を用いる以上、局所最適解には気をつけなければならないという点です。
8.2 3D研究・ロボティクスへの熱意を込めた締めくくり
以上を踏まえて、皆さんにお礼を申し上げたいと思います。そして最後に申し上げたいのは、3Dは素晴らしいということです。もっと多くの人が3Dに取り組むべきだと感じています。正直に言うと、皆が言語ばかりに取り組んでいることに、少しうんざりしているところもあります。ロボティクスにたどり着くためには、私たちは3Dに取り組む必要があるのです。
これは、Bitter Lessonワークショップにいる友人たちには反対意見になってしまうかもしれませんが、あえて申し上げます。どうか3Dに取り組んでください。この講演が、皆さんにとって何かのインスピレーションになっていれば嬉しく思います。まだまだやるべきことはたくさんありますし、追求すべき創造的な方向性もたくさんあります。すべてがデータを積み上げることではありませんし、すべてがスケールアップすることでもありません。もっと知的に面白いことが、他にもたくさんあるのです。ですから、どうか取り組んでみてください。
ありがとうございました。それでは始めていただけますか。