※本記事は、[GCV @ CVPR 2026]にて行われたHila Chefer氏による講演「Is Scale All You Need? A Case for Native Generative Represen. Learn.」の内容を基に作成されています。動画の詳細情報は https://www.youtube.com/watch?v=wuNvKl4-NtI でご覧いただけます。本記事では、講演内容を要約・再構成しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
Hila Chefer氏は、Black Forest Labsに所属する研究者であり、本講演で紹介されたSelf-Flowの研究に携わっています。過去にはMetaにおいてVideo Jamの研究に取り組んだほか、Stable Diffusion 1.4登場時期からAttend and Exciteの研究を行うなど、生成モデルにおける根本的な学習課題の解明に継続的に取り組んできました。
1. 導入:スケールだけでは解決しない根本課題
1-1. スケールという秘訣と、その限界への問い
本日はバーチャルではありますが、皆様とご一緒できて大変嬉しく思います。この場にいられなかったことをお詫びするとともに、今日はネイティブな生成的表現学習を、統合的な形で実現するための一つの提案についてお話しさせていただきます。私自身の自己紹介スライドも用意していたのですが、Adamが素晴らしい形で私を紹介してくださったので、そちらは割愛させていただきます。
さて、この1年間に深層学習分野で見られた進歩には、もはや秘密ではなくなった「秘訣」がありました。それがスケールです。画像、動画、テキストといった領域を横断して、モデルを本当に機能させる鍵となった要素はスケールでした。そこで私たちが自分自身に問うべきことは、「スケールだけで十分なのか」ということです。つまり、ニューラルネットワークがその仕事を本当に上手くこなせるようになるために必要なのは、データと計算資源だけなのか、という問いです。
1-2. 動画モデルの物理法則破綻、6本指生成実験、人間の好みへの過学習仮説、言語モデルの類似例
この問いに対する最も有名な、あるいは悪名高い事例として挙げられるのが動画生成モデルです。非常に真剣な研究機関が莫大な計算資源を投じてトレーニングしているにもかかわらず、動画モデルはモーションや物理法則の表現において依然として著しく苦戦しています。ただ、私がここで注目したいのは、もう少しシンプルで、一般には「解決済み」とみなされているものの、私自身はまだ解決されていないと考えている事例です。それは手の生成という、かつて画像生成モデルにとって非常に難しかった問題です。
実は、この講演の直前に、テキストと画像を同時に生成するモデルを使ってある画像を生成してみました。今回は「5本の指すべてがカメラに向かって見えるような、手のクローズアップ」を生成するよう指示したところ、モデルは非常に良い結果を出しました。しかし、続けて別のことを試しました。「今度は5本ではなく、6本指の手を生成してほしい」と指示したのです。すると、モデルはこれに大きく苦戦することが分かりました。
つまり、カウンティングや関係性の理解といった問題について、表面的には解決できているように見えても、実際に私たちがやっていることは、モデルを人間の好みに対して過学習させているだけなのではないか、というのが私の見方です。私の意見では、私たちはまだ本当の意味での根本的な学習上の課題を解決できておらず、モデルの内部にはその課題が依然として残っています。ただ、人間の好みに対して過学習させることで、その問題が見えなくなっているだけであり、表面の下には確実に存在し続けているのです。
そして、これは視覚モデルに限った話ではありません。言語モデルにおいても同様のことが起きており、これは今や私たちだけでなく、私たちの親、もしかしたら祖父母までもが使うようなモデルです。ここで一つ、Opus 4.7がリリースされた際に話題になったツイートをご紹介します。そこには「ついにAGIに到達したことが確認された」という文言とともに、あるユーザーが「straw berryの中にpeaはいくつあるか」と質問しています。モデルは「strawberryの中にpeaは2つある」と回答し、さらにユーザーのスペルミス(straw berry)まで訂正してしまっています。このように、カウンティングや関係性の理解といった非常に直感的でシンプルな問題について、モデルは膨大な資源でトレーニングされているにもかかわらず、依然として大きく苦戦しているのです。
この2年間、私の研究はまさにこうした種類の問題、すなわち「なぜこれがうまくいかないのか」という問いに強く焦点を当ててきました。これは、Stable Diffusion 1.4が登場した頃から、私自身が強く惹きつけられてきたテーマでもあります。次の章では、この問いに取り組んだ最初の研究であるAttend and Exciteについてお話しします。
2. 明示的事前知識による個別問題解決の系譜
2-1. Attend and Excite:conjunction問題とクロスアテンションによる解決
これが私が最初に手掛けた研究であり、Attend and Exciteと呼ばれるものです。Attend and Exciteにおいて私たちが着目したのは、conjunction、例えば「犬と猫を同じシーンに」といった指示を出した場合の生成結果でした。実際にこうした指示を出すと、50%から60%程度のケースで、犬が2匹生成されてしまったり、猫が2匹生成されてしまったり、あるいは犬と猫が奇妙に混ざり合ったような生成物になってしまうことが分かりました。Attend and Exciteは、基本的にこうしたconjunctionの問題を解決することを目指した手法です。
その際に私たちが用いた手法は、実はとてもシンプルなものでした。私たちが発見したのは、画像生成モデルのクロスアテンションマップが、実際に何がどこに生成されるのかを正確に示しているということでした。ここで「crownをかぶったlion」という例を挙げますが、これはデノイジングの最初のステップにおけるクロスアテンションマップです。このマップを見ると、lionというトークンについてはアテンションの活性化が高いため生成されることが分かり、一方でcrownについては活性化が全体的に低いため生成されないことが予測できます。
そこで私たちが行ったのは非常にシンプルなことで、lionとcrownの両方のトークンについて、高いアテンション活性化を持つようモデルを促すという手法でした。これによって、この問題が実際に解決されることが分かりました。なぜこの講演、つまり表現学習についての講演で、私がAttend and Exciteを紹介しているかというと、これはconjunctionのような特定の問題を、明示的な事前知識を用いて解決した一例だからです。この場合における明示的な事前知識とは、クロスアテンションマップから抽出したセグメンテーションマップのことを指します。
2-2. Video Jam:オプティカルフローによるモーション改善と、両手法に共通する限界
これとよく似た取り組みを、私はMetaに在籍していた際にも行いました。それがVideo Jamという研究で、動画生成モデルにおけるモーションの問題に取り組んだものです。当時、Soraが最先端のモデルであり、私たちはこのプロジェクトを通じて、それほど多くのデータを使わずにモーションの表現を大幅に改善することができました。これはインターンシップのプロジェクトとして行ったものです。
私たちがこの改善のために採った手法もまた、明示的な時間的事前知識を用いるものでした。具体的には、RGBのピクセルをデノイズすることに加えて、オプティカルフローの表現もRGB空間内でデノイズするようにしたのです。つまり、モデルに対して、見た目の情報だけでなくモーションの情報も明示的にデノイズできるよう強制したということになります。
ただし、Attend and ExciteとVideo Jamに共通しているのは、どちらも明示的な事前知識を用いているという点です。Attend and Exciteではクロスアテンションという形で意味的なセグメンテーションマップを用い、Video Jamではオプティカルフローマップという明示的なモーションの事前知識を用いました。しかし、私たちが今後目指したいのは、あらゆるものを理解できる汎用的な視覚知能モデルを訓練することです。そうしたモデルは、モーションについても、conjunctionについても、関係性やカウンティング、物理法則についても、あらかじめ理解している必要があります。
そうなると、解決したいと考えているあらゆる個別の問題に対して、手作業による事前知識をモデルに蒸留していくというアプローチは、事実上不可能に近い、あるいは現実的ではないということになってきます。私たちが本来目指すべきなのは、モデルがデータそのものからこれらの事前知識をすべて学習してくれるような、堅牢で十分な学習目的関数を持つことであり、そうすれば事後的に個別の事前知識を蒸留する必要がなくなります。なぜなら、そうした蒸留を行わない限り、モデル自身はそれらを理解できていないからです。
3. Self-Flowの出発点:局所性バイアス仮説とRePAの検証
3-1. 局所性バイアス仮説と、生成モデル・表現学習の対比
本日皆様にお話ししたい研究はSelf-Flowと呼ばれるもので、これはBlack Forest Labsにおける私たちの最新の研究です。私たちがここで行っているのは、まさにこの点に対する取り組みです。すなわち、事後的に問題を見つけて修正するのではなく、実際の学習パラダイムそのものに取り組むということです。それでは、こうした問題が実際どこから生じているのかを理解していきましょう。
なぜこうした問題が起きているのか、あるいは生成モデルの学習方法の何がそれほど悪いのか。ここでは視覚領域に焦点を当てていますが、もしかすると言語モデルにも並行する話があるかもしれません。Self-Flowの背後にある仮説は、モデルが「局所性バイアス」に苦しんでいるというものです。これはどういう意味かと申しますと、通常、生成モデルを学習する際には、それがどのような種類の生成モデルであっても、私たちは再構成損失を用います。
つまり、元の画像と生成された画像があり、生成された画像がパッチ単位で元の画像を再構成することを望むわけです。これはピクセル単位で正確であってほしいと考えます。そして、モデルが例えば猫の鼻のパッチを再構成しようとするとき、その鼻を再構成するために最も重要なパッチは、実際には鼻の隣接パッチであると考えられます。したがって、暗黙的にこのMSE損失は、私たちが主張し、あるいは仮説として立てているのですが、モデルを局所的な結合に焦点を当てさせてしまい、大域的な表現を学習することを促さないのです。
ここでいくつかの具体例を見てみましょう。冒頭のAttend and Exciteの例、つまり犬が2匹生成されてしまう例が、これを直感的に示しています。この画像の各パッチを見ると、実際には猫と犬の写真のパッチとして意味が通っているように見えます。しかし、画像全体として見たときには、大域的な表現、大域的な構造がずれてしまっているために、おかしく見えてしまうのです。これはSoraによる動画にも同じことが言えます。各空間的・時間的パッチを見ると、それなりに意味が通っているように見えるかもしれませんが、全体として見たときには大域的に辻褄が合わない、大域的にしっくりこないのです。
そこで問題となるのは、どうすればこれを修正できるか、あるいはどうすれば局所的な情報と大域的な表現の両方を学習することを促すような学習パラダイムを作れるか、ということです。生成モデリングと並行して、表現学習と呼ばれる非常によく研究され、確立された研究分野が存在します。私自身、生成モデリングと表現学習について考えるとき、このスライドのようなイメージを思い浮かべます。すなわち、局所対大域、粗対細という対比です。生成モデルの最終的な目標、その目的関数は、視聴者にとって高品質で高解像度に見えるコンテンツを生成することです。
したがって、生成タスクにおいては局所的な情報が非常に重要になります。しかし、表現学習タスクにおいて私たちが目指しているのは、大域的で意味的な抽象化、つまり高周波成分が取り除かれた表現を学習することです。つまり、この表現学習の分野は、現在の学習フレームワークで欠けている部分を補完するものとして捉えることができます。そこで立てた仮説は、もし私たちが良質な大域的・意味的な表現を学習できるのであれば、外部の事前知識は不要になるのではないか、というものです。なぜなら、Attend and Exciteにおけるセマンティックセグメンテーションや、Video Jamにおけるオプティカルフローといった外部の事前知識が必要だったのは、モデルがそれらの大域的な表現を自ら発展させることができなかったからです。
3-2. RePAの手法と効果、DinoV2Bパラドックス
これが私たちの仮説だったわけですが、実は私たちが表現学習と生成モデリングを結びつけようとした最初のグループというわけではありません。おそらく最近この取り組みを行った最も有名な論文はRePAです。RePAが行っていることは、右側にある拡散モデル、この緑色のモデルを取り上げ、これはデノイジングという、これもまた局所的な目的関数を持っているのですが、そのモデルの中間層を取り出し、それを完全に別の事前学習済みエンコーダ、すなわち表現学習器であるDINOと整合させるというものです。DINOは非常に強力な表現学習器です。
これら2つのモデルは完全に無関係です。全く異なるデータで学習されている可能性もあります。この拡散モデルは情報をデノイズして高品質なコンテンツを生成することを学習しており、一方のDINOという表現学習器は、実は分類タスクで学習されています。それにもかかわらず、拡散モデルの表現を外部の表現学習器と整合させると、何らかの魔法のようなことが起きるのです。
実際にRePAの結果をいくつか見てみましょう。上段がSiT-XLをフローマッチングのみで学習したもの、下段がSiT-XLをRePAで学習したものです。ここでも、先ほどお話しした局所対大域という直感が当てはまります。元々は各パッチを見るとそれなりに意味が通っているように見えるのですが、大域的な構造は完全にずれてしまっています。そしてDINOと整合させると魔法が起き、私たちの直感にぴったり当てはまる形で、大域的な表現と大域的な構造が大幅に改善されるのです。
ここで皆様は、これは単にブートストラップの一例に過ぎないのではないかと思われるかもしれません。つまり、これを本当に長時間学習させれば、フローマッチングだけの方が最終的にはこのRePA損失よりも優れているのではないか、なぜならこのRePA損失はモデル本来の目的、すなわち生成とは全く関係のない別の目的関数だからです。しかし、これを極限まで学習させたとしても、論文中では700万ステップまで学習させたことが示されており、それでもRePAは元のSiTモデルよりも優れた結果に収束することが分かっています。私にとって今日に至るまで、これは非常に驚くべき結果です。これらは2つの異なるモデルであり、両者の間で特徴の整合を取ることがそもそもうまくいく理由などないはずなのですが、それでも魔法のようにうまくいくのです。
そしてこれは、SiT-XLがいかに良質な外部表現、あるいは良質な大域的表現を求めていたかを示しています。それでは、これほどまでにRePAが素晴らしいと語っておきながら、なぜSelf-Flowが必要なのでしょうか。その落とし穴はスケーリング則にあります。私たちはこの講演を、スケーリング則がいかに重要であり、それこそが深層学習を機能させている要素であるという話から始めました。
しかし、ここで私が「DinoV2Bパラドックス」と呼んでいる現象があります。RePAは、最も小さく最も弱い表現学習器であるDinoV2Bを用いたときに最も良い結果を出すのです。そして、DinoV2からDinoV3へとモデルをスケールさせたり、学習データを改善させたりすると、生成モデルの結果はかえって悪化してしまいます。つまり、スケーリング則が機能しないのです。
私たちは直感的には、表現を改善すれば生成もそれに比例して改善してほしいと考えます。そして、このスケーリング則の破綻は、これら2つが異なるモデルであり、異なる目的関数で学習されているという事実に起因すると直感的に説明することができます。そもそもこれがうまく機能したこと自体が、私にとっては奇跡的なことです。もしかすると他の方は違う意見をお持ちかもしれませんが、私にとってはこれがそもそも奇跡的なのです。そして、これら2つが根本的に異なるモデルであるがゆえに、スケーリング則が破綻してしまいます。
そこでSelf-Flowの発想は次のようなものです。「外部モデルから表現を借りてくるのはやめましょう。私たちの生成モデルとは何の関係もない外部モデルに頼るのではなく、両方の良いところを兼ね備えた学習パラダイムを実際に作りましょう」というものです。それはフローマッチングに基づいた生成モデルでありながら、表現学習も組み込むように学習フレームワークそのものを変えていくというものです。
4. Self-Flowの設計思想とアルゴリズム
4-1. 生成モデルへの表現学習の内在化とマスク付きオートエンコーディング
ここで見ていただいているのは、フローマッチングによる基本的なデノイジングプロセスです。純粋なノイズであるX1を、純粋な信号であるX0へと徐々に変換していきます。それでは、このパラダイムをどのようにして表現学習のパラダイムへと転換できるかを考えていきましょう。私にとって、非常に自然な候補となるのがマスク付きオートエンコーディングです。マスク付きオートエンコーディングについては、かなり単純化してお話ししますが、その基本的な仕組みは、完全な情報を見ることができる教師モデルと、部分的な観測しか得られない生徒モデルが存在するというものです。生徒モデルの側では、パッチの一部をランダムに完全に取り除き、マスクしてしまいます。そして生徒モデルは、この部分的な観測に基づいて、教師モデルの特徴を再構成することを求められます。
これが私たちの目的にとって有用である理由はいくつかあります。第一の理由は、大域的な表現を促すという点です。というのも、以前用いていたような局所的なバイアスをもはや利用できなくなるからです。あるノイズの乗ったパッチをデノイズしようとするとき、そのパッチは他のノイズが乗ったパッチと隣接している可能性が高いため、デノイジングという目的を達成しようとするならば、より大域的な結合、あるいはより長距離の結合に着目することが有利になります。もう一つの利点は、これが完全にモダリティに依存しないという点です。どのようなモダリティでも取り込むことができ、何をマスクしても構いません。そしてこれは、デノイジングのパラダイムとも非常に相性が良いという特徴があります。なぜなら、ノイズのレベルをマスキングの一形態として利用できるからです。情報をノイズでマスクすることができ、これはトークンを完全に取り除いたり黒塗りにしたりすることと等価になります。
そこで、拡散モデルを用いてマスク付きオートエンコーディングを行う素朴な試みをご紹介します。先ほど見たフローマッチングのプロセスを取り上げ、各ステップにおいて、パッチの一部をランダムに純粋なランダムノイズに置き換えるという方法です。これによって大域的な結合の問題を解決できるはずです。なぜなら、ノイズの乗ったパッチをデノイズするためには、隣接パッチもノイズが乗っている状態であるため、モデルは大域的な結合に着目せざるを得なくなり、一方でより長距離の結合はクリーンな状態が保たれるからです。しかし、実際にこの素朴な方法を試してみると、これは非常に性能が悪いことが分かりました。ここで比較しているのは、先ほどのRePAの実験と同じバニラのSiT、そして今お話ししたマスク付きオートエンコーダの実験です。この理由は、私たちが本来の目的、すなわち局所的な目的関数である、きめ細かく高周波で高品質な生成というタスクを忘れてしまっていたからです。この手法では、モデルが常に大量のノイズを見る状況を作り出してしまい、その結果、モデルは本来の生成モデルの目的であった高周波成分の生成に著しく苦戦することになります。したがって、大域的な学習と局所的な学習の両方をモデルが同時に学習できるような、両者の中間に位置する目的関数を見つける必要がありました。
4-2. 連続的マスキングの着想とDual Time Step Scheduling(DTS)
ここで、これからご説明するアルゴリズムの背後にある直感をご理解いただきたいと思います。この直感は、GANから拡散モデルへの移行から借りてきたものです。GANは実は1ステップでデノイズを行います。つまり、純粋なノイズから1ステップで純粋な信号へと移行します。そして拡散モデルにおいて私たちが行ったことの一つは、「これを緩和しましょう。二値である必要はありません。完全にノイズがある状態か完全にクリーンな状態かの二択である必要はなく、その中間のどこであっても構いませんし、段階的に進んでもよいのです」ということでした。ここでのアルゴリズムの発想は、マスク付きオートエンコーダについても同じことをしてはどうか、というものです。マスク付きオートエンコーダも二値である必要はありません。パッチは完全にノイズが乗っているか完全にクリーンであるかのどちらかである必要はなく、私たちはマスク付きオートエンコーダの連続版を作りたいのです。そこでは、モデルはその中間のあらゆる状態を見ることになります。
したがって、2つのノイズレベルは、こちらの左側でご覧いただいているような表現学習タスクのように非常に非対称な場合もあれば、TとSという2つのタイムステップが互いに非常に近く、局所的なタスクをシミュレートするような場合もあります。これがDTS、すなわちDual Time Step Schedulingの背後にある発想です。マスキングもまた、ノイジングと同様に連続的であってよいのです。
実際にこれを実践する方法としては、学習中に画像をノイズ化するために1つのタイムステップだけを引くのではなく、PTから2つのタイムステップTとSを引きます。そして、一部のパッチについてはTでノイズを乗せ、別の一部のパッチについてはランダムにSを選んでノイズを乗せます。TとSが互いに大きく異なるケースでは、こちらの左側でご覧いただいているような状況が生まれ、これはマスク付きオートエンコーディングをシミュレートすることになります。つまり、大域的な表現学習をシミュレートすることになるわけです。なぜなら、モデルは非常にノイズの多い情報を推論する必要があり、その際によりクリーンな信号を利用することができるからです。
一方で、TとSを互いに非常に近い値、例えばここでの0.4と0.4のようなケースとして引いた場合は、局所的な解決策、つまり高周波成分を与え、拡散のデノイジングを可能にする局所的な表現をエミュレートすることになります。したがって、モデルはTとSのあらゆる範囲についてデノイズすること、あるいはそれに対処することを学習する必要があります。
実際にこれを実践する方法としては、学習中に各トークンについてコインをランダムに引き、コインを投げて、確率RMでSを割り当て、確率1-RMでTを割り当てます。そして各トークンをその対応するノイズレベルにノイズ化します。こうすることで、あるバッチは表現学習タスクをシミュレートするような形になり、別のバッチは生成タスクをシミュレートするような形になります。そして、これこそが私たちがDual Time Step Scheduling、すなわち2つのタイムステップを選ぶ手法と呼んでいるものです。特徴再構成の目的関数がなくても、このDual Time Step Scheduling自体がすでにバニラのSiTよりも優れており、当然マスク付きオートエンコーダよりも優れていることが確認できています。
5. Self-Flowの実験結果
5-1. マルチモーダル検証と収束速度比較、スケーリング則の回復
Self-Flow全体としては、先ほどお話ししたマスク付きオートエンコーディングのパラダイムと似た構造になっています。DTS、すなわちDual Time Step Schedulingは、生徒モデルへの入力として、TとSという2つのタイムステップを混ぜ合わせたノイズを与え、教師モデルには、マスク付きオートエンコーディングにおけるのと同様に、TとSのうち小さい方のノイズレベルだけを与えます。そして、モデルは同時に2つのことを行うよう学習します。1つはデノイジング損失、すなわち生成タスクの目的関数であり、もう1つは表現学習の損失であり、これは生徒モデルが自らの部分的な観測に基づいて教師モデルの特徴を推測、あるいは補完しなければならないというものです。これによって、先ほどお話しした大域的な要素を得ることができます。
それでは、実際の結果をいくつか見てみましょう。表現整合を行う多くの論文は、主にImageNetでの結果を示していますが、私たちはImageNetを超えた範囲にまで検証を拡張することにしました。というのも、DINOはImageNetで非常に多く学習されているため、異なるデータ分布においてこれを観察することは非常に興味深いからです。ここでご覧いただいているのは、テキストから画像、テキストから動画、テキストから音声という3つのタスクにおける結果です。破線で示しているのが、表現整合を一切行わないバニラのフローマッチングパラダイムであり、RePAは常にこのバニラのフローマッチングよりも優れています。そしてオレンジ色で示しているのが私たちのSelf-Flowです。学習が進むにつれて、Self-FlowはRePAよりも速く収束していくことが分かります。また、RePAが頭打ちになる一方で、Self-Flowは改善を続けることも分かります。その理由は、モデルが生成に寄り添う形で、自ら良質な表現を学習するようになるためです。
スケーリング則こそが、そもそもこの研究全体の出発点でした。私たちは、RePAではスケーリング則が機能しないと述べましたので、Self-Flowではスケーリング則が機能することを示す必要がありました。ここでご覧いただいているのは、RePAとSelf-Flowを、モデルの深さごとに比較した結果です。深さ8、14、21、28という段階で比較しています。円が私たちの手法、三角形がRePAを表しており、これはCLIPスコアですので、値が高いほど優れているということになります。深さを増していくにつれて、私たちの手法とRePAとの差が実際に大きくなっていくことが分かります。つまり、モデルが大きくなるほど、外部の表現よりも自ら最適化した表現の恩恵をより大きく受けるということです。
この図についてもう一つ非常に興味深い点があります。より大きなスケール、すなわち深さ21と深さ28を見てみると、緑色の円で示されている深さ21の私たちの手法が、赤色の三角形で示されている深さ28のRePAを上回っていることが分かります。これはパラメータ数にしておよそ2倍の差があるにもかかわらず、そうなっているということです。つまり、より大きなスケールにおいては、Self-Flowを用いれば、パラメータ数が半分であってもRePAより優れた結果が得られるということです。そして、FLOPsで見ても同様の傾向が確認できます。私たちが実際に確認できたのは、モデルが自ら良質な表現を学習することを心底望んでおり、それを利用してより優れた大域的な表現を、生成に寄り添う形で学習しているということです。
5-2. マルチモーダル同時学習の利点と定性的結果
外部エンコーダを用いないことのもう一つの利点は、マルチモーダルなモデルを学習できるという点です。外部エンコーダを用いる場合、モダリティごとに個別の外部エンコーダが必要になり、それらすべてを同時に整合させて、一貫した良質な表現空間を作り出す方法は必ずしも明確ではありません。しかし、内部表現を用いる場合には、単純にマルチモーダルな学習を行うだけでよく、それがそのままうまく機能します。
ここでご覧いただいているのは、画像、動画、音声という単一のモデルを、Self-Flowとフローマッチングのそれぞれで学習した結果です。三角形の間の面積が、画像を中心にスケールした場合、動画を中心にスケールした場合、音声を中心にスケールした場合それぞれにおける、各モダリティごとの優位性を示しています。私たちが確認できたのは、これら3つのモダリティのうちどれか一つを重視させることができる一方で、それでもすべてのモダリティが同時に改善していくということです。つまり、モデルはすべてのモダリティに対して同時に良質な表現空間を学習できるということになります。
続いて、定性的な結果、視覚的な結果をいくつか見ていきましょう。冒頭でご紹介したAttend and ExciteやVideo Jamとは異なり、あの2つの研究では明確な目的、すなわち何を達成したいのかが最初からはっきりしていました。モーションを改善したい、conjunctionを改善したいというようにです。しかし今回は、学習パラダイムそのものを全般的に改善しているという違いがあります。ここでご覧いただいているのは、フローマッチングのみで学習したマルチモーダルモデルと、Self-Flowで学習したマルチモーダルモデルを、同じステップ数で比較したものです。私たちが比較的一貫して確認できたことの一つは、タイポグラフィ、すなわち文字の表現が劇的に改善するということでした。
これは、多くのユースケースにおいて確認された結果です。鏡に書かれた手書き文字であっても、もう少し長めのテキストであっても同様でした。このモデルは、それほど多くのデータや少ないステップ数で学習されたものです。「small small model, big dreams for B」というテキストの例もそうです。ガラス窓に書かれた場合、鏡に書かれた場合、ネオンサインに書かれた場合など、さまざまなバリエーションを試しましたが、この改善は非常に一貫して見られました。
もう一つ、少し嬉しくもあり、少し複雑な気持ちにもなる結果があります。振り返っていただくと、私は冒頭でVideo Jamについてお話しし、そこではモーションと物理法則の改善に多く取り組んだことをご紹介しました。これはSelf-Flowの、いわば嬉しい副次的効果と言えるものです。そして、これは先ほどタイポグラフィの改善を示したのと同じモデルです。つまり、このモデルはこれらすべてを同時に達成しており、それぞれの問題に対して個別の目的関数を用意する必要はありません。
これは、さまざまな種類のモーションにおいて一貫して確認できました。この例もまた、それほど長く学習していないモデルによるものですが、両方の生成結果は非常によく似た見た目になっています。なぜなら、同じモデルを同じデータで学習しているからです。同じ乱数シードから始めると、結果は非常によく似たものになります。ただし、片方は一貫性のある結果である一方、もう片方は完全に破綻した結果になっているという違いがあります。
6. ダウンストリームタスクへの応用と今後の展望
最後にお話ししたいのは、実は非常に興味深い方向性についてです。この講演を通じて、私たちは主に、この統合的な生成・表現学習という枠組みによって生成タスクそのものがいかに恩恵を受けるかについてお話ししてきました。しかし、私たちの生成モデルを、ダウンストリームタスクにも活用したいと考えるかもしれません。例えば、ロボティクスにおける行動予測などです。
そこで、これまでのすべてのスライドでお見せしてきたマルチモーダルモデルを取り上げ、行動予測も行えるようにファインチューニングしました。動画に加えて、モデルは7次元のベクトルを予測します。そのうち3次元がロボットアームの位置、別の3次元が回転、すなわち角度、そして残りの1次元がグリップ、つまり開いているか閉じているかを表します。そして、このロボットアームを用いたさまざまなタスクにおいて、私たちの生成モデルをファインチューニングしました。
例えば、ロボットアームがレッドブルの缶をつかみ、カメラに近づけるというタスクがあります。フローマッチングではこれに失敗する一方、Self-Flowはより優れた行動を予測できることが分かります。そして、この予測された行動をシミュレートすると、実際にタスクを遂行できることが確認できます。つまり、単に生成が改善されただけでなく、より頑健で、より優れた表現を学習するモデルが作られており、それがダウンストリームタスクにおいてもより有用であるということです。
もう一つ別の例として、ロボットアームに関する事例をご覧いただけます。ここでもSelf-Flowが成功する一方でフローマッチングは失敗するというケースです。つまり、モデルがダウンストリームタスクに対してもより優れた表現を学習できているように見えます。これは非常に興味深い結果です。
一方で、まだ私たちが解明できていないことが一つあり、それを明らかにすることは非常に興味深いだろうと考えています。それは、逆方向についても同じことが言えるのかという問いです。つまり、このモデルは、表現学習のみを目的として、生成的な目的関数なしに学習されたモデルよりも、優れた表現学習器であると言えるのかということです。これについてはまだ分かっておらず、さらなる実験が必要です。ただ、少なくとも私たちが生成モデルを非常に容易にスケールできるという能力を考えると、そのようなスケーリングに優れた表現学習器を作ることは、むしろこちらの方が容易にできるようになるのではないかと私は考えています。そして、その表現学習器もまた、生成的な目的関数がもたらす局所的な利点から恩恵を受けられる可能性があります。
したがって、これは今後の開かれた方向性ではありますが、少なくとも今回、生成モデルがより優れた表現から恩恵を受けるということは示すことができました。以上で私からの発表を終わらせていただきます。ご質問があれば、喜んでお答えいたします。