※本記事は、Alan Yuille氏によるCVPR 2026 GCV(Generative Computer Vision)ワークショップでの講演「視覚言語モデルには3Dが必要だ」の内容を基に作成されています。動画の詳細情報は https://www.youtube.com/watch?v=3fwVlCnB4q4 でご覧いただけます。本記事では、講演内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
Alan Yuille氏は、コンピュータビジョン分野における著名な研究者であり、ベイズ的視覚理論の観点から視覚・認知科学の研究に長年携わってこられました。本講演では、視覚言語モデル(VLM)における3D・4D世界知識の必要性について論じています。
1. 講演の背景とVLMへの問題提起
1.1 講演の位置づけ
ありがとうございます。今回の発表は、このミーティングのテーマである3D生成モデルとは正確には一致していないのですが、少なくともタイトルに3Dという言葉は入っています。Adamに講演の依頼をいただいた際、私は「今のところ本当に良い3D生成に関する研究があるわけではないのですが、これについてなら話せますし、きっと面白い内容になると思います」とお伝えしました。
前日にこの講演の別バージョンをすでに聞いてくださった方が数名いらっしゃると思いますので、その点についてはお詫びいたします。ただ、少し慰めになる話をさせてください。私がコンピュータビジョンの研究を始めた頃に非常に尊敬していた方が、あるとき、ある講演について「理解したと思えるまでに3回聞く必要があった」とおっしゃっていました。ですので、当時に比べれば講演の質は向上しているのかもしれませんが、いずれにしても背景となる文脈からお話しさせてください。
現在、視覚を推論や言語と相互作用させ、さらに行動へとつなげようという関心が非常に高まっています。ここ数年、視覚分野における大きな潮流のひとつが視覚言語モデル(VLM)であり、これらは驚くべきことを実現できるようになってきました。VLMは、画像をテキストに変換し、それをLLMに入力するという仕組みで動作しており、テキストキャプション生成や視覚に関する質問応答処理において大きな成功を収めています。
1.2 VLMの成功と限界
私は、視覚が言語に従属するものではなく、それ自体が重要であると考える立場をとっています。その観点から申し上げますと、画像をテキストへと変換するというアプローチだけでは不十分だと考えています。この変換は、画像に含まれる情報のごく一部しか捉えておらず、そのことが3D的な世界の知識を必要とするタスクにおける性能に影響を及ぼしています。私の見立てでは、視覚言語モデルが本来持ちうる能力を十分に発揮するためには、知覚・推論・行動を統一的に扱うアプローチが必要であり、そのためには私が「3D・4Dの世界知識」と呼ぶものを捉える必要があると考えています。
1.3 書物由来の知識と身体的スキルの差
LLMは非常に多くの世界知識を捉えており、それは人々が本に書き記し、アクセスでき、モデルが学習を通じて抽出できるようなあらゆる知識に及びます。しかし、そうした形では決して捉えられない種類のスキルも存在します。例えば、サッカー選手をはじめとするスポーツ選手たちは、非常に高度な技能を伴う推論・行動タスクを遂行していますが、彼らがそれをどのように習得しているのかを考えてみますと、決して本から学んでいるわけではありませんし、しかも驚くべき速さでそれを実行しています。よく考えてみると、そもそも人間がこれほどのことをできるという事実自体が、ほとんど驚異的なことだと言えます。こうした能力は、瞑想的に世界と向き合いながら習得されるものであり、書物が提供できる範囲を超えています。
こうした問題に対するひとつの戦略として、単純にデータの量を増やし続けるというアプローチがあり、それで十分だと主張する人もいます。私はこの立場に対して異を唱えたいと思いますが、もちろん私が間違っている可能性は十分にあります。私自身は、長年にわたって抱いてきたベイズ的な視覚観に導かれてこの議論を進めています。
2. ベイズ的視覚観と3D世界表現
2.1 ベイズ的視覚研究の系譜
この会場にベイズ主義の考え方をお持ちの方はどれくらいいらっしゃるでしょうか。Adamのグループから何人か、そして私のグループからも数名いらっしゃいますが、それほど特別なことではありません。ベイズ的な視覚観は、特に数学的な背景を持つ方々にとって非常に魅力的なものであり、1980年代から1990年代、そしておそらくそれ以前からも支持を集めてきました。さらに遡れば、1960年代にこうした考え方に着手し始めたAlf Fernandoにその功績を帰することもできるかと思います。
数学的な背景を持つ方であれば想像していただけると思いますが、こうした手法を用いれば世界に関するあらゆることをモデル化できるという発想が、当時から数学者たちを惹きつけてきました。本講演では、Wという記号を用いて世界の3D構造を表すこととします。この点についてはあまり深く立ち入りませんが、と申しますのも、昨日の講演でこの部分について話しすぎてしまい、後半の本当に興味深い内容にたどり着けなかったという経緯があるためです。
2.2 3D世界状態の推定と敵対的攻撃という思考実験
こうした研究の多くは、画像を入力として3D的な世界、あるいは3Dそのものではなくとも物体といったものを推定するという形で行われてきました。しかし私の主張は、それだけでは不十分であり、それは単なるパターン認識にすぎないというものです。多くの場合はうまく機能しますが、それだけでは、こうした分析を検証したいと考えたときに十分ではありません。検証のためには、本質的にはもう一度単純化を行い、それが正しいかどうかを確かめる必要があります。
例えば、ImageNetのような画像分類を行うアルゴリズムがあり、それに対して敵対的攻撃を仕掛けた結果、ペンギンを飛行機だと誤認識してしまったとします。このとき、そのアルゴリズムが誤っていることを少なくとも示すひとつの方法は、その「飛行機」だとされた表現から画像を合成し直してみて、それが意味をなさないことを確認するというものです。こうした検証のアプローチこそが、パターン認識としての3D推定と、本当に世界を理解した上での3D推定とを区別する鍵になると考えています。
2.3 世界知識概念の変遷
もうひとつの世界知識に関する論点についてお話しします。かつては、世界に関する知識はごく単純なものとして扱われていました。しかし現在では、世界というものの概念は非常に豊かなものとなり、ほとんどあらゆることを含むようになっています。人々が意識の中で捉える世界という概念は、クラス分類のような単純な枠組みの中では、考え方としては非常に美しいものでしたが、実際にそれで現実的な分布を扱うことは事実上不可能でした。そして、まさにデータのおかげで、それが実現可能になりつつあります。
以上が私の考え方の背景であり、これからお話しする具体的な内容にとってすべてが重要というわけではありませんが、私にとっては文脈を設定する上で助けとなるものです。ここで押さえておいていただきたい鍵となる点は、画像Iがあり、そして世界の状態W、すなわち3Dモデルなどがあるということです。そしてそこから、視覚・推論・行動を行っていくことになります。
3. 視覚・推論・行動の統合的枠組み
3.1 画像と世界状態の関係、質問応答という設定
視覚分野において古典的に多くの研究者が取り組んできた課題のひとつは、単純に画像の中で「何がどこにあるか」を明らかにするというものでした。これはそれ自体、十分に難しい課題であり、正直なところ現在でも完全に解決されているわけではありません。しかし当時から人々は、これを推論や行動とどのように組み合わせるかを考え始めており、早くも1980年代初頭から1990年代初頭にかけて、アクティブビジョンという発想が生まれていました。
視覚とは、単に画像を見て、それを理解できるかどうかを確かめるだけの受動的なプロセスではないという考え方です。行動を扱う際、本講演では行動を「質問に答えること」という意味で用いることにします。これは、そちらの方が研究しやすいためですが、同じ原理がより一般的な行動にも当てはまると考えています。理想的な目標としては、質問があり、そこから答えに至るまでの確率を求めるというプロセスがあり、その途中に世界の状態についてのモデルが存在します。このモデルは世界について何の知識も持たない場合もあれば、世界についての知識は持っていても、その知識自体には特に関心を払わない場合もあります。もうひとつのやり方としては、世界の状態を推定し、そこから行動を導き出すという構成もあります。
3.2 アクティブビジョンの歴史
当時、こうした考え方は「ヒッピー」と「ヒッピーではないもの」、すなわち「ヤッピー」という言葉で語られていました。ご存じの方はいらっしゃいますでしょうか。いらっしゃらないようですね。物事がどのように移り変わっていくかというのは興味深いものです。ヒッピーというのは、ただ座って世界を眺め、楽しむような存在であり、これが標準的な視覚のあり方に相当します。つまり、ただヒッピーのように振る舞うということです。
一方でヤッピーとは、常に忙しく動き回る若い都会の専門職(Young Urban Professionals)のことであり、アクティブビジョンはこうしたヤッピー的な人々のためのものでした。こうした発想のもとで、当時はワークショップが開かれ、編著書も出版されていました。私が驚いたのは、これほど重要な研究であるにもかかわらず、あまり知られていない仕事があるということです。それがErnst Dickmannsによる自動運転車の研究です。
Ernst Dickmannsをご存じの方はいらっしゃいますか。いらっしゃらないようですね。これは本当に驚くべき研究です。1987年から1988年にかけて、自動車をアウトバーンで1,000キロメートルにわたって走行させることに成功していました。これは実際に、当時他の誰も実現できなかったことをはるかに超える、視覚の実践的応用のひとつでした。Ernst Dickmannsは現在も存命で、90歳前後だと思います。もし3Dや4Dにおける視覚に関心のある方がいらっしゃれば、ぜひErnst Dickmannsについて検索してみていただきたいと思います。本当に印象深い研究です。私にとって、彼のように実際に何かを成し遂げる人々、特に自動車をアウトバーンで走らせるということは、極めて本質的な取り組みでした。
3.3 2つのアーキテクチャ的アプローチ
このように、目標は質問があり、それに答えるというプロセスの中に位置づけられます。ここには確率を求めるモデルが存在し、それは世界の状態について何も知らない場合もあれば、知識を持っていても特に注意を払わない場合もあります。もうひとつの可能性としては、まず世界を推定し、その上で世界に対して行動を行うというやり方であり、この場合、行動のポリシーは画像そのものを実質的に捨て去ることができます。
この2つのアプローチの違いは、アーキテクチャそのものの違いというよりも、新しいアーキテクチャによって分布をどのように因数分解して表現するかという点にあります。こうした考え方を念頭に置きながら、次に、視覚言語モデルと3D世界の知識をどのように組み合わせるか、そして3D知識を持たせる方法にはどのようなものがあるかについてお話ししたいと思います。
4. 3D知識を要する質問応答データセット実験
4.1 VLMへの公平な評価とベイズ的モデル
ここまでVLMは十分ではないという話ばかりしてきましたので、前の方の席にいらっしゃる何人かの方には特に恐縮なのですが、VLMは依然として驚くべき能力を持っているということを申し上げておきたいと思います。実際にページを見ていただくと、非常に詳細に記述されていることがお分かりいただけると思います。VLMにはそれだけの能力があるのです。
ここでご紹介したいのは、ベイズ的な発想を活用したあるモデルについてです。このモデルは、実世界のアノテーションを一切用いずに学習されている点が特徴です。通常のVLMは、大量の画像とテキスト記述のペアからなるデータで学習されますが、このモデルはそうではありません。学習に必要なのは画像だけであり、アノテーションや事前学習は一切必要としません。データさえあれば、このような分析モデルを学習できるということです。
さて、ここで問題となるのは、現在のVLMが3Dに関するタスクにおいてどれほど優れているかという点です。多くの人々が既存の3D的なVLMを用い、それを行動タスクへと拡張していますが、そうしたモデルは本当に3D・4Dの知識を備えた上でこれらのタスクを遂行しているのでしょうか。そもそも3D・4Dの知識が本当に必要なのか、単に膨大な量のデータさえあれば十分なのではないか、という疑問を持つ方もいらっしゃるかもしれません。本講演では基本的に、そうした知識が必要であるという立場に立っており、少なくとも、もしそれが不要だとすれば、それはそれで別の問題があるように思われます。もし膨大なデータで学習され、それらが実際に信頼できる形で機能しているのであれば、そのモデルの内部には暗黙的にそうした知識が備わっているはずであり、だとすればこうしたタスクを遂行できてしかるべきだと考えられます。
4.2 データセット構築と評価結果
そこで私たちが行ったのは、3D的な知識を必要とする視覚質問応答、すなわち画像についての質問に答えるために3D世界についての知識が求められるようなタスクを検証するためのデータセットの構築です。
具体的な例を挙げますと、画像の中でその建物がどの程度の高さにあるかという質問があります。画像だけを見ていると分かりにくいのですが、実際には地上から8フィートほど、あるいは20フィート、30フィートほどの高さがあると考えられるといったものです。また、ある物体が左側にあるか右側にあるかという質問もありますが、これは画像上では左側に見えても、画像の中の人物から見た視点では右側になるといった、視点の取り方によって答えが変わるような設問も含まれています。さらに、テーブルの上に本が置かれているかどうかといった質問や、近いか遠いかを問う質問なども含まれています。
このデータセットを構築するにあたっては、まずアノテーションを行い、その正確さを担保するために別のアノテーターにチェックしてもらうという手順を踏みました。その結果、人間はこれらの質問に対してほぼ100%の正答率で、しかも高い一致率を示すことが確認されました。
次に、こうして作成したデータセットに対して、独自開発のものとオープンソースのものを含む多数のVLMを適用し、質問に対してファインチューニングを行った上で評価しました。その結果、最も良い性能を示したモデルでも54 APにとどまりました。これは人間の性能と比較すると、明らかに十分とは言えない結果でした。
4.3 VLMが3Dを苦手とする2つの仮説
なぜこのような結果になるのでしょうか。実際のVLMは膨大な量のデータで学習されていますが、それ以前に明示的に3Dのデータで学習されているわけではありません。もちろん、多くの質問に答えられるためには、暗黙のうちに何らかの3Dの知識を備えているはずだという主張も成り立ちますし、それは確かにある程度正しいと言えます。実際、そうした暗黙知を巧妙な方法で引き出そうとする研究も行われてきました。しかし、いずれにせよそれはあくまで暗黙的なものであり、明示的にそれを学習するようには設計されていません。これが、VLMが3Dについて「知らない」ひとつ目の理由です。哀れなことに、こうしたモデルはそもそも3Dについて明示的に教えられたことがないのです。
もうひとつの理由は、アーキテクチャに関するものです。P(W|I)というモデルを考えたとき、そこで用いられるニューラルアーキテクチャがトランスフォーマーであろうとCNNであろうと、それはひとつの数学的関数にすぎません。私たちは、学習したい本当の関数P(W|I)が、そのアーキテクチャの特定のインスタンス、すなわち特定のパラメータや重みの組み合わせによって、十分なデータさえあれば表現可能であると仮定しているわけですが、そのことをどうやって確かめられるのでしょうか。実際には、学習させ、テストしてみるという方法でしか確認のしようがありません。つまり、そのモデルが本当にその関数を表現できるという保証はどこにもないのです。
さらに、これらのモデルはもともとCLIPのような画像キャプション生成の考え方に着想を得て設計されているという経緯があります。CLIपの特徴量を土台に据え、その上にさらに層を積み重ねていくという構成です。したがって、そのアーキテクチャは画像キャプション生成のタスクに関しては十分に優れたものになっていますが、それは裏を返せば、3Dの把握には適していないアーキテクチャであるとも言えるのです。
5. 3D-informedデータとChain of Thoughtによる改善実験
5.1 3D-informedデータによるファインチューニング
そこで次に行ったのが、実際に3Dのデータを与えて学習させるという取り組みです。まず必要になるのが3Dのデータそのものですが、これを私たちは「3D-informedデータ」と呼んでいます。と申しますのも、それが本当に正しい3Dの正解値になっているかどうか、確信を持てない部分があるためです。KITTIのように実際に3Dの正解値が付与されているデータセットもありますが、それ以外にも3Dの正解値が付与されているデータセットは存在します。ただ、その量は決して多くありません。合成データを使うという手もあり、その場合は正解値をあらかじめ書き出しておくことになりますが、質としては十分ではなく、それが本当に正確な3Dであると自信を持って言い切ることはできません。そのため、こうしたデータ全体を「3D-informed」と呼ぶことにしています。
こうしたデータを用いて行ったのが、3Dを意識したVLM、すなわち私たちの手元にあるVLMを訓練し、正しい3D構造を予測できるようにするという作業です。これによってモデルは3Dに対して十分に意識的なものとなり、その上で他のモデルを組み合わせていくことができます。実際、最近ではあるデータセットにおいて、性能が28 APも改善するということもあれば、時には1AP、あるいは0.5APといったわずかな改善で公表されることも珍しくありません。私の学生たちは、それで十分な場合もあると言いますが、28APという改善幅は非常に大きな変化です。これはディープネットワークが登場した初期の頃、より優れたアーキテクチャによって性能が大きく向上していた時代を思わせるものです。
このように、3D-informedデータによるファインチューニングは性能を大きく改善させ、先ほどの素のVLMよりもはるかに良い結果をもたらしました。しかし、それでもなお人間の性能と比べればまだ大きく劣っており、問題が解決されたとは言えません。ただ、正しい方向へと前進していることは確かです。
5.2 Chain of Thoughtによる解釈可能性の向上
そこで同様の手法を、Chain of Thoughtを組み込んだVLMに対しても適用してみました。すると、ほぼ同様の結果が得られたのですが、重要なのは、何が起きているのか、あるいは何がうまくいっていないのかについて、より深く理解できるようになったという点です。ここでは、ファインチューニングを行った上でChain of Thoughtを用いることで、さらに8ポイントほどの改善が見られ、Chain of Thoughtによって解釈可能性が高まるという利点も得られました。
具体的には、ある画像において、画像上では物体が左側にあるように見えても、画像内の人物の視点から見れば右側にあるという設問において、モデルが世界の状態Wの推定を経て、そこから3Dの推定値を導き出しているというプロセスを追うことができました。これは非常に筋の通った推論の進め方であると言えます。実際、こうした結果を見ても、依然として人間の性能をはるかに下回ってはいるものの、これらは着実な前進であることは間違いありません。ただし、これをもって完全な解決策が得られたと申し上げるつもりはなく、あくまでVLMの限界を明らかにし、今後進むべき方向性を示すものだと考えています。
これまでの取り組みでは、システムに3Dのデータを与えることで、システム自身がそこに3Dの世界が存在しているのだということ、そして奥行きなどの情報があるのだということを認識できるようになり、それが確かに役立つということが分かりました。しかし、それだけでは十分ではありません。次に考えるべきは、アーキテクチャそのものに問題があるのではないかという点です。
6. 統合モデルの実証実験と実世界への拡張
6.1 合成データによる実証実験
これまでのアーキテクチャは、基本的にはCLIPのような画像・テキストのキャプション生成の枠組みとして定義されており、そこにさらに層を積み重ね、より多くの枠組みを付け加えていくことで発展してきたものでした。しかし、それでは本当の意味で画像を扱っているとは言えません。実のところ、私たちはすでにこうした取り組みを進めていました。このデータセットは比較的単純なものであるため、3Dの正解値を動画から実際に推定することができます。
一部の物体はかなり大きく遮蔽されている場合もありますが、それでも私たちは比較的現実的な世界の状態Wを推定することができます。ここで扱う質問は、先ほどまでのものと類似した内容です。物体の3D姿勢を問うものから始まり、次に2つの物体同士の相対的な姿勢を問うもの、そしてそれらが衝突するかどうかを問うものまで、さまざまなレベルの詳細さを持つ一連の質問を作ることができます。
こうした質問に対して人間に答えてもらうと、100%正解というわけにはいきませんでした。その理由としては、物体が大きく遮蔽されているために人間がそれを認識できない場合があること、また衝突するかどうかを問う質問については、物体の3D姿勢を正しく推定できていなければ誤った答えを出してしまうことが挙げられます。
これに対して私たちが用意したモデルは、世界の3D状態を直接推定し、そこから非常に単純な推論を行うというものです。実際、こうしたタスクにおいては、答えを導き出すために特別に強力な仕組みは必要なく、もっとシンプルな処理で十分でした。この結果を見ると、人間と、他のデータに対して学習させたVLMとの間には、依然として大きな性能の差があることが分かりました。
これは、いわば統合的なアプローチのひとつの概念実証(プルーフ・オブ・コンセプト)と言えるものです。もちろん、これに対しては、合成データを用いたものであり、実世界の画像にまで拡張できるモデルにはなっていないではないか、という批判もあり得ると思います。
6.2 動画・実世界画像への拡張
その点についてお話しする前に申し上げておきたいのは、このアプローチは動画にも拡張することができ、ほぼ同様の結果が得られるということです。
そこで、いくつかのスライドを用意していたのですが、冒頭でも触れたように、こうした手法を実世界の画像にまで拡張し、質問に答えられるようにするという取り組みも行いました。この場合、特に動画に関する質問に関心を持って取り組みました。しかし、この研究が示唆しているのは、単にVLMのみを用いてP(W|I)を求めるだけでは、VPA(視覚・推論・行動)を行うには不十分であり、それだけでは行動そのものを行う上でもあまり良い結果にはつながらないだろうということです。
例えば、BLMを取り上げ、それを単純にファインチューニングして知識を与えただけでは、質問に答える能力はある程度向上するものの、世界の状態Wを正確に推定することはできず、依然として人間の水準をはるかに下回ったままでした。しかし、もし私たちがWを正確に推定できるのであれば、それをもとに推論を行うことができ、それによって人間の性能にかなり近い結果を得ることができるのです。
7. 解釈可能性の意義とまとめ
7.1 ブラックボックスとの対比
ここでもうひとつ申し上げておきたい点は、BLMというものが往々にして非常に複雑なブラックボックスであるということです。もちろん、工夫を凝らせばある程度その内部で何が起きているのかを理解することはできますが、一般的に言って、それらは完全に解釈可能なものとは言えません。これに対して、私たちのアプローチでは、内部で3Dを推定しているため、その部分は比較的透明性が高いものになっています。
具体的には、物体のどの部分がどこにあるかを推定することもでき、それは別のプロジェクトにおいて評価済みです。角度や姿勢なども推定することができます。つまり、単に質問に答えるだけでなく、その根拠となる世界についての情報も同時に得ており、それを検証することができるため、結果としてはるかに解釈可能性の高いものになっているのです。
失敗の原因がどこにあるのか、たとえば物体を見落としているのか、遮蔽されているために認識できていないのか、あるいは3Dの推定自体が誤っているのかといったことも理解できます。何が正しく行われているのかを直接確認できないような手法とは異なり、こうした形であれば、ある程度失敗のパターンがどこにあるのかを把握できるという意味での解釈可能性が確保されます。つまり、大きく見栄えのする印象的なブラックボックスを持つのではなく、内部で何が起きているのかを実際に解き明かせるものを持つということです。
私自身、認知科学者としての側面も持っている者として、この点を評価しています。人間が何かについての質問に答えるとき、単に「これが答えです」と述べるだけではなく、画像の中を指し示すことができます。ご存じの通り、これは人間が画像の中で物事を根拠づけられるという能力であり、私はこれが3D空間においても同様に根拠づけられると考えています。
例えば、私は「この人はAlanだ」と言うことができますし、同時にその人物の姿勢についても述べることができます。腕や脚のおおよその位置、さらには表情についても分かります。人間である私は、常にこうしたことを行っており、あらゆることを確認し、検証することができるのです。そして、それがある程度の解釈可能性をもたらしてくれるのです。
7.2 まとめと今後の方向性
そろそろ時間になりましたので、まとめに入りたいと思います。私自身、知覚・推論・行動というテーマについて非常に強い関心を持っており、これらは極めて重要だと考えています。これまでいくつかの戦略についてお話ししてきました。ひとつは、とにかく大量のデータを用いるというやり方であり、これはうまくいく可能性もあり、うまくいかないと断言するつもりはありません。しかし私としては、視覚を単にVLMへの入力として扱うのではなく、視覚そのものを真剣に受け止めるという、より洗練され理解しやすい戦略があるのではないかと考えています。あるいは、少なくとも視覚をVLMへの入力とする場合であっても、本講演では詳しく触れなかったものの、今後見直していきたいと考えている一連の研究が示しているのは、VLM自体を多少改修し、画像から得られる視覚情報の豊かさを取り込めるようにする必要があるということです。
その研究では、LLMに入力できるような空間コードを開発しました。LLM自体をファインチューニングするのではなく、VLMをファインチューニングすることで、その豊かさを活用できるようにするのです。この手法では、画像を単なるトークンに変換するのではなく、画像に含まれる3D構造そのものを捉えたトークンへと変換していくことになります。
これは非常に興味深い分野だと考えています。なぜなら、LLMが捉えている意味的な世界知識を保持しつつ、それと同時に、人間が持っているような3D・4Dの世界知識を発展させていくことができるからです。
このことを裏付けるひとつの例として、人は自分とは異なる人種の顔を、ある程度の人数を見た経験がなければ認識しにくいという現象があります。私を含めほとんどの人がこうした経験をしたことがあると思いますが、私自身、ある時期、異なる人種の人々の顔を区別できず、何度も人を混同してしまった経験があります。しかし、ある程度の人数を見ていくうちに、あるとき突然、明らかに違いが分かるようになるのです。これよりももっと良い例があるはずですが、この例が私の印象に強く残っているのは、私自身が異人種間の結婚をしているという背景もあり、この話題が身近な問題として持ち上がることがあるためです。
これは、書物からは決して得られない類の知識です。書物の中にはこうした現象についての記述はあるかもしれませんが、それは人々がそれを観察し、記録したからにすぎません。しかし、実際にそうした人々を認識できるようになるという能力そのものは、3Dの世界を、十分な数の人々を実際に見ることを通じて獲得した3Dの知識によるものだと考えています。
つまり、こうした知識は書物の中には存在しないのです。私にとって、こうした要素を統合していくというアプローチは、視覚科学者としての立場から非常に納得のいくものであり、多くの手法においてこれまで十分に扱われてこなかった視点を与えてくれるものだと感じています。また、書物から得られる意味的な知識とは異なる、視覚的な世界知識、すなわち3D・4Dの世界知識という概念は、非常に重要なものだと考えています。そしてこれは、私たちの祖先が、書物どころか言語すら持たなかった10万年以上前から、確実に備えていたものであるはずです。彼らはきっと、何らかの方法でそれを獲得する術を見出していたに違いありません。