※本記事は、NeurIPS 2024（2024年 Neural Information Processing Systems Conference）でのIlya Sutskeverによる講演「Sequence to sequence learning with neural networks: what a decade」の内容を基に作成されています。講演はバンクーバーで行われ、YouTubeでも公開されています。

本記事では、講演の内容を要約しております。なお、本記事の内容は講演者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演動画をご覧いただくことをお勧めいたします。 なお、本講演は人工知能研究の未来に関する重要な示唆を含んでおり、特に「事前学習の終わり」と「超知能の出現」について言及している点で注目されています。講演者の見解や予測は、現時点での考察であり、将来の展開は不確実性を含むことにご留意ください。

1. イントロダクション

1.1 研究の概要と共同研究者の紹介

Ilya Sutskever : まず、この賞のために論文を選んでくださった主催者の方々に感謝申し上げたいと思います。また、素晴らしい共同研究者であり協力者であるOral VineelとQuLeにも感謝します。彼らは先ほどもこの場に立っていました。

私たちの研究は、以下の3つの主要な要素に集約されます。これは実にシンプルなものでした：

1つ目は、テキストを対象とした自己回帰モデルです。2つ目は、大規模なニューラルネットワークの活用です。そして3つ目が、大規模なデータセットの使用です。これだけです。

今日は、10年前の同じプレゼンテーションのスライドを見ながら、当時の研究について振り返っていきたいと思います。当時正しかった点もあれば、そうでない点もありました。それらを振り返り、現在に至るまでの流れを見ていきたいと思います。

この研究は、後の大規模言語モデルの発展につながる重要な基盤となりましたが、当時は非常にシンプルな前提から出発していました。今から振り返ると、このシンプルさこそが、その後の発展を可能にした要因の一つだったかもしれません。この研究の詳細と、それが現在のAI研究にどのようにつながっているのかを、これから説明していきます。

1.2 10年前と現在の比較

ここで皆さんにお見せしているのは、2014年にモントリオールで開催されたNeurIPsでの発表時のスクリーンショットです。当時を振り返ると、本当にもっと純粋な時代でした。写真に写っている私たちの姿を見ていただくと、これが「ビフォー」の状態です。そして現在の私たちが「アフター」ということになります。

この10年間で、私たちはより多くの経験を積み、おそらくより賢明になったと思います。2014年当時は、シーケンス・ツー・シーケンス学習の可能性に対する純粋な期待と情熱があり、それが研究を推進する原動力となっていました。

今から振り返ると、当時の研究の中には正しかった部分もあれば、そうでない部分もありました。しかし、この10年間の発展は、私たちの予想をはるかに超えるものでした。現在のAIの進歩を見ると、当時は想像もできなかったような発展を遂げています。特に、ここ2年ほどの間に参入された方々にとっては、コンピュータと対話し、それが返答し、時には意見の相違さえ示すことが当たり前になっていますが、これは当時としては想像もできないことでした。

このような劇的な変化を経験してきた者として、AIの進歩の速さと影響力の大きさには今でも驚きを感じています。この10年間で得られた知見は、今後のAI研究の方向性を考える上で重要な示唆を与えてくれています。

2. 研究の基本概念

2.1 Auto-regressiveモデルの特徴

私たちの研究の中核にあるのは、自己回帰モデルに関する重要な着想です。10年前のプレゼンテーションのスライドを見ると、その本質が明確に示されています。このスライドは、私たちの主要なアイデアを説明するものでした。自己回帰的な性質を持つモデルについて、何を意味しているのかお分かりいただけるでしょうか。

このスライドが示す本質的な考え方は、次のようなものです：自己回帰モデルが次のトークンを十分に正確に予測できれば、そのモデルは必然的に、次に来るべきシーケンスの正しい分布を捉え、理解することができるというものです。これは当時としては比較的新しい考え方でした。

確かに、これは史上初めての自己回帰型ニューラルネットワークというわけではありませんでしたが、私は次のように主張したいと思います：これは、自己回帰モデルを十分に訓練すれば望む結果が得られると、本当の意味で信じた最初の研究でした。当時の私たちの目標は、今から見れば控えめなものに思えるかもしれませんが、当時としては非常に大胆な目標でした。それは機械翻訳というタスクでした。

このアプローチは、現在の大規模言語モデルの基礎となる考え方を示していました。次のトークンを予測するという単純な目的が、実は言語理解と生成の本質的な部分を捉えていたのです。これは、私たちが当時思っていた以上に強力な概念であることが、その後の発展によって証明されることになりました。

2.2 Deep Learning仮説

10年前のスライドを見ると、私たちは「Deep Learning仮説」について述べていました。その仮説は次のようなものでした：10層のニューラルネットワークがあれば、人間が0.1秒で実行できるあらゆるタスクを実行できるというものです。

なぜ私たちは「人間が0.1秒で実行できるタスク」という特殊な制約に着目したのでしょうか。これには重要な理由がありました。Deep Learningの基本的な考え方として、人工ニューロンと生物学的ニューロンには大きな違いがないという前提がありました。そして、生物学的ニューロンは比較的遅い速度で動作するという事実も知られていました。

この2つの前提から、次のような推論が導かれます：世界中の誰か一人でも、ある特定のタスクを0.1秒という短い時間で実行できるのであれば、10層のニューラルネットワークもそれを実行できるはずです。なぜなら、その人間の脳内での接続パターンを人工ニューラルネットワークに組み込むことができるからです。

当時、私たちが10層のニューラルネットワークに注目したのは、それが私たちが訓練できる最大の深さだったからです。もし何らかの方法でより深い層を扱えれば、より多くのことができたかもしれません。しかし、当時の技術的制約から、10層が実用的な限界でした。そのため、人間の瞬間的な認知処理に相当するタスクに焦点を当てることになったのです。これは技術的制約から生まれた仮説でしたが、結果として重要な洞察をもたらすことになりました。

2.3 LSTMの歴史的位置づけ

ここで、多くの方々が見たことがないかもしれない古代の技術についてお話ししたいと思います。LSTMと呼ばれるものです。LSTMとは、トランスフォーマーが登場する前に、私たち苦労している研究者たちが使っていたものです。

興味深いことに、LSTMは基本的にResNetを90度回転させたようなものだと考えることができます。この構造について詳しく見ていくと、現在のresidual streamと呼ばれる積分器に相当する部分があります。ただし、LSTMはこれよりもやや複雑で、いくつかの乗算操作が追加されていました。

これが当時私たちが使っていた技術でした。90度回転させたResNetという表現は単純化しすぎているかもしれませんが、基本的な考え方を理解する上で有用な視点です。現代のトランスフォーマーアーキテクチャと比較すると、LSTMは確かにより複雑な構造を持っていましたが、その本質的なアイデアの一部は、現代のアーキテクチャにも残っているのです。

この歴史的な技術を振り返ることで、深層学習アーキテクチャの進化の過程をより良く理解することができます。特に、情報の流れを制御する機構や、勾配の伝播を改善する仕組みといった基本的なアイデアは、形を変えながらも現代のアーキテクチャに受け継がれています。

3. 技術的実装と知見

3.1 パイプライン並列化の経験

当時の研究において、私たちは並列化の手法を採用していました。しかし、これは単なる並列化ではなく、パイプライン処理を活用した特殊な方式でした。具体的には、1つのGPUに1つの層を割り当てるという方式を採用していました。

このパイプライン処理によって、8つのGPUを使用して3.5倍の速度向上を達成することができました。しかし、今から振り返ってみると、パイプライン処理の採用は賢明な選択ではありませんでした。私たちは当時、まだそれほど知見を持ち合わせていなかったのです。

現在の知見からすると、この実装方式には明らかな限界がありました。しかし、この経験は並列処理の本質的な課題を理解する上で重要な学びとなりました。時にはこのような「最適ではない」選択を通じて、より良い方法を見出すことができるのです。

この経験は、技術的な実装における試行錯誤の重要性を示す良い例となっています。当時の限られた知見の中で最善と考えられた選択が、必ずしも長期的に見て最適な選択ではなかったという事実は、技術の進化における重要な教訓となっています。

3.2 スケーリング仮説の始まり

10年前の発表での結論スライドは、おそらく最も重要なスライドだったと言えます。なぜなら、このスライドはスケーリング仮説の始まりとも言えるものを示していたからです。その基本的な考え方は単純なものでした：非常に大規模なデータセットを用いて、非常に大規模なニューラルネットワークを訓練すれば、成功は保証されるというものです。

この仮説に対して寛容な見方をすれば、これは実際にその後の展開を予見していたと言えます。私たちが提示したこの考え方は、現在のAI発展の基本的な道筋を示唆していました。十分な計算リソースと十分なデータがあれば、ニューラルネットワークは驚くべき能力を獲得できるという考え方は、その後のAI研究の方向性を大きく形作ることになりました。

この仮説は、シンプルでありながら強力な指針となりました。現在の大規模言語モデルやその他のAIシステムの成功は、まさにこの仮説の妥当性を示していると言えるでしょう。もちろん、具体的な実装方法や技術的な課題は数多くありましたが、基本的な方向性としては正しかったと考えています。

この考え方は、その後のGPTモデルの系列や、スケーリング則の研究など、現代のAI研究の重要な基礎となりました。当時は大胆な仮説に思えたかもしれませんが、結果としてAI発展の本質的な部分を捉えていたと言えるでしょう。

3.3 コネクショニズムの永続的な影響

私が特に強調したいのは、時間の検証に耐えた真に重要なアイデアについてです。それはディープラーニングの核心的なアイデアであり、コネクショニズムの考え方です。この考え方の本質は、人工ニューロンが生物学的ニューロンと一種の類似性を持っているという信念にあります。

もしこの考え方を受け入れ、一方が他方と何らかの形で似ているという前提に立てば、大規模なニューラルネットワークは人間が行うほぼすべての作業を実行できるという確信が得られます。必ずしも人間の脳と同じ規模である必要はありません。むしろ、やや小規模でも構わないのです。しかし、適切に設定さえすれば、人間が行うほとんどの作業を実行できるはずです。

ただし、まだ重要な違いが一つ残されています。人間の脳は自身の再構成方法を見出すことができますが、私たちが持っている最良の学習アルゴリズムは、パラメータと同じ数のデータポイントを必要とします。この点において、人間はまだ優れているのです。

この考え方は、事前学習の時代への扉を開くことになりました。GPT-2やGPT-3モデル、スケーリング則の研究へとつながり、今日見られるすべての進歩の原動力となっています。超大規模なニューラルネットワークを、超大規模なデータセットで訓練するという現在の方向性は、このコネクショニズムの考え方から直接的に導かれたものと言えるでしょう。

4. 事前学習の時代

4.1 GPT-2、GPT-3への発展

コネクショニズムの考え方は、事前学習の時代への扉を開きました。この発展において、私は特に元同僚のAlec Radford、そしてJared KaplanとDario Modeの貢献を強調したいと思います。彼らは、この考え方を実際に機能するものへと発展させる上で重要な役割を果たしました。

彼らの研究は、GPT-2やGPT-3といったモデル、そしてスケーリング則の研究へと結実していきました。これらのモデルは、私たちが見ている今日のすべての進歩の原動力となっています。超大規模なニューラルネットワークを、巨大なデータセットで訓練するという現在の方向性は、まさに彼らの研究から生まれたものです。

この発展は、より優れたハードウェア、より優れたアルゴリズム、そしてより大規模なクラスターの利用によって可能になりました。これらの要素が組み合わさることで、計算能力は継続的に向上し、より大規模なモデルの訓練が可能になりました。

現在のAI研究の進歩は、まさにこの事前学習の時代の産物と言えます。特に大規模言語モデルの発展は、事前学習という考え方なしには実現不可能だったでしょう。この発展は、私たちの10年前の研究から始まった道筋の延長線上にあるものです。

4.2 事前学習の限界

しかし、私たちは事前学習のアプローチにも明確な限界があることを認識しなければなりません。コンピューティングの能力は、より優れたハードウェア、より効率的なアルゴリズム、そしてより大規模なロジッククラスターを通じて、継続的に向上しています。これらの要素は、私たちの計算能力を着実に増加させ続けています。

一方で、データに関しては大きな制約が存在します。なぜなら、私たちにはたった一つのインターネットしかないからです。コンピューティング能力が継続的に向上していく一方で、データ量は有限なのです。インターネット上の利用可能なデータには明確な限界があり、これは事前学習という手法の根本的な制約となっています。

この課題に対して、現在の事前学習アプローチは確かにまだ発展の余地があります。しかし、データの有限性という根本的な制約は、いずれ私たちが新しいアプローチを見出す必要性を示唆しています。私たちはこの制約の中で、できる限り進歩を続けることができますが、最終的には異なるアプローチが必要になるでしょう。

これは、事前学習の時代が間違いなく終わりを迎えるということを意味しています。そして、この限界を超えるための新しい方法を見出すことが、私たち研究者の重要な課題となっています。

4.3 データは「AIの化石燃料」という考察

私たちはデータをAIの「化石燃料」と考えることができます。これは比喩的な表現ですが、本質的な問題を示唆しています。化石燃料と同じように、データは何らかの過程で生成され、私たちはそれを利用していますが、その量には明確な限界があります。

私たちにはたった一つのインターネットしかありません。さらに言えば、私たちは「ピークデータ」の時代に達しており、これ以上の新しいデータは限られています。現在利用可能なデータで、確かにまだかなり先まで進歩することは可能でしょう。しかし、私たちはこの有限のデータ資源と付き合っていかなければなりません。

この制約は、AIの発展に重大な影響を与えることになるでしょう。コンピューティング能力は継続的に向上していますが、データの有限性は避けられない事実です。この状況は、私たちが新しいアプローチを見出す必要性を示唆しています。

データの有限性という課題は、事前学習の時代が必然的に終わりを迎えることを意味しています。これは危機であると同時に、AIの研究における新しい方向性を模索する機会でもあります。次の時代のアプローチを見出すことが、私たち研究者の重要な使命となっています。

5. 将来の展望

5.1 事前学習後の次なる段階

次に何が来るのかについて、私が推測する必要はありません。なぜなら、多くの研究者がすでにさまざまな可能性を探求しているからです。「エージェント」という言葉をよく耳にすると思います。これは確かに将来の一つの方向性であり、いずれ何らかの形で実現するでしょう。人々はエージェントが未来であると感じているのです。

より具体的ではありますが、まだやや漠然としているのが合成データの活用です。しかし、合成データとは具体的に何を意味するのか、これを解明することは大きな課題です。この分野で、さまざまな研究者が興味深い進展を見せていることは確かです。

また、最近では推論時の計算に注目が集まっています。これは特に、O1モデルで最も顕著に見られるアプローチです。これらはすべて、事前学習後の時代に向けた人々の試みの例です。

これらのアプローチはいずれも、データの有限性という制約を克服するための重要な方向性を示しています。私たちは既存のインターネットデータに依存する事前学習から、より創造的で効率的なアプローチへと移行する必要があります。これらの新しい方向性は、その可能性を探る重要な試みとなっています。

5.2 生物学からの洞察

私は生物学からの興味深い例を一つ共有したいと思います。数年前のこのカンファレンスで、ある発表を見たことを鮮明に覚えています。その発表では、哺乳類の体の大きさと脳の大きさの関係を示すグラフが提示されていました。生物学の分野では通常、関係性が非常に複雑で曖昧なものが多いのですが、このケースは珍しく、非常に明確な関係性を示していました。

この関係性に興味を持った私は、Googleで画像検索をして研究を進めました。そこで見つけた興味深い画像の一つが、この関係性をさらに詳しく示していました。画像には哺乳類全般のデータに加えて、非人類霊長類のデータ、そしてホミニド（人類の近縁種）のデータが含まれていました。

特に注目すべきは、ホミニドの脳と体の大きさの関係が、他の哺乳類や霊長類とは異なる傾斜（スロープ）を示していたことです。この発見は、進化の過程で何か根本的に異なるスケーリングの仕組みが働いていたことを示唆しています。

この観察は、私たちのAI研究にも重要な示唆を与えてくれます。生物学的システムでも、異なるスケーリングの法則が存在し得るということは、AIシステムにおいても、現在とは異なる新しいスケーリングの方法を見出せる可能性があることを示唆しているのです。なお、これらのグラフは対数スケールで描かれており、100から100,000までの体重範囲、そして1グラムから1000グラムまでの脳重量範囲を示していました。

このような生物学からの洞察は、AIの発展における新しい可能性を探る上で重要な示唆を与えてくれると考えています。

5.3 脳と体の大きさの関係性研究

生物学の研究において、体の大きさと脳の大きさの関係を示したグラフから、私たちは重要な知見を得ることができます。このグラフデータには、3つの異なる系列が存在します。まず一般的な哺乳類のデータがあり、次に非人類霊長類のデータ、そして特に興味深いのがホミニド（例えばホモハビリスのような人類の近縁種）のデータです。

これらのデータが興味深いのは、ホミニドの脳と体の大きさの関係が、他の種とは明確に異なるスケーリング指数を示していることです。つまり、進化の過程で何か根本的に異なる変化が起きたことを示唆しています。

このグラフはX軸が対数スケールで描かれており、100から100,000までの体重を示しています。同様に、グラムを単位とした脳の重量も1、10、100、1000という対数スケールで表示されています。このような明確な規則性が見られることは生物学の分野では珍しく、重要な意味を持っています。

この観察から、異なるスケーリングの法則が存在し得るという重要な示唆が得られます。これは私たちのAI研究にとって重要な意味を持っています。現在のスケーリング手法とは異なる、新しいアプローチの可能性を示唆しているからです。生物がどのようにしてこのような異なるスケーリングを実現したのかを理解することは、AIの新しい発展方向を見出す上で重要な示唆を与えてくれるかもしれません。

6. 超知能に関する考察

6.1 現在のAIシステムの限界

ここでちょっと立ち止まって、スーパーインテリジェンスについて少し考えてみたいと思います。この分野が明らかに向かっている方向性であり、私たちが構築しているものの本質だからです。

現在、私たちは驚くべき言語モデルとチャットボットを持っています。これらは実際にタスクを実行することもできます。しかし、同時に奇妙なほど信頼性に欠けることもあり、混乱することもあります。一方で、評価テストでは劇的な超人的パフォーマンスを示すこともあります。

この矛盾をどのように理解すべきかは明確ではありません。現在のシステムが示すこの二面性、つまり、ある場面では極めて高度な能力を示しながら、別の場面では予想外の混乱や不確実性を示すという特徴は、私たちにAIシステムの本質的な限界を考えさせます。

しかし、いずれこれらの問題は克服されていくでしょう。遅かれ早かれ、AIシステムは真の意味で自律的なエージェントとなり、現在のシステムとは質的に異なる特性を持つようになると考えています。これは単なる性能の向上ではなく、システムの本質的な変化を意味します。

現在のシステムの限界を理解することは、未来の超知能システムの開発に向けた重要な一歩となるでしょう。私たちは、これらの限界に直面しながらも、着実に前進を続けています。

6.2 推論能力と予測不可能性

いずれこれらのシステムは、真の意味で推論を行うエージェントになっていくでしょう。そして、この推論能力に関して非常に重要な特徴があります。それは、システムが推論を行えば行うほど、その行動はより予測不可能になるということです。

推論を行うシステムが予測不可能になるという点について、私は特に強調したいと思います。これまでのディープラーニングは、人間の直感を本質的に再現することを目指してきました。それは言い換えれば、私たちの脳内で0.1秒以内に行われるような直感的な処理の再現です。これは比較的予測可能な応答でした。

しかし、本当の意味での推論能力を持つシステムは、その性質上、より予測不可能になります。この点は、チェスAIの例を見れば明らかです。最高峰のチェスプレイヤーでさえ、最強のチェスAIの手を予測することができません。これは、AIが高度な推論を行っているからこそ生じる現象です。

この予測不可能性は、単なる欠点ではありません。むしろ、真の推論能力を持つシステムの本質的な特徴の一つと考えるべきです。私たちは、このような予測不可能性を持つシステムとどのように関わっていくべきか、真剣に考える必要があります。早期の兆候は既に現れ始めていますが、これは私たちがこれから向き合わなければならない重要な課題の一つとなるでしょう。

6.3 自己認識の可能性

自己認識の能力は、なぜ必要なのかという疑問があるかもしれません。しかし、私の考えでは、自己認識は有用なものです。なぜなら、自己認識は私たち自身の世界モデルの一部だからです。システムが自己を認識し、自己の行動や思考を理解することは、より高度な知的能力の獲得において重要な要素となるでしょう。

これらの機能が全て組み合わさった時、つまり真の推論能力を持ち、限られたデータからでも理解でき、混乱することなく、そして自己認識を持つシステムが実現された時、私たちは現在のシステムとは根本的に異なる性質と特性を持つシステムを手にすることになるでしょう。

このような質的な違いを持つシステムは、もちろん驚くべき能力を持つことになります。しかし、このようなシステムと関わる際に生じる問題は、現在私たちが直面している課題とは全く異なる性質のものとなるでしょう。これについて詳細を述べることは避けますが、想像力を働かせてみることは重要です。

未来に向けて、私たちはこのような可能性について真剣に考え、準備を進める必要があります。確かに未来を正確に予測することは不可能ですが、さまざまな可能性を検討し、それに備えることは私たちの重要な責務だと考えています。

7. Q&A セッション

7.1 生物学的構造と認知に関する質問

質問者: 2024年現在において、人間の認知に関わる他の生物学的構造で、探求する価値があると考えているものはありますか？

この質問に対して、私は以下のように答えたいと思います：もし誰かが「私たちは何か重要なことを見落としている。脳はこういう方法で何かを行っているのに、私たちはそれを活用していない」という具体的な洞察を持っているのであれば、その人はそれを追求すべきです。私個人としては特定の洞察を持っているわけではありませんが、抽象化のレベルによって異なる見方ができると考えています。

生物学的にインスパイアされたAIへの強い願望は常にありましたが、その成功は非常に限定的でした。ある意味で、生物学的にインスパイアされたAIは大きな成功を収めているとも言えます。つまり、学習全般が生物学的にインスパイアされているということです。しかし、その生物学的インスピレーションは非常に控えめなものでした。「ニューロンを使おう」という程度の非常にシンプルなものです。

より詳細な生物学的インスピレーションを得ることは非常に困難でしたが、私はそれを完全に否定するものではありません。誰かが特別な洞察を持っていれば、何か有用なものを見出せる可能性はあります。現時点では、生物学からの示唆を探求することは価値があると考えていますが、それは慎重に、具体的な洞察に基づいて進められるべきだと考えています。

7.2 ハルシネーションと自己修正能力

質問者: 自己修正に関して質問があります。ポスターセッションでは、今日のモデルのハルシネーションを分析する際、統計的な分析、つまり平均からの標準偏差などを使用しているのを見ました。モデルが推論能力を持つようになった将来において、モデル自身が自己修正を行い、ハルシネーションを減らすことができるようになると思いますか？この自己修正能力は、将来のモデルの中核的な機能になるでしょうか？

この質疑に対して、私は「はい」と答えました。あなたが描写したようなシナリオは、非常に可能性が高いと考えています。ハルシネーションを自己修正する能力は、推論能力を持つモデルの重要な特徴になるでしょう。

実際、このような自己修正能力は、すでに初期の段階で現れ始めているかもしれません。特に、推論能力を持ち始めている最近のモデルでは、この傾向が見られる可能性があります。ただし、私はこれを確認していないため、断言はできません。

しかし、マイクロソフトのWord のような自動修正機能と比較するのは適切ではありません。私たちが議論している自己修正能力は、単純な文章校正をはるかに超えた、より深い理解と推論に基づくものになるでしょう。これは、モデルが自身の出力の正確性を評価し、必要に応じて修正を行う能力を意味します。

このような高度な自己修正能力は、将来のAIシステムの重要な特徴の一つとなり、より信頼性の高いシステムの実現に貢献するでしょう。

7.3 AI権利と共存に関する議論

質問者: あなたの発表の最後で謎めいた形で終わりましたが、AIは私たちに取って代わるのか、それとも優れた存在になるのか、新しい種のホモ・サピエンスとして知的な存在になるのかという点について触れませんでした。強化学習の研究者たちは、これらのAIに権利が必要だと考えているようですが、人類がこれらのシステムに対して、私たち人間が持っているような自由を与えるような適切なインセンティブ構造を作り出すにはどうすればよいとお考えですか？

これに対して私は、そのような質問について考察することは重要だと思いますが、どのようなインセンティブ構造を作るべきかについて、私は確信を持って答えることができません。あなたは、何らかのトップダウンの構造や政府のような仕組みについて言及していますが、私はそのような提案についてコメントする立場にはありません。

また、仮想通貨についても言及されましたが、申し訳ありませんが、仮想通貨についてコメントすることは適切ではないと考えています。

ただし、あなたが描写したシナリオ、つまりAIが私たちと共存し、権利を持つことを望むという未来は、一つの可能性として考えられます。それは必ずしも悪い結末ではないかもしれません。しかし、事態は非常に予測不可能であり、私はこれ以上の推測を控えたいと思います。ただし、このような推測自体は奨励したいと思います。

7.4 一般化能力に関する質問

質問者: LLMは、分布外の多段階推論をどの程度一般化できると考えていますか？

この質問に対して、私は以下のように回答しました：あなたの質問は「はい」か「いいえ」で答えられるような単純なものではありません。むしろ、「分布外の一般化」とは何を意味するのか、そして「分布内」と「分布外」をどのように定義するのかを考える必要があります。

長い時間をさかのぼってみると、ディープラーニング以前の時代、人々は機械翻訳にストリングマッチングやN-gramを使用していました。数万行にも及ぶ複雑なコードを書いていたことは、今では想像もできないことです。当時、一般化とは「データセット内に全く同じフレーズが存在しない」ということを意味していました。

現在では、私たちの一般化に対する基準は大幅に上がっています。例えば、数学の競技会で高いスコアを達成したとしても、インターネット上のどこかのフォーラムで同じような議論が行われていたかもしれず、それが記憶されているのかもしれないという疑問が生じます。

結論として、人間と比べるとまだ一般化能力は劣っていますが、LLMは確かにある程度の分布外一般化能力を持っています。ただし、人間のような一般化能力にはまだ及びません。この回答が、あなたの質問に対する有用な視点を提供できていれば幸いです。