※本稿は、2024年2月に開催されたAAAI-24の「Doug Lenat, CYC, and Future Directions in Reasoning and Knowledge Representation」というセッションの内容を要約したものです。
1. はじめに
1.1 セッションの概要
2024年2月25日、AAAI-24（Association for the Advancement of Artificial Intelligence 2024）において、人工知能の先駆者であるDoug Lenatの功績を称える特別セッションが開催されました。このセッションは、Gary MarcusとMichael Witbrockによって共同で企画されました。
セッションの目的は、Lenatの生涯にわたる研究と、彼が創設したCycorpの影響力について振り返ることでした。特に、Lenatの人工知能に対するビジョン、知識表現と推論に関する画期的なアプローチ、そして彼のアイデアが現在および将来のAI研究に与え続ける影響に焦点が当てられました。
パネリストには、Blake Shepard、Francesca Rossi、Gary Marcus、Michael Witbrockが参加し、それぞれの視点からLenatの貢献について議論を展開しました。また、Alan Kay、R. V. Guha、Ken Forbus、Dave Ferrucci等の著名な研究者からのビデオメッセージも含まれ、Lenatの影響力の広がりを示しました。
セッションでは、Lenatが創設したCycプロジェクトに特に注目が集まりました。Cycは、AIシステムを構築する上での基本原則を築いたプロジェクトとして評価され、包括的で推論能力の高いAI知識ベースの必要性を主張したLenatの先見性が議論されました。
このイベントを通じて、参加者はLenatの影響力をAIの過去、現在、そして将来の軌跡の中で理解し、より洗練された人間に近い推論能力を持つAIの開発に向けた洞察を得ることが期待されました。
1.2 Doug Lenatの貢献と影響力
Doug Lenatは、人工知能分野における最も影響力のある研究者の一人として紹介されました。彼の主な貢献は、大規模な知識ベースの構築とその活用にあり、これがAIシステムの真の力の源泉になるという洞察を早くから持っていた点が強調されました。
Lenatは、AIの難しさを理解し、多くの問題が単純に解決できないことを認識していました。彼は、AIが真に機能するためには、機械が解釈可能な形式で大量の知識が必要であると主張しました。この洞察が、Cycプロジェクトの基礎となりました。
Cycプロジェクトは、人間の常識的知識を大規模に収集し、機械が理解可能な形式で表現することを目指しました。このプロジェクトは、当時としては非常に野心的であり、多くの技術的制約がある中で開始されました。
Lenatの貢献は、単に理論的なものにとどまらず、実践的なアプローチも含んでいました。彼は、知識をベースにした学習の重要性を強調し、大規模な知識ベースが機械学習の基盤となるという考えを持っていました。
また、Lenatは非常に知的好奇心が強く、ユーモアのセンスがあり、勇気ある研究者として描写されました。彼は、知識の問題が非常に難しいことを認識しながらも、生涯をかけてその課題に取り組む決意をした稀有な研究者であったと評価されました。
セッションの参加者たちは、Lenatの視野の広さと柔軟性を高く評価し、彼が常に新しいアイデアに開かれていた点を強調しました。Lenatの遺産は、現在のAI研究、特に大規模言語モデルとシンボリックAIの統合の可能性など、最新のAI技術の発展にも影響を与え続けていることが指摘されました。
2. AIの初期の楽観主義と現実：Gary Marcusによる回顧
AIの初期の楽観主義とその後の現実について、Doug Lenatの洞察を交えながら振り返りたいと思います。
2.1 Marvin Minskyの「夏のプロジェクト」エピソード
AIの歴史を語る上で、避けて通れない出来事があります。それは、Marvin Minskyによる有名な「夏のプロジェクト」のエピソードです。これは実際にあった話なのですが、1960年代、Minskyは驚くべき自信を持って、ある学生に「ビジョン」の問題を解決するよう課題を出しました。
具体的には、Gerald Sussmanという学生に、夏休みの間にコンピュータビジョンの問題を解決するよう指示したのです。Minskyは、「ただ見たものを理解し、コンピュータにそれを説明させる」という、今から考えれば途方もない課題を出しました。彼は本気で、この複雑な問題が数か月で解決できると考えていたのです。
このエピソードは、AIの初期における楽観主義を如実に表しています。しかし、皆さんご存知の通り、この「ビジョン」の問題は今日に至るまで完全には解決されていません。60年以上経った今でも、私たちはこの問題と格闘し続けているのです。
2.2 AIの難しさに対するLenatの洞察
このような楽観主義が支配的だった時代に、Doug Lenatは異なる視点を持っていました。彼の洞察は非常に重要で、私はその遺産について長い間考えてきました。
Lenatの重要な貢献の一つは、AIが簡単ではないという認識を持っていたことです。彼は、多くのAIの問題が一夏で解決できるようなものではないことを理解していました。さらに重要なのは、AIの多くの困難な問題を実際に解決するためには、機械が解釈可能な形式で大量の知識が必要であることを認識していたことです。
Lenatは、AIの多くの問題に対して原理的な理由があり、簡単には解決できないことを理解していました。彼は、本当に困難なAIの問題を解決するためには、実際に機械が解釈可能な形式で大量の知識が必要であることを強調していました。
現在、私たちは多くのことを近似できることを知っています。例えば、大規模言語モデルを使用すると、素晴らしい近似が得られます。しかし、ロボット工学などの分野では、これらのモデルは現実世界で信頼できるほど十分に信頼性が高くありません。事実性や推論に関して多くの問題が残っているのです。
Lenatの見解は、AIの問題を解決するためには、機械が解釈可能な形式で知識が必要だということでした。彼は私が出会った中で最も brilliant な人物の一人であり、最も面白い人物の一人でもありました。そして、最も勇気のある人物の一人でもありました。
なぜ勇気があると言えるのか。それは、彼が知識の問題が本当に難しいと認識し、それでもなお残りのキャリアをその問題に費やすことを決意したからです。私は、Lenatのようなレベルの勇気を持つ人をあまり知りません。
Lenatは、多くの人が短期的な成果を求める中で、長期的な視点を持ち続けました。彼は、AIが真の知能を持つためには、世界に関する深い理解と膨大な知識が必要だと信じていました。この信念に基づいて、彼はCycプロジェクトを立ち上げ、何十年もの歳月をかけて取り組み続けたのです。
今日、私たちはLenatの洞察の重要性をより深く理解しています。大規模言語モデルの登場により、確かに多くのタスクで印象的な結果が得られるようになりました。しかし同時に、これらのモデルの限界も明らかになってきています。事実性の問題や、深い推論能力の欠如など、Lenatが指摘していた課題が依然として存在しているのです。
Lenatの遺産は、AIの未来を考える上で欠かせないものです。彼の洞察は、AIが直面する根本的な課題に光を当て、それらの解決に向けた道筋を示しています。私たちは、Lenatが示した方向性を踏まえつつ、新たな技術や方法論を統合していく必要があるのです。
このセッションを通じて、私たちはLenatの先見性と勇気、そして彼が残した重要な課題について深く考える機会を得ました。AIの未来を築いていく上で、Lenatの洞察は今後も私たちに重要な示唆を与え続けるでしょう。
3. Cycプロジェクトの概要：Michael Witbrockによる解説
Doug Lenatと密接に協力してCycプロジェクトに携わってきました。Cycの本質と、それが目指すものについて詳しく説明したいと思います。
3.1 Cycの目的とvision
Cycプロジェクトは、1986年にDoug Lenatによって開始されました。その目的は、人間の常識的知識を大規模に収集し、機械が理解可能な形式で表現することでした。しかし、Cycの真の目的はそれだけにとどまりません。
Lenatのvisionは、単に知識を集めることではなく、その知識を基盤として機械学習を可能にすることでした。彼は1977年に、科学的知識を獲得するためのルールセットを開発する可能性について論文を発表しています。Cycプロジェクトは、部分的にはその知識を獲得するための基盤を提供することを目的としていました。
Cycの核心にあるのは、信頼できる知識の中核（コア）を構築し、その知識の境界線（フリンジ）で学習を行うという考え方です。Lenatは、学習が10年後の1994年9月に始まると予測していました。確かに、私たちは30年ほど遅れていますが、一方で、ニューラルネットワークにおける一般的な学習解決策の実現も40〜50年遅れていたことを考えると、時には忍耐も美徳となるのです。
3.2 知識表現と推論の重要性
Cycプロジェクトの中心にあるのは、知識表現と推論の重要性です。Lenatは、AIシステムの真の力は、世界に関する大量の知識から来ると理解していました。しかし、単に知識を集めるだけでは不十分です。その知識を効果的に表現し、それに基づいて推論を行う能力が重要なのです。
現在、私たちは学習の新しい時代に入っています。深層学習の環境の中に、Cycのような結晶を置くことで、この他の種類の学習、つまり増分的で集約的で信頼性の高い学習が可能になるのです。
例えば、Cycの結晶を大規模言語モデルに組み込むことで、人間にさえ不可能な種類の学習が可能になる可能性があります。具体的には、すべての科学的知識を取り込み、その中の一貫した部分理論をすべて明らかにし、それらを科学の進歩の基盤として使用するといったことが考えられます。これは人間の知能では不可能ですが、人工知能を使えば可能かもしれません。
重要なのは、高度な人工知能は人間の知能を複製することではないということです。私たちには既に80億人の人間がいますから、それ以上は必要ありません。有用な種類の高度な人工知能とは、人間にはできないことを行うことです。その一つが大規模な科学です。
Cycのようなシステムを利用し、深層学習やそれに関連するすべての work の恩恵を受けることで、私たちは科学を正確かつ信頼性高く行い始めることができるかもしれません。
これがCycプロジェクトの本質であり、Lenatが目指したvisionです。それは単なる知識の蓄積ではなく、その知識を基盤とした新しい種類の学習と推論の実現なのです。この vision は、今日のAI研究に大きな影響を与え続けており、今後のAI開発の方向性を示唆しています。
4. Lenatの個人的特徴と影響力
4.1 知的好奇心と勇気：Gary Marcusの視点
Lenatは私が出会った中で最も brilliant な人物の一人でした。彼はまた、最も面白い人物の一人でもありました。しかし、最も印象的だったのは彼の勇気です。
Lenatは、知識の問題が本当に難しいことを認識していました。それにもかかわらず、彼はその問題に取り組むことを決意し、残りのキャリアをそれに捧げたのです。このレベルの勇気を持つ人を、私はあまり知りません。
1984年にCycプロジェクトを開始した時の状況を考えてみてください。当時のコンピュータはわずか8メガバイトのメモリしか持っていませんでした。現在のような情報インフラストラクチャも存在しませんでした。ウェブもなく、オープンソースの普及もありませんでした。そのような制約の中で、LenatとそのチームはCycプロジェクトに取り組み始めたのです。
Lenatの勇気と決意は、AIの歴史において重要な転換点となりました。彼は、AIが単なる計算の問題ではなく、世界に関する深い理解と知識の問題であることを認識していたのです。この認識は、今日のAI研究にも大きな影響を与え続けています。
4.2 ユーモアのセンスと善良さ：Blake Shepardの洞察
Doug Lenatの人間的な側面について、いくつかの興味深いエピソードを共有したいと思います。
Lenatは、ファンタジーを本当に愛していました。特に、ダンジョンズ＆ドラゴンズ（D&D）のようなロールプレイングゲームを楽しんでいました。彼は生涯にわたってD&Dのプレイヤーでした。ハロウィンには、妻のMaryが作ってくれた魔法使いの衣装を着て楽しむほどでした。
D&Dをプレイする際の彼の特徴は非常に興味深いものでした。一緒にプレイした人々は、Lenatが決して悪役を演じることができなかったと言います。彼は常に善良な役、特にカオティック・グッド（混沌にして善）かローフル・グッド（秩序にして善）の役を選んでいました。これは単なる中立でさえありませんでした。
このゲームでの姿勢は、Lenatの研究や産業界での関わり方にも反映されていました。彼は常に善を為し、世界に良い影響を与えることに最も情熱を注いでいました。
例えば、Cycを使って6年生の数学を教えるプロジェクトは彼のお気に入りの一つでした。これはアメリカの教育における課題の一つに取り組むものでした。また、医療分野でのCycの応用も彼が熱心に取り組んだ領域です。人々の健康を改善し、病院での体験全体を向上させるためのアプリケーションの開発に力を注ぎました。
Lenatのユーモアと善良さは、彼の仕事環境にも大きな影響を与えていました。彼とMary Shepardが Cycorp で築いた職場は、私が経験した中で最も多様性に富み、真に受容的な環境でした。
Lenatの知的好奇心、勇気、そしてユーモアのセンスは、彼の研究成果だけでなく、彼が築いたコミュニティや、彼が影響を与えた多くの研究者たちの中にも生き続けています。彼の人格的特徴は、AIという難解で時に抽象的な分野に、人間的な温かみと深みをもたらしました。
5. Cycの技術的特徴：Blake Shepardによる解説
5.1 高次論理の使用
Cycで使用されている論理言語CycLは、高次論理を採用しています。これにより、非常に複雑で微妙なニュアンスを持つ知識を表現することが可能になっています。
Doug Lenatは、人間の常識や世界の知識を完全に表現するためには、より豊かな表現力を持つ論理が必要だと考えました。彼はよく、「指輪物語」全体やシェイクスピアのソネットをトリプルだけで書くことを想像してみてくださいと言っていました。これがどれほど不自然な構造になるかを考えれば、より高次の論理の必要性が理解できるでしょう。
そのため、Cycでは関係や文を量化したり、任意の数の機能的に表示された項を持つことができるようになっています。これにより、決定可能で完全な論理をはるかに超えた、非常に表現力豊かな言語を実現しています。
5.2 マイクロセオリーの概念
マイクロセオリーは、Cycの知識表現において非常に重要な役割を果たしています。これは、知識を局所的な文脈や論理的環境に分割する方法です。
マイクロセオリーの重要性は、複雑な状況を推論する際に特に顕著になります。例えば、異なる専門家が技術的な問題に対して矛盾する見解を持っている場合、それぞれの見解を別々のマイクロセオリーとして表現することができます。
これにより、異なる思考方法や、異なる状況下での異なる解決策を、矛盾なく表現することが可能になります。特に、特定の医師の病気の状態に対する見解や、異なるエンジニアの油井の状態に対する見解などを表現する際に非常に有用です。
5.3 文脈依存の推論
Cycの推論システムは、文脈に大きく依存しています。つまり、特定の知識や推論が特定の文脈でのみ有効であることを認識し、それを適切に扱うことができるのです。
文脈の一つの重要な次元は時間です。例えば、「現在のアメリカ大統領は誰か」という質問に対する答えは時間とともに変化します。現在はジョー・バイデンが大統領ですが、以前は別の人物が大統領でした。
Cycは、このような時間依存の文脈を適切に扱うことができます。ある文が特定の時間的文脈でのみ真であることを認識し、それに基づいて推論を行うことができるのです。
さらに、Cycでは全ての文が何らかの文脈内で真であると考えます。例えば、「整数は無限に存在する」という文は、常に真で形而上学的に必要だと考えられますが、それでもこれは特定の文脈（すべての可能な世界）内で真であると扱われます。
この文脈依存の推論により、Cycは現実世界の複雑さやニュアンスを捉えることができます。同時に、異なる理論や見解を矛盾なく表現し、必要に応じて適切な文脈で推論を行うことができるのです。
これらの技術的特徴 - 高次論理の使用、マイクロセオリーの概念、文脈依存の推論 - は、Cycを非常に強力かつ柔軟な知識表現・推論システムにしています。これらの特徴により、Cycは人間の常識的知識を表現し、それに基づいて推論を行う能力を持っているのです。
6. Cycの発展と現状：Blake Shepardによる解説
6.1 知識ベースの規模と内容
Cycの知識ベースの現状について説明します。30年以上の開発を経て、Cycの知識ベースは現在、2500万の公理から構成されています。これは一見すると大きな数字に見えるかもしれませんし、逆に30年の開発期間を考えると小さく感じるかもしれません。
しかし、この2500万という数字の重要性は、各公理の情報量の豊かさにあります。私たちは、各公理ができるだけ情報豊富であることに専念してきました。この2500万の公理は、「知識の結晶」あるいは「核」を構成しているのです。
この知識の核は、推論時に推移性や後方連鎖などを通じて拡張することができます。理論的には、この核から無限に多くの公理を生成することが可能です。もちろん、1000兆を超えるような数になると、それらの多くは元の公理のささいな変形になりますが、少なくとも数百兆までは実質的で興味深い公理を生成することができます。
Cycの知識ベースを構成する公理は、世界の構造に関する一般的な原則や経験則を表現しています。例えば、「物体を所有していれば、その部品も所有している」といった経験則や、「不透明な外面を持つ物体の内部は見えない」といった原則などです。
これらの公理は、少なくともデフォルトでは真であるルールオブサムを表現しています。しかし、Cycの論理は非単調であり、異なる文脈や状況下では例外を認めることができます。
6.2 推論エンジンの特徴
次に、Cycの推論エンジンについて説明します。Cycの推論エンジンは、単なる定理証明器ではありません。代わりに、数千の推論モジュールからなる「スクラフィー」（＝洗練されていない）なエンジニアリングシステムを採用しています。
これらのモジュールは、特定の推論問題を扱うように最適化されています。例えば、ある特定のモジュールは推移性を扱い、別のモジュールは特定の外部データソースへのアクセスを扱います。
これらの推論モジュールは、一種のブラックボードシステムのように動作します。つまり、問題解決のための推論検索において、関連する場合にのみ適用されるのです。
このアプローチの利点は、非常に柔軟で効率的な推論が可能になることです。Cycは、決定可能性や完全性にこだわるのではなく、現実世界の複雑さとニュアンスを捉えることを重視しています。
6.3 自然言語生成能力
最後に、Cycの自然言語生成（NLG）能力について触れます。Cycが持つ全ての公理、そして推論中にその場で生成される公理は、直接英語に翻訳することができます。
これは、Cycの説明可能性という側面で非常に重要です。Cycは単に演繹的な結論を出すだけでなく、なぜそのような結論に至ったのかを正確に説明することができるのです。
さらに、この説明能力が文脈に応じて調整可能です。Cycは、推論の各ステップを追跡し、それを英語で説明することができます。Cycは特定の個人や関心のあるコミュニティに対して、どの部分の議論が適切かを判断し、それに基づいて説明を生成することができます。
この機能により、Cycは様々な種類の消費者に対して、関連性の高い方法で自身を説明することができます。これは、AIシステムの決定プロセスを理解し、検証する必要がある多くの実際の応用において非常に重要です。
これらの特徴 - 豊富な知識ベース、柔軟な推論エンジン、高度な自然言語生成能力 - により、Cycは単なる知識ベースシステムを超えた、真に知的なシステムとなっています。
7. Cycと大規模言語モデル（LLM）の統合
7.1 LLMを活用した知識ベースの拡張：Blake Shepardの視点
Cycと大規模言語モデル（LLM）の統合について、特に知識ベースの拡張の観点から説明したいと思います。
現在、私たちは非常に興味深い段階に来ています。私たちは知識ベース拡張の「kneeオブザカーブ」、つまり急激な成長の転換点に到達したと考えています。
LLMの登場により、Cycの知識ベースを自律的に拡張する新しい方法が開かれました。具体的には、LLMを使用してCycに自律的に知識を追加し、そしてCycがLLMの出力を検証するという相互作用が可能になりました。
例えば、私たちはCycの関連する上位オントロジーや中間オントロジー、特に中学校の科学に関連する事実をエクスポートし、それを用いてLLMを微調整することができます。「クモは8本の足を持つ」や「昆虫は6本の足を持つ」といった事実は、LLMの性能を大幅に向上させるのに役立ちます。
実際、GPT-3.5のようなモデルをこれらのCycからエクスポートした知識で微調整すると、特定のベンチマークでの精度が劇的に向上することが確認されています。例えば、ARC（AI2 Reasoning Challenge）の開発セットにおいて、このアプローチが非常に効果的であることが分かっています。
7.2 Cycを用いたLLM出力の検証：Michael Witbrockの補足
Blake Shepardの説明に補足して、Cycを用いたLLM出力の検証について詳しく説明したいと思います。
Cycは、LLMの出力を検証し、信頼性を高める役割を果たします。具体的には、Cycは何十億、場合によっては何百兆もの常識的事実や推論ラインをLLMに提供し、それらを学習データとして使用することができます。
さらに重要なのは、CycがLLMの出力を評価し、その正確性を判断できることです。つまり、LLMが生成した内容に対して、Cycは「賛成」または「反対」の判断を下すことができます。これにより、LLMの出力の信頼性を高め、誤った情報や矛盾した内容を排除することが可能になります。
この相互作用は、AIシステムの信頼性と性能を大幅に向上させる可能性があります。LLMは大量のテキストデータから学習し、非常に柔軟な言語理解と生成能力を持っていますが、時として事実関係の誤りや論理的な矛盾を含む出力を生成することがあります。一方、Cycは厳密に定義された知識と推論能力を持っているため、LLMの出力を論理的に検証し、必要に応じて修正することができます。
このようなCycとLLMの統合は、AIシステムの次の大きな飛躍をもたらす可能性があります。LLMの柔軟性と大規模データからの学習能力と、Cycの厳密な論理推論と知識表現能力を組み合わせることで、より信頼性が高く、より知的なAIシステムを構築することができるでしょう。
これは、Doug Lenatが長年追求してきたビジョン、つまり機械が真に知的な推論を行い、人間の常識的な理解に近づくというビジョンの実現に向けた重要なステップだと言えます。
8. Cycの実用例と応用分野：Blake Shepardによる解説
8.1 教育分野での活用（6年生の数学教育支援）
Doug Lenatが特に情熱を注いでいたプロジェクトの一つが、Cycを使った6年生の数学教育支援でした。このプロジェクトは、アメリカの教育システムにおける重要な課題の一つに取り組むものでした。
Cycの知識ベースと推論能力を活用して、6年生の生徒たちが数学の概念をより深く理解し、問題解決スキルを向上させることを目指しました。このシステムは、生徒一人一人の理解度や学習スタイルに合わせて、個別化された学習体験を提供することができます。
このプロジェクトは、Lenatが最も情熱を注いだ応用の一つでした。彼は常に善を為し、世界に良い影響を与えることに最も関心を持っていました。6年生の数学教育支援は、まさにその具体例と言えるでしょう。
8.2 ヘルスケア分野での応用
Cycのもう一つの重要な応用分野が、ヘルスケアです。この分野でのCycの活用は、人々の健康を改善し、病院での体験全体を向上させることを目的としています。
Cycは、ヘルスケアの様々な側面を支援するアプリケーションの開発に活用されています。例えば、診断支援、治療計画の立案、医療記録の管理などが考えられます。
これらの応用により、医療の質が向上し、医療ミスのリスクが減少し、患者の治療結果が改善される可能性があります。また、医師や看護師の業務効率も向上し、より多くの時間を患者とのコミュニケーションに充てることができるようになります。
Cycのこれらの応用例は、AIが単なる技術的な進歩を超えて、実際に人々の生活を改善し、社会に貢献できることを示しています。教育やヘルスケアといった重要な分野でCycが活用されていることは、Doug Lenatのvisionが現実のものとなっていることの証だと言えるでしょう。彼が目指していた「善を為す」というアプローチが、これらのプロジェクトを通じて具現化されているのです。
これらの応用は、Lenatの個人的な価値観と深く結びついています。彼は常に、技術が人々の生活を直接的に改善する方法を探求していました。教育とヘルスケアという、社会の根幹を成す二つの分野でCycが活用されていることは、Lenatのビジョンと価値観が実を結んだ証と言えるでしょう。
9. 神経象徴的AIの可能性：Francesca Rossiによる展望
9.1 シンボリックAIと深層学習の融合
Doug Lenatの業績を振り返ると、彼の焦点は常に知識にありました。しかし、それは単なる知識だけではなく、明示的で豊かな知識、そしてそれを活用する能力にありました。これは、現在の神経象徴的AIの考え方と深く結びついています。
現在、大規模言語モデル（LLM）の登場により、膨大なデータからの学習が全てであるかのように見えるかもしれません。しかし、私たちは依然として明示的な知識の重要性を認識しています。LLMは確かに信頼性の面で課題がありますが、明示的な知識を組み合わせることで、より信頼性の高い、より有用なシステムを構築できる可能性があります。
シンボリックAIと深層学習の融合には、様々なアプローチが考えられます。例えば、LLMの出力を検証するためにCycのような知識ベースを使用したり、逆にCycの知識ベースを拡張するためにLLMを活用したりすることが可能です。
9.2 推論の透明性と説明可能性
神経象徴的AIの重要な側面の一つは、推論の透明性と説明可能性です。これは、AIの決定プロセスを理解し、検証する必要がある多くの実際の応用において非常に重要です。
シンボリックシステムは、その推論プロセスを明示的に追跡し、説明することができます。一方で、深層学習モデルはしばしば「ブラックボックス」と呼ばれ、その決定プロセスを理解することが困難です。
神経象徴的AIの実現により、深層学習の柔軟性と強力な学習能力を維持しつつ、シンボリックAIの説明可能性と透明性を組み合わせることが可能になります。これは、AIシステムの信頼性と受容性を大きく向上させる可能性があります。
重要なのは、人間の知能を複製することではなく、人間の能力を補完し、拡張するAIを作ることです。神経象徴的AIは、この目標に向けた有望なアプローチだと考えています。
また、神経象徴的アプローチは、AIシステムが人間と協力して働くことを可能にします。これは、単に人間の知能を複製するのではなく、人間の能力を補完し、拡張するAIを作ることを意味します。
最後に、信頼性の問題も重要です。シンボリックシステムは、その明示的な知識と透明な推論プロセスにより、高い信頼性を提供します。一方、深層学習システムは大量のデータから学習する能力がありますが、時として予測不可能な結果を生み出す可能性があります。神経象徴的アプローチは、両者の長所を組み合わせることで、より信頼性の高いAIシステムの構築を目指しています。
これらの考え方は、Doug Lenatのビジョンと深く結びついています。彼が追求してきた明示的知識と推論の重要性は、現在の神経象徴的AIの研究において再評価され、新たな形で実現されつつあるのです。
10. Cycの課題と批判：Benjamin Kuipersによる分析
Doug Lenatとの関わりは1982年頃から始まり、1984年には彼のもとで短期間働いた経験があります。これはCycプロジェクトの最初の年でした。その後、多くの年月を経て、Paul AllenのプログラムマネージャーとしてDoug Lenatと再び関わることになりました。
Lenatは、AIコミュニティに大きな影響を与えました。例えば、Paul Allenの思考に強い影響を与え、後にAllen Institute for AIの設立につながりました。実際、Paul Allenとの面接で最初に受けた質問は、「Cycについてどう思うか、そしてそこから学ぶべき教訓は何か、ポジティブな面もネガティブな面も含めて」というものでした。
しかし、Cycには一つの大きな制約がありました。Lenatは「スクラフィー」（非整形的）な学派で育ち、その傾向が強かったため、Cycは論理的知識表現と推論（KRR）の分野の主流から早い段階で分岐してしまいました。
具体的には、1990年頃までに、Cycは高次論理や反証可能性などの分野に先駆的に取り組んでいましたが、その後、主流の研究コミュニティと再収束または再統合することはありませんでした。結果として、Cycは独自の道を歩み、ある意味で孤立してしまったのです。
しかし、Cycの影響は依然として大きなものがありました。Allen Institute for AIの初期段階では、Cycの多くの側面が複製され、その言語の多くがより主流の研究コミュニティと強く結びついた形で再現されました。
特に、論理プログラミングを中心に標準化が行われました。例えば、World Wide Web Consortiumの標準は宣言的論理プログラムの拡張に基づいており、知識グラフも宣言的論理プログラムに基づいています。関係データベース、SPARQL、知識グラフはすべてこの論理に基づいています。
Cycは主流に近づきましたが、完全には統合されませんでした。この状況は、Cycの遺産を今後どのように活かしていくべきかという問題を提起しています。
私の質問は、Blake ShepardやMichael Witbrockのような、この問題について深く考えてきた人々に向けられています。Cycの遺産をどのように未来に活かしていくべきでしょうか？特に、Cycが主流から分岐してしまったという事実を踏まえて、今後どのようなアプローチを取るべきだと考えますか？
これは、AIの未来を形作る上で重要な課題の一つだと考えています。Cycの革新的なアプローチと、より広範なAI研究コミュニティとの協力のバランスをどのように取っていくか、これが今後の大きな課題となるでしょう。
11. Lenatの遺産と将来の方向性：Gary Marcusによる展望
Doug Lenatの遺産と、それが今後のAI研究にどのような影響を与えうるかについて話したいと思います。
11.1 知識中心アプローチの重要性
Lenatと私は、彼の人生の最後の数週間に非常に野心的な論文を書こうとしました。時間が足りず完成はしませんでしたが、その短縮版が2023年7月にarXivに掲載されています。この論文の最後のセクションは、大規模言語モデル（LLM）とCycを統合する方法に関するものでした。
具体的には、以下の5つの提案を行いました：
- Cycのような象徴的システムを、LLMの誤った生成を拒否するための真実の源として使用する。
- LLMを正確性に向けてバイアスをかけるために、Cycのような象徴的システムを真実の源として使用する。
- Cycのような象徴的システムに追加する候補となる主張やルールの生成器としてLLMを使用する。
- LLMのカバレッジを劇的に拡大するための推論の源としてCycのような象徴的システムを使用する。
- 自動監査を提供し、出所のサポートを提供するための説明の源としてCycのような象徴的システムを使用する。
これらの提案は、LenatがCycプロジェクトを通じて追求してきた知識中心アプローチと、現代の機械学習技術を融合させようとする試みです。この方向性は、AIの未来にとって非常に重要だと考えています。
11.2 半形式的推論の可能性
半形式的推論の概念も、Lenatの遺産の重要な部分です。これは、厳密な形式論理と人間のような柔軟な推論の中間に位置するアプローチです。
Lenatは、1980年代半ばに発表した論文「知識の閾値について」で、AIシステムの真の力は大量の知識から来るという考えを明確に示しました。この考えは、現在でも非常に重要です。
しかし、単に知識を蓄積するだけでは不十分です。その知識を効果的に使用し、新しい状況に適用する能力が必要です。ここで半形式的推論の概念が重要になってきます。
Cycは、この半形式的推論を実現するための多くの特徴を持っています。例えば、マイクロセオリーの概念や、文脈依存の推論能力などがそれにあたります。
このアプローチは、Lenatが追求してきた知識の結晶化という考え方とも一致します。Cycの知識ベースを「種結晶」として使用し、そこから学習を開始することで、より効果的で信頼性の高いAIシステムを構築できる可能性があります。
Lenatの遺産は、このような新しい形のAIの可能性を示唆しています。それは単に人間の知能を複製するのではなく、人間の能力を補完し、拡張するAIです。半形式的推論は、この目標に向けた重要なステップとなる可能性があります。
今後のAI研究は、Lenatが示した方向性を踏まえつつ、新たな技術や方法論を統合していくことが重要だと考えています。知識中心アプローチと半形式的推論の可能性を追求することで、より強力で信頼性の高いAIシステムを構築できるでしょう。これこそが、Lenatの真の遺産であり、私たちが継承し発展させていくべきものだと信じています。
12. AIの倫理と社会的影響：Dave Ferrucciによる考察
AIの倫理と社会的影響について、Doug Lenatの業績を踏まえつつ、自身の見解を述べたいと思います。
12.1 信頼できるAIの構築
人工知能の分野に非常に早い段階から携わってきた私にとって、Doug Lenatの個人的なリーダーシップとCycを通じた彼の業績は、大きな励みとなりました。AIが人気を集める以前から、そして人気がなかった時期でさえ、Lenatの取り組みは多くの人々にとってインスピレーションの源でした。
Lenatとの個人的な出会いは数回ありましたが、彼のAIへの取り組みは深く、前向きで、非常に明確で、そして揺るぎないものでした。どの研究分野も、理論と実践を通じて成熟していく過程で、驚くべき変容を遂げます。絶えず変化する外部要因の中で、AIも例外ではありません。
Lenatは非常に早い段階で一つの視点を持っていました。それは、効果的に推論するために、AIマシンは主に数学的表現によって定義され、形式的で信頼できる推論方法の対象となる知識へのアクセスを必要とするというものでした。私は彼が正しかったと信じています。
しかし同時に、どのような強固な論理的議論にも必要な、大量の常識的知識へのアクセスは確かに捉えどころのないものでした。現在、深層学習と大規模な計算能力を駆使して統計的な人間言語モデルを構築する力により、AIは大規模言語モデル（LLM）を通じて常識的知識にアクセスすることができるようになりました。
ただし、LLMは言語を生成する基礎となるプロセスのごく一部を表現しているに過ぎず、最終的に私たちが必要とする種類の知能を生み出すには至っていません。信頼できるAIの未来は、LLMの力を通じて常識的知識にアクセスしつつも、統計的な言語パターンを論理的な知識表現に変換し、透明で正確で追跡可能な形式的推論方法を展開することにあると私は信じています。
12.2 人間との協調を目指すAI
私たちのAIのビジョン、そしてLenatも同意するであろうビジョンは、単なる模倣やバイアス、言語の操作を超えて、知識、真実、そして最終的に私たちの思考を改善する精密で追跡可能な推論方法を要求するものでなければなりません。
このビジョンは、人間とAIの協調を前提としています。AIは人間の能力を置き換えるのではなく、補完し、拡張するものであるべきです。
私たちは、道が見えにくく、信じがたく、はるかに困難だった初期に先頭に立って道を切り開いた Doug Lenat のような人々に特別な感謝の念を抱くべきです。AI分野におけるLenatの揺るぎないリーダーシップに、私たちは大きな感謝の念を抱いています。
13. パネリストの個人的見解
13.1 Michael Witbrockの視点
Lenatの最も重要な貢献の一つは、AIシステムの真の力が大量の知識から来るという認識でした。彼は、単なる形式主義や特定の推論メカニズムではなく、知識そのものに焦点を当てることの重要性を強調しました。
1980年代半ばにLenatとFeinbaumが書いた「知識の閾値について」という論文は、この考えを明確に示した最初の文献の一つでした。この メッセージは、シンボリックAIとは異なる学派から来たGeoff Hintonでさえ、「Doug Lenatは、AIの中心的な問題がシステムに膨大な量の知識を取り込むことであることを理解した先駆者だった」と認めているほど、広く影響を与えました。
Lenatの二つ目の驚くべき特徴は、本当に大きな課題に取り組む勇気でした。1984年にCycプロジェクトを開始した時、スーパーコンピュータでさえメモリは8メガバイトしかなく、現在のような情報インフラも存在しませんでした。それにもかかわらず、Lenatとチームは袖をまくり上げ、この途方もない作業に取り組みました。
三つ目の、そしておそらく最も注目すべき点は、Lenatが自分の考えを変え、思考の範囲を広げ、方向を転換する意志を持っていたことです。彼は博士論文の文脈での自動発見からCycへと移行し、その後もCyc自体の中でいくつかの重要な転換を行いました。
13.2 Blake Shepardの洞察
Cycプロジェクトの現状と、Doug Lenatの遺産がどのように生き続けているかについて話したいと思います。
現在、Cycは研究段階のプロジェクトではなく、米国全土の企業顧客に価値を提供している実用的なソフトウェアです。Lenatの生涯の仕事は、実際に価値を実現し、広く適用されています。
Cycの知識ベースは現在、高次論理で書かれた2500万の公理で構成されています。これは大きな数字のように見えるかもしれませんが、各公理ができるだけ情報豊富であることに注力してきました。この2500万の公理は、推論時に推移性や後方連鎖などを通じて、任意に多くの、実質的には無限の公理に拡張できる知識の結晶または核を構成しています。
これらの公理は、世界の構造に関する一般的な原則や経験則を表現しています。例えば、「物体を所有していれば、その部品も所有している」といった経験則や、「不透明な外面を持つ物体の内部は見えない」といった原則などです。
Cycの推論エンジンは、数千の推論モジュールからなる「スクラフィー」なエンジニアリングシステムです。各モジュールは特定の推論問題を扱うように最適化されています。
現在、私たちは大規模言語モデル（LLM）との統合に取り組んでおり、LLMを使用してCycに自律的に知識を追加し、逆にCycがLLMの出力を検証するという相互作用が可能になっています。
Lenatの遺産は、Cycの技術的な側面だけでなく、その応用にも表れています。例えば、6年生の数学教育支援プロジェクトは、Lenatが特に情熱を注いだものの一つでした。また、ヘルスケア分野での応用も、人々の健康を改善し、病院での体験全体を向上させることを目的としています。
13.3 Francesca Rossiのコメント
Doug Lenatの業績が現在のAI研究にどのような影響を与えているかについて、特に神経象徴的AIの観点から述べたいと思います。
Lenatの焦点は常に知識にありました。しかし、それは単なる知識だけではなく、明示的で豊かな知識、そしてそれを活用する能力にありました。これは、現在の神経象徴的AIの考え方と深く結びついています。
現在、大規模言語モデル（LLM）の登場により、膨大なデータからの学習が全てであるかのように見えるかもしれません。しかし、私たちは依然として明示的な知識の重要性を認識しています。LLMは確かに信頼性の面で課題がありますが、明示的な知識を組み合わせることで、より信頼性の高い、より有用なシステムを構築できる可能性があります。
シンボリックAIと深層学習の融合には、様々なアプローチが考えられます。例えば、LLMの出力を検証するためにCycのような知識ベースを使用したり、逆にCycの知識ベースを拡張するためにLLMを活用したりすることが可能です。
重要なのは、人間の知能を複製することではなく、人間の能力を補完し、拡張するAIを作ることです。神経象徴的AIは、この目標に向けた有望なアプローチだと考えています。
13.4 Gary Marcusの総括
私、Gary Marcusは、このセッションを締めくくるにあたり、Doug Lenatの遺産の重要性と、それが今後のAI研究にどのような影響を与えうるかについて総括したいと思います。
Lenatの最も重要な遺産の一つは、知識中心アプローチの重要性を強調したことです。彼は、真の人工知能を実現するためには、単なるデータ処理や計算能力だけでなく、世界に関する深い理解と豊富な知識が必要だと主張し続けました。
Lenatと私が彼の人生の最後に取り組んだ論文では、大規模言語モデル（LLM）とCycを統合する方法について5つの提案を行いました。これらの提案は、LenatがCycプロジェクトを通じて追求してきた知識中心アプローチと、現代の機械学習技術を融合させようとする試みです。
半形式的推論の概念も、Lenatの遺産の重要な部分です。これは、厳密な形式論理と人間のような柔軟な推論の中間に位置するアプローチです。Cycは、この半形式的推論を実現するための多くの特徴を持っています。
Lenatの遺産は、このような新しい形のAIの可能性を示唆しています。それは単に人間の知能を複製するのではなく、人間の能力を補完し、拡張するAIです。
今後のAI研究は、Lenatが示した方向性を踏まえつつ、新たな技術や方法論を統合していくことが重要だと考えています。知識中心アプローチと半形式的推論の可能性を追求することで、より強力で信頼性の高いAIシステムを構築できるでしょう。これこそが、Lenatの真の遺産であり、私たちが継承し発展させていくべきものだと信じています。
14. 質疑応答セッション
14.1 Cycの一貫性に関する質問
質問者: Cycについて興味深い点を聞きました。ある規模に達したときに全体的な一貫性を放棄し、代わりにローカルなコンテキストでのみ一貫性を強制するようになったそうですね。これは、コンセンサスリアリティや一貫性について何を意味するのでしょうか？
Blake Shepard: はい、その通りです。実際、コンテキストによってCycのこの機能が可能になっています。Cycは全体的に一貫している必要はなく、各マイクロセオリー内でのみ一貫性が保たれています。
これは非常に有用な特徴です。例えば、技術的な問題に対する異なる専門家の視点を、たとえそれらが矛盾していても表現することができます。問題に対する異なる考え方や、異なる状況下での異なる解決策を、専門家固有のマイクロセオリーで捉えることができるのです。
具体的な例を挙げますと、特定の医師の病気の状態に対する見解や、異なるエンジニアの油井の状態に対する見解などを表現する際に、この機能を頻繁に使用しています。
また、コンテキスト空間の一つの重要な次元は時間軸です。ある事柄は特定の時間にのみ真実であることがあります。例えば、現在はジョー・バイデンが大統領ですが、以前の時点では別の人物が大統領でした。オバマが大統領だったという事実は、現在のコンテキストでは真実ではありませんが、特定の過去のコンテキストでは真実なのです。
時間はこの特徴を持っており、ある事柄は特定の時間的コンテキストでのみ真実となります。そのため、Cycにとってこの機能は絶対に不可欠です。実際、Cycの中のすべての文は何らかのコンテキスト内でのみ真実です。たとえその文が「常に、どこでも、すべての可能な世界で」真実であるコンテキストであっても、それ自体が一つのコンテキストなのです。
例えば、「無限に多くの整数が存在する」という命題は、形而上学的に必要で常に真実だと考えられますが、それでもこれは特定のコンテキスト（すべての可能な世界）内で真実なのです。
14.2 半形式的推論に関する議論
質問者: 2015年にスタンフォードで開催されたワークショップで、Doug Lenatが半形式的推論の必要性について話していたことを覚えています。神経象徴的AIアプローチがこの半形式的推論を提供できる可能性について、最近の研究や最新の考えを教えていただけますか？
Blake Shepard: はい、半形式的推論についてお話しできることを嬉しく思います。その透明性の点について少し説明させていただきます。
Cycのすべての推論は、明らかに推論エンジンのモジュールによってCyeLという表現力豊かな言語の論理表現のレベルで行われます。しかし、公理自体は、例外を許容し、文脈依存的にのみ真となるルールオブサムです。
これらの特徴、つまりデフォルトで真であり、文脈依存的であることが、ある意味で半形式的なものにしています。異なるコミュニティにとって関心のある推論の文脈があり、Cycが自然言語で説明を生成する際に活用する論理レベルの詳細な証明は、異なる消費者に対して、最も関心のある方法で表現されます。
例えば、Cycの論理レベルでの推論ステップが数百に及ぶ場合でも、Cycはその人や関心のあるコミュニティのモデルに基づいて、議論のどの部分が関連するかを判断し、それに応じて説明を生成することができます。
これは、異なる種類の消費者に対して、関連性の高い方法で自身を説明する上で非常に価値があることがわかっています。
15. 結論
このセッションは、人工知能の先駆者Doug Lenatの功績を振り返り、彼の研究がAIの未来にどのような影響を与えるかを考察する貴重な機会となりました。参加者たちは、Lenatの遺産の重要性とAIが直面する今後の課題について深い洞察を共有しました。
15.1 Lenatの遺産の重要性
Lenatの最も重要な貢献の一つは、AIシステムの真の力が大量の知識から来るという早期の認識でした。彼は、単なる形式主義や特定の推論メカニズムではなく、知識そのものに焦点を当てることの重要性を強調しました。この視点は、現在の大規模言語モデル（LLM）の時代においても非常に重要であることが指摘されました。
また、1984年にCycプロジェクトを開始した際のLenatの勇気と先見性も高く評価されました。当時の技術的制約にもかかわらず、彼はこの途方もない作業に取り組みました。この決意が、今日のAI研究の基礎を築いたと言えます。
さらに、Lenatの柔軟性と適応力も重要な遺産として挙げられました。彼は常に新しいアイデアに開かれており、必要に応じて自身の考えを変え、プロジェクトの方向性を調整する能力を持っていました。この姿勢は、急速に変化するAI分野において非常に重要であると強調されました。
15.2 AIの未来に向けた課題
セッションの参加者たちは、AIの未来に向けた複数の課題を指摘しました。主な課題として、以下のようなものが挙げられました：
- Lenatが追求してきた知識中心アプローチと、現在主流の深層学習アプローチの融合
- 大規模言語モデル（LLM）の出力の検証と誤った生成の拒否
- 明示的な知識を用いたLLMの学習のガイド
- LLMを使用した知識ベースの自動拡張
- 象徴的推論システムを用いたLLMの推論能力の強化
- AIシステムの決定プロセスの透明性と説明可能性の向上
- 半形式的推論の実現
これらの課題に取り組むことで、より信頼性が高く、人間にとってより有用なAIシステムを構築できる可能性が示唆されました。
また、AIの発展において人間との協調を常に念頭に置く必要性も強調されました。人間の知能を単に複製するのではなく、人間の能力を補完し、拡張するAIを目指すべきだという考えが共有されました。
さらに、AIの倫理的側面も重要な課題として挙げられました。信頼できるAIを構築するためには、技術的な課題だけでなく、社会的、倫理的な課題にも取り組む必要があることが指摘されました。
このセッションを通じて、参加者たちはLenatの先見性と勇気、そして知識中心アプローチの重要性が、今後のAI研究においても大きな指針となることを確認しました。同時に、新しい技術との融合や人間との協調、倫理的考慮など、多くの課題に取り組んでいく必要性も認識されました。
セッションは、Doug Lenatの業績を振り返るとともに、AIの未来について深く考える貴重な機会となりました。