2024-02-22 計画立案におけるLLMの可能性と限界：LLM Moduloフレームワークの提案(AAAI 2024 Tutorial Part 1)

※本記事は、AAAI 2024チュートリアル「On the Role of Large Language Models in Planning」の内容を基に作成されています。このチュートリアルは YouTube で公開されており、Part 1の詳細情報は本ページ最下部にあるYoutube動画でご覧いただけます。本記事では、チュートリアルの内容を要約しており、原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。

1. イントロダクション

1.1 チュートリアルの背景と概要

このチュートリアルは「On the Role of Large Language Models in Planning」と題され、AAAI 2024の一部として行われています。本来は3人の講演者によって行われる予定でしたが、ビザの問題により、私Subbarao Kambhampatiが一人で4時間のチュートリアル（30分のコーヒーブレークを除く）を担当することになりました。

チュートリアルのスライドは特定のURLで入手可能であり、遅刻者のために複数回URLを表示する予定です。

1.2 チュートリアルの目的

このチュートリアルの主な目的は以下の通りです：

1. 大規模言語モデル（LLM）の使用が著しく増加している現状を踏まえ、その能力と限界を理解すること。
2. LLMが推論や計画立案を行えるかどうかを検討すること。
3. LLMを計画立案に活用する建設的な方法を示すこと。
4. LLMに関する誤解を正し、その適切な使用法を説明すること。

1.3 LLMと計画立案の関係性

LLMは、訓練方法からシステム1（高速で直感的な思考プロセス）に相当すると考えられます。一方、推論や計画立案は通常システム2（意識的で論理的な思考プロセス）に属します。このチュートリアルでは、システム1がシステム2の機能を自然に獲得できるかという興味深い問いを探ります。

実際、多くの論文がLLMの計画立案や推論能力について主張していますが、これらの主張の多くは慎重に検証される必要があります。例えば、NeurIPS、IJCAI、AAAIなどの著名な会議でも、LLMが高度な計画立案や推論を行っているという論文が発表されています。

1.4 チュートリアルの主要な教訓

このチュートリアルでは、以下のような主要な教訓を提供します：

1. LLMは自律的な計画立案を行うことができません。
2. チェーン・オブ・ソート、ファインチューニング、自己検証などの手法も、この限界を克服するのに十分ではありません。
3. しかし、LLMは計画立案タスクにおいて非常に有用な役割を果たすことができます。
4. 「LLM Modulo」と呼ばれるフレームワークを使用することで、LLMの強みを活かしつつ、信頼性の高い計画立案システムを構築することが可能です。

1.5 チュートリアルの構成

このチュートリアルは3つのパートで構成されています：

Part 1: LLMの概要と、計画立案・推論におけるLLMの役割に関する高レベルの理解 Part 2: 自律モードでのLLMの計画立案能力の評価、プロンプト戦略の効果、ファインチューニング、自己検証の影響など Part 3: LLM Moduloフレームワークにおけるガイドライン、ドメインモデル取得におけるLLMの役割など

このチュートリアルは、単なる年代順のサーベイではなく、私自身の研究に基づいた意見を含む視点を提供します。目的は、参加者が自身で文献を読み、この分野で作業する際に役立つ視点を提供することです。

2. LLMの基礎と特性

2.1 N-gramモデルとしてのLLM

LLMは本質的にN-gramモデルの一種です。これは、与えられたN個の単語（またはトークン）から次の単語を予測するモデルです。例えば、ChatGPTの基盤となるモデルは、3000ワードグラムモデルと考えることができます。つまり、3000個の単語が与えられた場合、次の単語の尤度を計算します。

LLMは訓練時に、テキストデータ中のN+1番目の単語をマスクし、それを予測するタスクを繰り返し行います。予測の誤差を計算し、それを巨大なTransformerアーキテクチャを通じてバックプロパゲーションすることで、モデルのパラメータを調整していきます。

2.2 膨大なパラメータ数と学習データ

LLMの特徴の一つは、そのモデルサイズと学習データの膨大さです。例えば、ChatGPTは約600ギガバイトのデータで訓練されています。GPT-4はさらに大規模なデータセットで訓練されていますが、その具体的なサイズは公開されていません。

パラメータ数に関しても、LLMは従来のモデルとは桁違いの規模を持っています。ChatGPTのパラメータ数は約1760億個です。これは一見すると途方もない数に思えますが、実際にはN-gramモデルの理論的な要求と比較すると非常に効率的です。

理論上、N-gramモデルは、語彙サイズをVとすると、V^(N-1)個の異なるプレフィックスの条件付き分布を追跡する必要があります。ChatGPTの場合、語彙サイズが約50,000で、N=3000だとすると、50,000^2999個のプレフィックスが存在することになります。これは、Googleに「50000の2999乗」と尋ねても「無限大」と返答されるほどの巨大な数字です。

LLMは、この膨大な条件付き確率テーブルを極端に圧縮し、近似しているのです。1760億個のパラメータは、50,000^2999と比較すれば驚くほど少ないと言えます。この圧縮が、LLMの汎化能力の源泉となっています。

2.3 プロンプト完了と一貫性のある文章生成

LLMの最も顕著な能力の一つは、与えられたプロンプトを完了し、一貫性のある文章を生成することです。これは、学習データに含まれる多様な文脈や知識を利用して、適切な続きを予測する能力によるものです。

しかし、なぜLLMがこれほど一貫性のある、もっともらしいテキストを生成できるのかについては、現在のところ完全には解明されていません。可能性のある要因としては以下が考えられます：

1. 私たちが知っていることのほとんどが、すでにウェブ上に存在している。
2. 3000語という長い文脈窓を用いることで、短い文脈（例えば2語や3語）よりもはるかに的確な予測が可能になっている。
3. LLMの訓練データには、同じ3000語の配列が繰り返し現れることはほとんどないため、モデルは汎化を強いられる。

2.4 ハルシネーションの問題

LLMの能力を理解する上で重要なのは、「ハルシネーション」の問題を認識することです。ハルシネーションとは、LLMが事実と異なる情報や存在しない情報を生成してしまう現象を指します。

ここで強調したいのは、LLMは常にハルシネーションを起こしているという点です。LLMはデータベースではありません。データベースは入力されたデータのみを返しますが、LLMはN-gramモデルとして、常に新しいテキストを生成しています。

実際、LLMが特定の大きなテキスト断片を正確に再現する確率は、人間が大きなテキスト断片を正確に再現する確率と同じくらい低いのです。私たちの記憶も非真実的であり、LLMもその点では人間と似ています。

LLMは常にハルシネーションを起こしていますが、時としてそのハルシネーションが現実と一致することがあります。そのとき、私たちはLLMが正確な情報を提供したと感じるのです。しかし、これは偶然の一致に過ぎません。

LLMは索引付けや検索を行っているのではなく、常に学習データの分布に従った完了を生成しているのです。これは、プロンプトに対して合理的なエッセイを書くときにも同じことが言えます。高校生が書いたようなエッセイに見えるかもしれませんが、それが事実に基づいているとは限りません。

プロンプトエンジニアリングなどの技術を使っても、このハルシネーションの問題を完全に解決することはできません。RAG（検索拡張生成）などの手法は、外部の事実ソースを利用してLLMの出力を改善しようとしていますが、これはLLMにGoogleで検索させて要約させているようなものだと考えることができます。

結論として、LLMの出力を解釈する際には常にこのハルシネーションの可能性を念頭に置く必要があります。LLMは創造的で柔軟な文章生成が可能ですが、その代償として事実の正確性が犠牲になることがあるのです。これは、LLMを計画立案や推論タスクに適用する際に特に重要な考慮事項となります。

3. LLMと推論・計画立案の関係

3.1 システム1とシステム2の比喩

LLMと推論・計画立案の関係を理解するために、システム1とシステム2の比喩を用いることができます。これは心理学者のカーネマンが提唱した概念です。システム1は反射的な行動を説明し、システム2は熟考的な行動を説明します。

従来のAI研究、特に古典的なAIは主にシステム2に焦点を当ててきました。問題解決エージェント、定理証明器、プランナーなどがこれに該当します。一方で、システム2の推論をシステム1に「コンパイル」することも可能です。例えば、プランニングの代わりにポリシーを計算すると、特定のクラスの問題に対してオンラインでの推論なしに即座に正解を出すことができるようになります。

LLMは本質的にシステム1に相当すると考えられます。しかし、必ずしもシステム2を持っているわけではありません。LLMにシステム2が備わっているかどうかは、多くの研究者が期待を寄せている点です。

LLMは外部の知識をそのシステム1にコンパイルすることができます。これが「合成データ」の考え方につながります。例えば、プランニング問題を解決したい場合、FFなどのプランナーに膨大な数のプランニング問題を解かせ、その問題と解答のペアでLLMを訓練することで、LLMの推測能力を向上させることができます。

3.2 近似全知と推論の模倣

LLMの特筆すべき特徴の一つは、その「近似的全知性」です。これは、LLMがウェブスケールの集合知、つまり私たちがウェブにアップロードした膨大な情報に基づいて訓練されているという事実に由来します。

この近似的全知性により、LLMはほぼどのような領域や質問に関しても、驚くほど的確な知識を提供することができます。これは、近似的な知識ベースシステムの新たな復活をもたらしています。

しかし、ここで注意しなければならないのは、LLMの近似的な検索能力を、計画立案や推論と混同してしまう危険性です。記憶は第一原理からの推論の必要性を減少させます。例えば、「マンホールの蓋が丸い理由」のような面接質問を考えてみましょう。最初にこの質問を受けた人は実際に考える必要がありましたが、面接対策をした人はすでに答えを覚えています。

LLMの場合、訓練コーパスがウェブ全体であるため、何が情報として含まれているかを正確に把握することは困難です。これにより、LLMが推論を行っているように見えても、実際には単に記憶された情報を検索しているだけという可能性があります。

3.3 パターン認識と推論の区別

LLMの能力を理解する上で重要なのは、パターン認識と推論を明確に区別することです。例として、ブール充足可能性問題（SAT）を考えてみましょう。ランダムな3-SATの式が満足可能かどうかを推測する学習システムが良好なパフォーマンスを示し始めた場合、それはDavis-Putnamアルゴリズムを学習したのでしょうか？それとも、変数の数に対して節の数が4.3付近にあるときに相転移が起こり、その片側では満足しやすく、もう片側では満足しにくいというパターンを見出しただけでしょうか？

テストデータでのパフォーマンスだけを見ていると、パターン認識による方法が非常に高い精度を示す可能性があります。しかし、これは本当の意味での推論とは言えません。パターン認識によるショートカットは非常に有用ですが、必要に応じて結果の正当性を証明できることが重要です。

LLMも同様に、推論をパターン認識で近似している可能性があります。私たちがLLMの出力を見て推論が行われていると思っても、実際にはパターン認識が行われているだけかもしれません。

この区別は、LLMの能力を評価する際に非常に重要です。LLMが推論や計画立案を行っているように見える場合でも、実際には近似的な検索や記憶の再生、あるいは高度なパターン認識を行っているだけかもしれません。

したがって、LLMの計画立案能力や推論能力を評価する際には、単に正しい答えを出せるかどうかだけでなく、どのようにしてその答えに到達したのかを慎重に検討する必要があります。これは、LLMを計画立案や推論タスクに応用する際の重要な課題の一つとなっています。

4. LLM Moduloフレームワーク

4.1 フレームワークの概要と構成要素

LLM Moduloフレームワークは、LLMの強みを活かしつつ、その限界を補完するために開発した新しいアプローチです。このフレームワークの基本的な構造は非常にシンプルですが、効果的です。

主要な構成要素は以下の通りです：

1. LLM：計画の推測を行います。
2. 検証器：LLMが生成した計画が正しいかどうかをチェックします。
3. 批評家：計画の問題点を指摘し、フィードバックを提供します。
4. メタコントローラー：全体のプロセスを管理します。

基本的な流れは次のようになります：LLMが計画を推測し、検証器がその計画が正しいかどうかをチェックします。正しくない場合、批評家が批評を提供し、その批評は「バックプロンプト」としてLLMに返されます。LLMは批評を考慮に入れて新しい推測を行います。この過程を繰り返し、正しい解決策が得られるまで続けます。

4.2 LLMの役割：計画の推測、ドメインモデルの生成、仕様の拡張

LLM Moduloフレームワークにおいて、LLMは多様な役割を果たします。

まず、LLMは計画の推測を行います。与えられた問題記述に基づいて、可能な解決策を提案します。

次に、LLMはドメインモデルの生成に貢献します。計画立案問題では、問題領域の正確なモデルが必要ですが、LLMはこのモデルの生成を支援できます。

さらに、LLMは問題仕様の拡張を支援します。多くの場合、実世界の計画立案問題は不完全または曖昧な仕様で提示されます。LLMは、その広範な知識を活用して、仕様の不足している部分を補完したり、曖昧な部分を明確化したりすることができます。

最後に、LLMは形式の変換を行うことができます。例えば、時間的な計画では因果リンクを示す必要があり、リソース使用を示す計画では常にリソースが利用可能であることを示す必要があります。これらの異なる形式への変換をLLMが行うことができます。

4.3 検証器の役割と重要性

検証器は、LLM Moduloフレームワークにおいて極めて重要な役割を果たします。LLMが生成した計画が正しいかどうかを確認する責任を負います。

検証器の重要性は、LLMの本質的な特性から来ています。LLMは常にハルシネーションを起こす可能性があり、生成した情報の正確性を保証することはできません。したがって、外部の検証メカニズムが不可欠です。

検証器を使用することで、LLM Moduloフレームワークは健全な計画立案システムとなります。つまり、フレームワークが生成した計画が正しいと判断された場合、その計画は確実に問題を解決することが保証されます。

例えば、PDDLプランニングの場合、VALシステムを使用して計画の正確性をチェックすることができます。

4.4 批評家の種類と機能

批評家は、LLMが生成した計画を様々な観点から評価し、改善のためのフィードバックを提供する役割を果たします。批評家には複数の種類があり、それぞれ異なる機能を持っています。

1. バイナリ批評家：「間違っています、もう一度試してください」と単純に判断します。
2. ラコニック批評家：「ここが間違っています、もう一度試してください」と問題のある部分を指摘します。
3. 詳細批評家：「これらすべての部分が間違っています、もう一度試してください」と全ての問題点を列挙します。
4. 建設的批評家：「間違っています、こうしてみてください」と改善方法も提案します。

これらの批評家は、ラコニックなものから建設的なものまで、段階的に詳細になっていきます。全ての批評はバックプロンプトとしてLLMに返されます。

興味深いことに、計画のスタイル評価においては、LLM自体を批評家として使用することも可能です。LLMはパターン認識に優れているため、計画の一般的な「良さ」を評価する能力を持っています。

4.5 メタコントローラーの役割

メタコントローラーは、LLM Moduloフレームワーク全体を管理し、各コンポーネント間の相互作用を制御する役割を果たします。

メタコントローラーの主な機能は、複数の批評家からのフィードバックを統合し、一貫性のあるフォームにまとめてLLMに提供することです。これには、批評をどのように組み合わせるか、どの批評を優先するか、批評をLLMにどのように提示するかなどの決定が含まれます。

また、メタコントローラーは生成される計画候補の多様性を管理します。これは「Tree of Thoughts」アプローチに似ています。Tree of Thoughtsは問題解決エージェントの探索として提示されていますが、実際には候補の多様化戦略と見なすことができます。多様化は生成-テストフレームワークの効果を高めるために重要です。テスターが健全である限り、生成器が十分な多様性を持つ解を生成すれば、正しい解が見つかる可能性が高くなります。

LLM Moduloフレームワークは、LLMの強みを活かしつつ、その限界を補完する効果的な方法を提供します。このフレームワークにより、LLMを計画立案や推論タスクにより信頼性高く応用することが可能になります。また、このフレームワークは、形式的なプランニングシステムが扱えない問題にも対応できる柔軟性を持っています。

5. LLMの計画立案能力の評価

5.1 自律モードでのLLM計画立案の限界

• ケーススタディ：ブロックワールド問題

LLMの計画立案能力を評価するため、私たちは最初に自律モードでのLLMの性能を検証しました。この評価のために、古典的な人工知能の問題であるブロックワールド問題を使用しました。

2022年頃、私はChatGPT (GPT-3.5) を使って3ブロックの配置問題を解くよう試みました。結果は驚くべきものでした。ChatGPTは繰り返し計画を提案しましたが、それらの計画はほとんどの場合、正しくありませんでした。私が計画の誤りを指摘すると、ChatGPTは謝罪し、新たな計画を提案しましたが、その新しい計画もまた誤りを含んでいました。

この過程は何度も繰り返され、最終的に私は次のような結論に達しました：「スーパーボウルを見るよりも、全能のChatGPTが3ブロックの配置を計画しようとする様子を見る方が面白い。LLMは多段階の謝罪的プランナーであり、ユーザーを自身のワールドモデルとデバッガーとして使用している。」

さらに、我々はこの評価を拡張し、国際計画立案競技会（IPC）のベンチマークドメインを使用して、より広範な実験を行いました。これには、ブロックワールド以外にも、ロジスティクス問題などが含まれています。2022年の夏に行ったこの実験でも、GPT-3.5の性能は極めて低いものでした。

これらの結果を踏まえ、我々は「言語モデルはまだ計画を立てられない」という論文を発表しました。

その後、GPT-4が登場し、Sebastian Brachがそのスパークスについて言及したため、我々はGPT-4の計画立案能力も検証しました。この検証では、非常に体系的な研究を行いました。PDDLの問題を取り上げ、様々なプロンプト戦略を検討し、十分な数の問題（500〜600問）を解かせて、偶然の正解を排除しました。

結果として、GPT-4は確かに性能が向上し、GPT-3.5の6%程度の正解率から30%程度まで向上しました。しかし、これはまだ人間の性能には及びません。

興味深いことに、一部の批評家はブロックワールド問題が難しすぎると主張しました。そこで我々は、Amazon Mechanical Turkを使って人間の性能も測定しました。低賃金で作業を依頼したにもかかわらず、人間は78%の正解率を達成しました。

5.2 名前の変更による影響

LLMが本当に推論を行っているのか、それとも単に記憶に基づいて回答しているのかを調べるため、我々は興味深い実験を行いました。ブロックワールドの述語名を変更してみたのです。

具体的には、以下のような変更を行いました：

• "pick-up a block" → "attack an object"
• "unstack a block" → "feast an object"
• "put-down a block" → "suum the object"

この変更は人間にとっては少し混乱するかもしれませんが、論理的には同じ問題です。しかし、LLMの性能は劇的に低下しました。GPT-4の正解率は34%から0.1〜0.2%に落ち込みました。

これは、LLMが実際には推論を行っているのではなく、本質的に検索や記憶の再生を行っていることを強く示唆しています。この「ミステリードメイン」の手法は、実は計画立案コミュニティでよく知られているものです。Drew McDermottが、ドメイン固有のプランナーの使用を防ぐために導入した手法です。

興味深いことに、LLMにこのミステリードメインがどのIPCドメインに似ているか尋ねると、正しくブロックワールドだと答えます。さらに、我々はLLMにブロックワールドとの対応関係を提供しましたが、それでも問題を解くことはできませんでした。

一方、人間の被験者に対して同様の実験を行ったところ、十分な報酬を与えれば100%の正解率を達成できることが分かりました。

5.3 プロンプト戦略の効果

• チェーン・オブ・ソート（CoT）プロンプティングの検証

プロンプト戦略、特にチェーン・オブ・ソート（CoT）プロンプティングの効果についても検証しました。しかし、CoTプロンプティングがLLMの計画立案能力を大幅に向上させるわけではないことが分かりました。

我々はCoTプロンプティングを以下のレベルで試みました：

1. ドメインレベル
2. PDDLレベル
3. 目標レベル
4. 目標クラスレベル
5. 非常に具体的な目標レベル

結果として、CoTが効果を発揮したのは、最後の「非常に具体的な目標レベル」でのプロンプティングのみでした。これは、LLMが与えられたアドバイスを一般化し、適用する能力が極めて限られていることを示しています。

5.4 ファインチューニングの影響

ファインチューニングの効果も検証しましたが、計画立案タスクにおけるその効果は限定的でした。ファインチューニングは本質的に「コンパイル」のような機能を果たし、特定の問題とその解決策のペアを学習することはできますが、新しい問題に対して一般化する能力は限られています。

5.5 自己検証の限界

自己検証の能力も検証しましたが、LLMの自己検証能力も非常に限られていることが分かりました。実際、系統的な評価を行うと、自己検証を試みたLLMの性能は、単純に最初の推測を出力した場合よりも低下することが多いのです。

5.6 人間の介入とクレバーハンズ効果

最後に、人間の介入がLLMの計画立案能力に与える影響について検討しました。しかし、この方法には「クレバーハンズ効果」と呼ばれる問題があります。

人間が正解を知っている場合、無意識のうちにその情報をプロンプトに含めてしまい、LLMはそれを「解決」しているように見えるのです。しかし、人間が答えを知らない場合、この方法は全く効果がありません。

これらの評価結果は、LLMが自律的に計画を立てる能力に重大な限界があることを示しています。様々な方法を試みましたが、いずれも限定的な効果しか示さず、LLMを計画立案タスクに利用する際には、常に外部の検証メカニズムと組み合わせる必要があることが明らかになりました。

6. LLMを活用した計画立案の実践例

6.1 ドメインモデル獲得におけるLLMの利用

LLMは、計画立案のためのドメインモデル獲得に活用することができます。従来の知識ベースシステムでは、ドメイン専門家が手動でドメインモデルを構築する必要がありましたが、LLMを利用することでこのプロセスを効率化できる可能性があります。

LLMは近似的な知識源として機能し、ドメインモデルの大部分を推測することができます。人間の専門家は、LLMが生成したモデルを確認し、必要に応じて修正を加えることで、モデル作成の時間を大幅に短縮できます。

例えば、自然言語で記述された問題をPDDL（Planning Domain Definition Language）フォーマットに変換する作業があります。LLMはこの変換を支援できますが、単純な変換だけでなく、不完全な仕様の拡張や曖昧な記述の明確化にも活用できます。

最近のNeurIPSで発表された論文では、LLMを使ってドメインモデル自体を推測する方法を提案しています。これは、計画だけでなく、計画を行うためのドメインモデルもLLMから取得するアプローチです。

6.2 階層的タスクネットワーク（HTN）計画におけるLLMの活用

階層的タスクネットワーク（HTN）計画は、より複雑な計画立案問題を扱うための手法です。HTNドメインモデルの作成は特に困難ですが、LLMはこの分野でも活用できる可能性があります。

HTNスタイルの計画立案知識もウェブ上にアップロードされており、LLMの学習データに含まれています。そのため、LLMはHTNスタイルの階層的タスク分解を推測することができます。

しかし、ここで重要な点は、LLMがHTNスタイルの階層的タスク分解を推測できるからといって、それが推論や計画立案を行っているわけではないということです。これは単に近似的な知識の検索であり、推論とは異なります。この区別を理解することが非常に重要です。

6.3 スタイル批評とLLM

計画のスタイル評価は、LLMが特に有用な分野の一つです。計画の正確性とは異なり、スタイルの評価はパターン認識の要素が強く、LLMの得意とする領域です。

例えば、STRIPSプランナーは技術的に正しいが非効率的な計画を生成することがあります。フェニックスからバンクーバーへの移動を計画する場合、「自転車で0.5マイル、車で0.5マイル、ヒッチハイクで0.5マイル...」というような計画を立てるかもしれません。これは技術的には正しいですが、現実的ではありません。

LLMは、このような計画のスタイルを評価し、より現実的な代替案（例：直行便での移動）を提案することができます。これは、LLMが持つ広範な知識と、パターン認識能力を活用した例です。

興味深いことに、スタイル批評家としてLLM自体を使用することも可能です。LLMは計画の正確性を評価することはできませんが、計画の「良さ」を評価することは得意としています。

6.4 多様な計画候補生成におけるLLMの役割

LLMは、多様な計画候補を生成するのに適しています。最近注目を集めている「Tree of Thoughts」アプローチは、この文脈で解釈することができます。

Tree of Thoughtsは、問題解決エージェントの探索として提示されることがありますが、実際には候補の多様化戦略と見なすべきです。生成-テストフレームワークが効果的に機能するためには、テスターが健全であることと、生成器が十分な多様性を持つ解を生成することの両方が必要です。

Tree of Thoughtsアプローチの本質は、生成される候補の多様性を確保することにあります。これは、単一の解決策に固執せず、様々な可能性を探索するために重要です。

LLMはこの多様な候補生成に非常に適しています。LLMの近似的全知性と柔軟な生成能力を活用することで、幅広い可能性を持つ計画候補を生成することができます。

しかし、ここでも重要なのは、LLMが生成した候補は必ずしも正しいわけではないということです。生成された候補は、必ず外部の検証メカニズムによってチェックされる必要があります。

総じて、LLMは計画立案プロセスの様々な段階で有用な役割を果たすことができます。ドメインモデルの獲得、HTN計画の支援、計画のスタイル評価、多様な候補生成など、LLMの強みを活かせる領域は多岐にわたります。しかし、常に注意すべきなのは、LLMの出力を無批判に受け入れないことです。LLMは強力な補助ツールですが、その出力は常に検証が必要です。

申し訳ありません。ご指摘ありがとうございます。字幕情報に忠実に、セクション7を再構成いたします。

1. LLM Moduloフレームワークの応用

7.1 NASA風人間ブラックボードシステムとの類似性

LLM Moduloフレームワークは、NASAが使用している人間ブラックボードシステムと非常に似ています。NASAのミッション計画では、計画を立て、それをブラックボードに置き、多数の専門家がそれを検討します。各専門家は計画を評価し、同意するか問題点を指摘します。そして、人間がその計画を少しずつ改善していきます。

LLM Moduloフレームワークは、このプロセスを自動化したものと考えることができます。LLMが計画を生成し、様々な自動化された批評家がその計画を評価します。人間の専門家の代わりに、自動化された批評家やバリデータが使用されています。

7.2 表現力と保証のトレードオフ

LLM Moduloフレームワークの大きな利点の一つは、表現力と保証のバランスを取ることができる点です。従来の形式的な計画立案システムは、問題がそのシステムの表現力の範囲内でなければ対応できませんでした。

John DowとRamesh Patilの「知識表現の2つのテーゼ」という論文では、ユーザーに問題を表現できないからといって諦めさせるべきではないと主張しています。代わりに、ユーザーの問題を可能な限り支援し、可能な範囲で保証を提供すべきだと提案しています。

LLM Moduloフレームワークは、まさにこのアプローチを採用しています。このフレームワークは、PDDL 2.1や3.1などの特定の計画言語に限定されない、あらゆる種類の計画問題を扱うことができます。ユーザーが計画問題と呼ぶものであれば、合理的な数の批評家を提供することで、少なくともその計画に明白な問題がないことを保証することができます。

7.3 実世界の計画立案問題への適用可能性

LLM Moduloフレームワークは、実世界の計画立案問題に適用する大きな可能性を持っています。その理由の一つは、このフレームワークが形式的な計画立案システムよりも柔軟であるからです。

形式的な計画立案システムは、問題が特定の形式（例えばPDDL）で表現できる場合にのみ機能します。しかし、実世界の多くの問題は、そのような厳密な形式に簡単に落とし込むことができません。LLM Moduloフレームワークは、この制約を取り払います。

LLMは、自然言語で記述された問題を理解し、それに基づいて計画を生成することができます。これは、形式的な言語を習得していない人々でも、複雑な計画立案問題を扱えることを意味します。

さらに、LLMの広範な知識ベースを活用することで、多様な領域の問題に対応することができます。例えば、宇宙ミッションの計画から、大規模イベントの運営、複雑なソフトウェアプロジェクトの管理まで、幅広い応用が考えられます。

ただし、ここで重要なのは、LLM Moduloフレームワークは完全に自動化されたソリューションではないということです。このフレームワークは、人間の専門家を置き換えるものではなく、むしろ彼らを支援するツールとして機能します。

実世界の問題は往々にして曖昧で、不確実性を含んでいます。LLM Moduloフレームワークは、このような不確実性を扱う能力も持っています。LLMは、不完全な情報から推論を行い、可能な解決策を提案することができます。そして、批評家やバリデータがこれらの提案を評価し、最も適切な解決策を選択することができるのです。

結論として、LLM Moduloフレームワークは、理論的な興味深さだけでなく、実践的な価値も高いアプローチだと言えます。このフレームワークは、LLMの強力な能力を活用しつつ、その限界を補完する方法を提供しています。これにより、より柔軟で、より強力な計画立案ツールを実現し、複雑化する現代社会の課題に対応することができるのです。

8. 結論

8.1 LLMの計画立案における役割の再定義

このチュートリアルを通じて、私たちはLLMの計画立案能力とその限界について詳細に検討してきました。その結果、LLMの計画立案における役割を再定義する必要があることが明確になりました。

まず、LLMは自律的な計画立案者としては機能しないということを強調したいと思います。私たちの研究では、LLMが単独で複雑な計画立案タスクを解決することはできないことが示されました。例えば、ブロックワールド問題のような比較的単純な課題でさえ、LLMは一貫して正確な解を提供することができませんでした。

しかし、これはLLMが計画立案において全く価値がないということを意味するものではありません。むしろ、LLMは強力な補助ツールとして位置付けるべきです。LLMの真の強みは、その近似的全知性と柔軟な生成能力にあります。これらの特性を活かすことで、LLMは計画立案プロセスの様々な段階で有用な役割を果たすことができます。

具体的には、LLMは以下のような役割で活用できると考えています：

1. アイデア生成器：LLMは、多様な計画候補を生成する能力があります。これは、人間の計画立案者が考慮すべき選択肢の幅を広げるのに役立ちます。
2. ドメインモデル獲得の支援：LLMは、自然言語の記述からドメインモデルを推測する能力があります。これにより、形式的な計画立案言語の知識がなくても、複雑な問題を扱えるようになります。
3. 仕様の拡張：LLMは不完全または曖昧な問題記述を補完し、明確化する能力があります。これは、実世界の計画立案問題を扱う上で非常に有用です。
4. スタイル評価：LLMは計画のスタイルを評価し、より効率的または現実的な代替案を提案することができます。
5. 知識源：LLMの広範な知識ベースは、様々な領域の計画立案問題に対処する際に有用な情報を提供することができます。

ただし、これらの役割を果たす際には、常に人間の監督や外部の検証メカニズムが必要です。LLM Moduloフレームワークは、このアプローチを実現するための一つの方法を提供しています。

8.2 今後の研究方向性

LLMの計画立案への応用に関する今後の研究方向性として、以下のような点が考えられます：

1. LLM Moduloフレームワークの改善：より高度な検証器や批評家の開発、メタコントローラーの改善などにより、このフレームワークの性能と適用範囲をさらに拡大する研究が必要です。
2. LLMと古典的な計画立案アルゴリズムの統合：LLMの柔軟性と古典的アルゴリズムの正確性を組み合わせることで、より強力な計画立案システムを開発できる可能性があります。
3. 計画立案に特化したLLMの訓練方法の開発：計画立案タスクに特化した事前学習やファインチューニング手法の開発により、LLMの計画立案能力を向上させる研究が重要です。
4. 説明可能性の向上：LLMがどのようにして特定の計画や提案に至ったのかを理解し、説明できるようにするための研究が必要です。
5. バイアスと公平性の問題への対処：LLMの訓練データに含まれるバイアスが計画立案に与える影響を理解し、それを軽減する方法を研究する必要があります。
6. 倫理的考慮事項の探求：LLMを用いた計画立案システムの社会的影響や倫理的影響を継続的に研究し、適切なガイドラインや規制を開発することが重要です。
7. 実世界の応用事例の蓄積：様々な領域でLLMを活用した計画立案システムを実際に適用し、その効果と課題を詳細に分析する研究が必要です。

結論として、LLMは計画立案の分野に革新的な可能性をもたらしています。しかし、その可能性を最大限に引き出すためには、LLMの限界を正確に理解し、適切に対処する必要があります。LLMを単なる自律的な計画立案者としてではなく、人間や他のAIシステムと協働する強力な補助ツールとして位置付けることで、より効果的で信頼性の高い計画立案システムを構築することができるでしょう。

今後の研究では、技術的な進歩だけでなく、社会的・倫理的な影響も十分に考慮しながら、LLMと計画立案の関係性を探求していく必要があります。私たち研究者には、LLMの潜在力を最大限に引き出しつつ、その使用に伴うリスクを最小限に抑える方法を見出す責任があります。この挑戦的な課題に取り組むことで、AIと人間が協調して複雑な問題を解決する新たな時代を切り開くことができるはずです。