※本記事は、Stanford University CS329H「Machine Learning from Human Preferences」(2024年秋学期)における講演「Voting」の内容を基に作成されています。講演の動画は https://www.youtube.com/watch?v=1QpNZXL35NM でご覧いただけます。
本講演には以下の方々が登壇されました：
Colin Megill氏 Polusの創設者兼CEO。2012年からオープンソースプラットフォームPolusの開発に取り組み、営利企業から非営利団体への移行を経て、現在は世界各国の政府や機関における民主的審議ツールの展開を主導している。
Sanmi Koyejo氏 Stanford UniversityのComputer Science准教授。機械学習と人間の嗜好に関する研究を専門とし、本コースの担当教授として講義を進行。
本記事では、講演の内容を詳細に記述しておりますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご覧いただくことをお勧めいたします。コース全体のプレイリスト、シラバス、および受講情報については、Stanford Universityの公式サイト（https://web.stanford.edu/class/cs329h/、https://online.stanford.edu/courses/ ）でご確認いただけます。
1. イントロダクション：Colin McIllとPolusプロジェクトの背景
1.1 Colin McIllの経歴と国際関係・政治学のバックグラウンド
Colin McIll： 皆さん、こんにちは。私の名前はColin McIllです。約13年間、Polusと呼ばれるオープンソースプラットフォームに取り組んできました。まず私自身と、このプロジェクトについて簡単に背景をお話しし、その後、最近起こっている興味深い出来事について説明していきたいと思います。OpenAIのグラントプログラムや、Polusをベースにしたコミュニティノートなど、基盤となる方法論のエキサイティングな応用例や、私たちが築ける潜在的なつながりについて触れていきます。
私はサンフランシスコに住んでおり、学部時代には国際関係と政治学を専攻していました。その後、スタートアップの世界に進むことを決意しました。Polusは2012年から2016年にかけて、営利目的でありながら社会的利益を重視するスタートアップとして開発されました。2016年にこの技術をオープンソース化し、営利企業は徐々に事業を縮小して、2019年に非営利団体へと移行しました。それ以来、私は営利企業のCEOから非営利団体の代表へと役割を変えてきました。
もし非営利技術組織について興味がある方がいれば、喜んでお話ししたり質問にお答えしたりします。これは本当に興味深いモデルなのです。WikipediaやKhan Academy、あるいは最近ではSignalのような、オープンソースの非営利技術組織の資金調達や、そうした組織を運営する際の考慮事項について、興味深い側面があるかと思います。
1.2 Polusの発展：営利スタートアップから非営利団体への移行（2012-2019）
Colin McIll： Polusプロジェクトの発展について、もう少し詳しくお話しします。このプロジェクトは2012年に、営利目的でありながら社会的利益を重視する、いわゆる「pro-social」なスタートアップとして始まりました。当初から私たちは、単なる利益追求だけでなく、社会にポジティブな影響を与えることを目指していました。
2012年から2016年までの4年間、私たちは営利企業としてPolusを開発し続けました。しかし2016年に重要な転換点を迎えます。私たちはこの技術をオープンソース化するという決断を下しました。これは、より多くの人々がこの技術にアクセスし、活用できるようにするための重要なステップでした。オープンソース化によって、世界中の開発者やコミュニティがPolusのコードを自由に使用し、改良し、それぞれの目的に合わせて展開できるようになったのです。
2016年のオープンソース化の後、営利企業としてのPolusは徐々に事業を縮小していきました。そして2019年に、私たちは完全に非営利団体へと移行しました。この移行は単なる法的な形態の変更以上のものでした。組織の目的、資金調達の方法、そして運営の仕方すべてが変わったのです。私個人としても、営利企業のCEOという役割から、非営利団体の代表という役割へと移行しました。これは責任の性質が大きく変わることを意味しており、株主への利益還元ではなく、ミッションの達成とコミュニティへの貢献が最優先事項となりました。
この7年間の旅路は、テクノロジーと社会的影響の交差点で活動することの複雑さと可能性を教えてくれました。営利から非営利への移行は、私たちのコミットメントが技術そのものだけでなく、それが社会にもたらす変革的な影響にあることを明確に示すものでした。
1.3 世界各国での展開：イギリス、フィンランド、シンガポール、台湾、オランダ
Colin McIll： Polusプロジェクトについて特筆すべき点は、世界中でユーザーや展開者を持っているということです。私がこれから説明するプラットフォームは、実際に複数の国の政府によって採用され、運用されています。具体的には、イギリス、フィンランド、シンガポール、台湾、そしてオランダのアムステルダムといった国々の国家レベルの政府がPolusを展開しています。
これらは単なる試験的な導入ではありません。各国政府が実際の政策決定プロセスや市民との対話において、Polusを正式なツールとして採用しているのです。イギリス政府は政策イノベーションの文脈で使用しており、フィンランドでは全国規模での市民対話に活用されています。台湾では後ほど詳しく触れますが、Uberの合法化という非常に論争的なテーマについて国家レベルでの議論を行う際にPolusが使われました。シンガポールやオランダのアムステルダムでも、それぞれの政策課題に応じてプラットフォームが展開されています。
もちろん、こうした大規模な政府レベルでの展開だけでなく、世界中には多数の愛好家による小規模な導入例も存在します。オープンソースという性質上、技術的な知識を持つ個人や小さな組織が独自にPolusをインストールし、自分たちのコミュニティや特定の目的のために使用することができるのです。これらの草の根レベルでの活用も、Polusのエコシステムの重要な一部となっています。
このような多様な規模と文脈での展開は、Polusの方法論が文化や政治システムの違いを超えて適用可能であることを示しています。国家レベルの政策対話から小規模なコミュニティの意思決定まで、さまざまな場面で人々の意見を集約し、合意形成を支援する普遍的なツールとしての可能性を持っているのです。
2. Polusの基本的な仕組みと方法論的基盤
2.1 プラットフォームの技術的構造：ステートメント提出と投票システム
Colin McIll： では、Polusとは何かについて、用語の整理から始めましょう。講演の中で「Polus」という言葉を使うとき、いくつかの異なる意味があります。まず、pol.isというウェブサイトがあります。pol.isまたはpolis.isにアクセスすると、そこにリダイレクトされます。これは無料でログインして使用できるサイトで、技術のメインインスタンスをホストしています。次に、リポジトリがあります。人々はこれもPolusと呼びますが、これは人々がフォークする技術そのものです。さらに、論文に書かれている方法論があり、人々はこれもPolusと呼びますが、実際にはそれを支え、基盤となるメトリクスと手法のことです。そして、コミュニティやユーザー、使用法といったものもあります。一般的にPolusという言葉は、このような一連のものを指しています。オープンソース技術の場合、コースやその他のものがあるため、少し混乱することがあります。
最も具体的にお見せできるのは、まだご覧になっていない方のために説明すると、Polusは人々がステートメントを提出できるシステムです。提出されたステートメントは、他のユーザーにランダムに一つずつ表示されます。そして、ユーザーはそれらに対して同意（agree）、不同意（disagree）、またはパス（pass）することができます。
このプロセスによって疎行列が作成されます。これについては後ほど詳しく説明しますが、私たちがそのデータをどう扱い、なぜそうするのかということに戻ります。基本的に、このシステムは返信機能を中心に構築されているわけではありません。人々が提出するものはすべて、原子的な、つまり分割できない独立したステートメントであることを意図しており、それがプールに入ります。そして、他の人が提出したステートメントに対して人々が同意、不同意、またはパスをすると、システムは貪欲に機能します。つまり、人々がどれだけ投票しても、それをすべて受け入れるのです。
このシステムの直感的な理解としては、「緊急調査（emergent survey）」のようなものです。つまり、調査を受ける人々自身によって作成される調査なのです。Redditに近い部分もあります。Redditは投票サイトですが、Polusはもう少しフォーマルです。誰かが特定の集団との会話を始めることができ、ランダムサンプルで使用することも可能です。実際、世界中で多くの事例がランダムサンプルや正式なサンプリング手法を使用しています。
このシステムの目的は、大規模に視点を意味づけることです。このアイデアの着想は、Occupy Wall Street運動やアラブの春の自由運動から得られました。アラブの春の際、ソーシャルメディアは人々を政治活動に参加させる動機付けをしました。しかし、Twitterのようなプラットフォームは動員には有用でしたが、人々が集団的な文書を作成したり、互いを見つけたりすることを可能にする一貫した会話という点では、特定の制約に直面していました。
聴衆： 技術そのものについて明確にしたいのですが。人々はコメントを作成でき、それに対して投票するということですね。詳細に入る前に確認させてください。
Colin McIll： はい、その通りです。もう少し具体的に言うと、人々が提出する各ステートメントを特徴量（feature）と考え、各参加者を行（row）と考えると、その行は投票記録になります。生データは、見ていない場合はnull、同意の場合は1、不同意の場合は-1、パスの場合は0という値の連続のように見えます。このデータに対してPCA（主成分分析）を行い、その後K-meansクラスタリングを行ってパターンを識別することができるのです。
聴衆： クラスタリングしたいのは人々ですね？
Colin McIll： その通りです。人々をクラスタリングしています。そして、それらの人々を区別するステートメントを見つけます。それらのコメントのセットが、他とは異なる世界観のようなものを形成します。区別可能なステートメントがある場合にそうなるのです。
2.2 データ構造と分析手法：疎行列、PCA、K-meansクラスタリング
Colin McIll： データ構造と分析手法について、もう少し詳しく説明させてください。基本的に、グループが存在することを確認したとして、異なる考え方をする人々の間で共通しているステートメントは何かという問いに答えることができます。このメトリクスこそが、私たちが発表した論文の核心であり、2013年頃にコードベースに実装されたものです。
このメトリクスは、後にTwitterとコミュニティノートについて会話する際の基盤にもなりました。その概念は、意見の多様性がある場合、それを使って興味深い合意がどこにあるかについてのシグナルを回復できるかということです。不一致の文脈における合意とは、まさにこの式が表しているものであり、それが誤情報の文脈でより確固たる根拠を見出したことは非常にエキサイティングでした。
聴衆： 他の会話から知っているコンテキストとして、PCAとK-meansについて何か言及されていましたね。私はそれらを、プラットフォーム上でリスクにならないほど十分に解釈可能で信頼できるものとして解釈しています。これについてもう少し深く掘り下げる予定はありますか？もしそうでなければ、その質問についてもう少し議論できればと思います。もし詳しく説明される予定なら、後にしましょう。
Colin McIll： いいえ、どうぞ続けてください。今ここで議論しましょう。
聴衆： わかりました。私が理解しているのは、あなたがロバストネスに関する主張をしているということです。つまり、投票行列が与えられた場合、表現学習においてK-meansはどれほど優れているのか。合意や似ているように見える人々のグループを見つける信頼できる方法として、K-meansとクラスタリングはどれほど優れているのか。そして反論としては、例えば敵対者がこの投票メカニズムを基盤となるインフラを攻撃することで破壊しようとするリスクは何か、ということです。実際にこれを提起する理由は、私たちのクラスで投票とそのロバストネスについて詳しく学んできたからです。投票が非ロバストになる方法のいくつかを認識しているのです。
Colin McIll： なるほど。私もロバストネスに対してあなたと同じような強い楽観論を共有しているわけではないと言えます。以前にもこのことについて話したことがあるのでご存知だと思いますが、K-meansとPCAへの信頼についてのコメントをもう少し詳しく説明していただけますか。私の解釈では、その信頼は主に、これらが古典的で合理的によく理解されたアルゴリズムであり、技術的でない人でも知っているか、技術的でなくても認識している既知の手法と見なされているという事実から来ていると思います。つまり、ロバストネスを具体的に調べてこれらのメカニズムを通じた合意への攻撃を検討したからではなく、そこから信頼が来ているのではないでしょうか。
聴衆： その通りです。もう少し詳しく説明していただけますか。
Colin McIll： はい、喜んでお話しします。Polusは国家規模で敵対的な状況下で使用されてきました。具体的な例として、台湾でのUberの使用を指摘できます。この事例については後ほど詳しく説明しますが、簡単に触れておくと、この記事は最も広く取り上げられたケーススタディです。なぜなら、Uberがすべてのドライバーを会話に送り込んでシステムをゲーミングしようとする敵対的な試みがあったからです。
問題はUberが合法であるべきかどうか、そしてどのようにあるべきか、そしてタクシードライバーとの課題についてでした。当時、台湾政府がこのシステムで行ったことの一つは、システムを全国に開放したことです。これは全国規模のシステムでした。人々が来て適切に対話することが期待される場合、彼らが対話できる表面積は非常に小さいのです。ステートメントを提出することはできますが、モデレーターがそれを許可しなければ、それは何も起こりません。つまり、まずモデレーターがそれをコントロールしているので、基本的に敵対的なアクターにとっての表面積は、ステートメントに対して同意、不同意、またはパスすることだけなのです。これがゲーミングのために持っている表面積です。
PCAとK-meansについては、投票からそれらをゲーミングしようとすることになるでしょう。私たちが見たのは、基本的に繰り返しナイーブなことをすることでした。つまり、望む人々を送り込むことですが、実際にはそれは単により大きなグループを作るだけかもしれません。サンプルを歪めたかもしれませんが、それは一つのグループが大きくなるようなもので、必ずしも他のことが起こるわけではありませんでした。つまり、最初のこと、つまりゲーティングに対して自然に免疫があったのです。なぜなら、それは単に一つのグループを大きくするだけだからです。
しかし明らかに、ボットを構築しようとする場合、以前はそれが難しかったかもしれませんが、もちろん今ではより簡単です。今では、Anthropicがボットを構築するのは棚から取り出すだけのようなものです。ボットにクリックさせて、「このように投票してほしい。まだ見たことのない新しいステートメントを見ても一貫性を保つようにしてください。これが古いステートメントです。これらについてこのように投票してほしい」と言うことができます。そして、実際には全く存在しない3つの異なるクラスターを作成して、既存のクラスターを最小化することができると言えるでしょう。そして私は、これは基本的にアイデンティティに行き着く軍拡競争だと考えています。
そして問題は、サンプルとは何か、そしてどのようにして知るのかということです。これは私たちが先送りしている問題です。なぜなら、Polusはどのようなサンプルでも使用できるツールであり、私たちは意図的にそれについて不可知論的だからです。最終的には、問題は本当にサンプルに帰着すると思います。そこで最も有望なのは、おそらくゼロ知識証明（ZK）のような、匿名だが検証済みのアイデンティティの空間でしょう。誰かがその分野で本当に実質的なことをするだろうと私は期待し続けています。
2.3 設計思想：Occupy Wall Streetとアラブの春からの着想
Colin McIll： Polusの設計思想の根底にある着想について説明させてください。このプロジェクトの出発点は、Occupy Wall Street運動とアラブの春における自由運動でした。アラブの春の時期、ソーシャルメディアは人々を政治活動に参加させる動機付けとして非常に強力な役割を果たしました。Twitterのようなプラットフォームは、人々を動員するという点では確かに有用でした。
しかし、これらのプラットフォームは特定の制約に直面していました。それは、人々が一貫した会話を行い、集団的な文書を作成したり、互いを見つけ合ったりすることを可能にするという点での制約です。Twitterは動員には優れていましたが、より深い対話や合意形成には限界があったのです。
特にOccupy運動において、個人にとって一般的だったのは、運動の中で、運動をめぐる対話の中で、「これが運動の本質だ」と主張することでした。各個人が、自分が全員を代弁しているかのように主張していたのです。彼らはその一部については正しかったのですが、すべてについて正しかったわけではありません。そして断片化が生じ、要求を生み出すことが困難でした。
私が本当に興味深いと思ったのは、より多くの人々が対話するほど、より一貫性が増すようなシステムというコンセプトでした。2012年当時、私たちは「では、何が可能だろうか。どのようなデータを収集したいのか。どのようなアルゴリズムを適用すべきか」と考えました。
長い話を短くすると、それは疎行列を持ち、PCAを適用し、そしてグループ間で何が共通しているかを見るというものです。これは非常にシンプルです。いわば推薦エンジンのような数学です。しかし、深層学習は使っていません。また、これは私たちが「set and forget（設定して放置）」できるシステムでもあります。つまり、フィールドのファシリテーターが、PCAやK-meansが何か予期しないことをするのではないかという心配なしに使用できるのです。このシステムは、参加者の投票行動の関数として動作し、その結果は完全に参加者自身のコーディング行動の関数なのです。
この設計思想の核心は、既存のソーシャルメディアプラットフォームが抱えていた断片化と一貫性の欠如という問題に対処することでした。より多くの人が参加すればするほど、全体像がより明確になり、共通点と相違点がより鮮明に浮かび上がるシステムを作りたかったのです。
2.4 合意形成のメトリクス：異なる意見を持つグループ間の共通点を見つける
Colin McIll： 合意形成のためのメトリクスについて、より詳しく説明させてください。基本的に、ヒューリスティックとして次のように言えます。グループが存在することが分かっているとして、異なる考え方をする人々の間で共通しているステートメントは何か、という問いに答えることができるのです。
このメトリクスこそが、私たちが発表した論文が提示したものの核心です。そしてこれは、2013年頃にコードベースに実装されました。このメトリクスは、後にTwitterとの会話の基盤となり、彼らにとってコミュニティノートでその概念をどのように運用可能にするかという議論の土台になりました。
アイデアは次のようなものです。意見の多様性がある場合、それを使って興味深い合意がどこにあるかについてのシグナルを回復できるでしょうか。不一致の文脈における合意という概念は、まさにこの方程式が表しているものでした。そして、この方程式が誤情報の分野でより確固たる根拠を見出したことは、本当にエキサイティングなことでした。
より具体的に言えば、グループが存在し、それらのグループを区別するステートメントがあるとき、私たちは「どのステートメントが、異なる考え方をする人々の間で共通しているのか」を特定しようとしています。これは単純な多数決や平均ではありません。むしろ、通常は意見が分かれるグループ間で、珍しく合意が得られているポイントを見つけ出すのです。
このアプローチの美しさは、多様性を障害としてではなく、資源として活用する点にあります。人々が異なる視点を持っているという事実そのものが、真の合意を見つけるための手がかりになるのです。もし通常は反対の立場にいる二つのグループが、特定のステートメントについて両方とも同意しているなら、それは非常に重要なシグナルです。そのステートメントは、単に一方のグループの意見を反映しているだけでなく、より広範な合意の基盤となる可能性があるからです。
この方法論は、2013年から私たちのシステムの中核を成してきました。そして、この基本的な考え方が、後に世界最大規模のソーシャルメディアプラットフォームの一つで誤情報対策として採用されることになったのです。不一致の中から合意を見つけ出すというこの概念は、分断された社会における対話の質を向上させる強力なツールとなり得るのです。
3. ロバストネスと敵対的攻撃への対応：台湾Uberケースと合成専門家の脅威
3.1 台湾でのUberケーススタディ：全国規模での敵対的試行
Colin McIll： Polusが敵対的な状況下で国家規模で使用された具体的な例についてお話しします。一つの特定の例として、台湾でのUberの使用を指摘できます。実際、このケースについてすぐに資料を取り出してみましょう。確かここにあったはずです。
この記事は、最も広く取り上げられたケーススタディです。なぜなら、Uberがシステムをゲーミングしようとする敵対的な試みがあったからです。Uberはすべてのドライバーを会話に送り込みました。問題となっていたのは、Uberが合法であるべきかどうか、そしてどのようにあるべきか、そしてタクシードライバーとの課題についてでした。
当時、台湾政府がこのシステムで行ったことの一つは、それを全国に開放したことです。これは国家レベルのシステムでした。人々が来て適切に対話することが期待される場合、彼らが対話できる表面積は実際には非常に小さいのです。ステートメントを提出することはできますが、モデレーターがそれを許可しなければ、それは何も起こりません。つまり、まずモデレーターがそれをコントロールしているのです。
したがって、基本的に表面積は次のようになります。もしあなたが敵対的なアクターであれば、ステートメントに対して同意、不同意、またはパスすることができます。これがゲーミングのために持っている表面積です。このケースには、二つの経済的に利害関係のあるグループがありました。Uberドライバーとタクシードライバーです。市民はその中に混在していました。
私たちが繰り返し見たのは、ナイーブなやり方は望む人々を送り込むことでしたが、実際にはそれは単により大きなグループを作るかもしれないということでした。サンプルを歪めたかもしれませんが、それは一つのグループが大きくなるようなもので、必ずしも他の効果があるわけではありませんでした。つまり、第一の方法、つまりゲーティングに対して自然に免疫があったのです。なぜなら、それは単に一つのグループを大きくするだけだからです。
この台湾のケースは、Polusが実際の敵対的環境でどのように機能するかを示す最も重要な実例となりました。Uberという巨大企業が、自社の利益のために意図的にシステムを操作しようとしたのです。しかし、システムの設計そのものが、そのような単純な数の力による操作を無効化する構造になっていました。これは、理論上の想定ではなく、実際に起こった攻撃に対する防御のテストだったのです。
3.2 ゲーミング（不正操作）への耐性とモデレーションの役割
Colin McIll： ゲーミングへの耐性について、もう少し詳しく説明させてください。PCAとK-meansについて言えば、投票からそれらをゲーミングしようとすることになるでしょう。私たちが台湾のケースで基本的に繰り返し見たのは、ナイーブなことをすることでした。つまり、望む人々を送り込むことです。しかし実際には、それは単により大きなグループを作るだけかもしれません。サンプルを歪めたかもしれませんが、それは本質的に一つのグループが大きくなるというもので、必ずしも何か他のことが起こるわけではありませんでした。
つまり、それは第一の方法、ゲーティングに対して自然に免疫があったのです。なぜなら、それは単に一つのグループを大きくするだけだからです。これがシステムの重要な特性です。人数を増やすという最も単純な攻撃は、新しい虚偽のグループを作り出すのではなく、既存のグループの一つを大きくするだけなのです。
そして、モデレーションの役割が非常に重要になります。人々が来て適切に対話することが期待される場合、彼らが対話できる表面積は実際には非常に小さいのです。ステートメントを提出することはできますが、モデレーターがそれを許可しなければ、それは何も起こりません、つまりノーオペレーションです。したがって、まずモデレーターがそれをコントロールしているのです。
基本的に表面積は次のようになります。もしあなたが敵対的なアクターであれば、ステートメントに対して同意、不同意、またはパスすることができます。これがゲーミングのために持っている表面積なのです。つまり、システムへの攻撃の入り口は、実は非常に限定されているのです。新しいコンテンツの注入はモデレーターによって制御され、残された攻撃手段は投票行動のみです。
この設計により、システムは二重の防御を持っています。第一に、モデレーションによってコンテンツ側の攻撃を防ぎます。第二に、投票行動を通じた攻撃は、単に既存のグループを大きくするだけで、虚偽の新しい視点を作り出すことができません。これらの防御メカニズムが組み合わさることで、Polusは比較的シンプルなアルゴリズムを使用しながらも、実際の敵対的環境において驚くべき耐性を示すことができたのです。
台湾のUberケースは、これらの防御が理論だけでなく、実際に機能することを証明しました。強力な経済的インセンティブを持つ大企業が、システムを操作しようと試みたにもかかわらず、システムの基本的な構造がその試みを無効化したのです。
3.3 LLMによるボット生成の脅威とアイデンティティ検証の必要性
Colin McIll： しかし、明らかにボットを構築しようとする場合の話をしなければなりません。以前は、ボットの構築はより困難だったかもしれません。しかし、もちろん今ではより簡単になっています。今では、Anthropicのようなサービスを使ってボットを構築するのは、棚から製品を取り出すようなものです。ボットにクリックさせて、「このように投票してほしい。まだ見たことのない新しいステートメントを見ても一貫性を保つようにしてください。これが古いステートメントです。これらについてこのように投票してほしい」と言うことができます。
そして、実際には全く存在しない3つの異なるクラスターを作成して、既存のクラスターを最小化しようとすることができると言えるでしょう。私が思うに、これは基本的にアイデンティティに行き着く軍拡競争です。そして問題は、サンプルとは何か、そしてどのようにして私たちはそれを知るのか、ということです。
これは私たちが先送りしている問題です。なぜなら、Polusはどのようなサンプルでも使用できるツールであり、私たちは意図的にそれについて不可知論的だからです。したがって、最終的には問題は本当にサンプルに帰着すると思います。そこで最も有望なものは、おそらくゼロ知識証明（ZK）のような、匿名だが検証済みのアイデンティティ空間にあると思います。誰かがその分野で本当に実質的なことをするだろうと私は期待し続けています。
いくつかの実験があるようです。Remote Passportのようなものや、Freedom Toolのような実験があります。これらは匿名投票をZKパスポート検証のようなもので行っていると宣伝している実験を見たことがあります。彼らはロシアで国民投票をこの技術で実施したと主張しており、ケーススタディが実施されたと主張しています。
このようなものが別のレイヤーになるだろうと思います。そして、それは私たちのものの一部にはならないでしょう。つまり、最終的には統合するかもしれない何かですが、私たちが統合すべき明確な勝者がまだ存在しないと思います。これが私の答えの最初の部分です。これで大丈夫なスタートでしょうか？
聴衆： はい、参考になります。つまり、今のところリスクは、破滅的な失敗を引き起こした例はなく、前進する道は、おそらく検証をより豊かでより正確にする他の技術になるということですね。したがって、個々のサンプリングについて確実に知ることができます。
Colin McIll： そうです。投票メカニズム自体のロバストネスに必ずしも対処する必要はありません。なぜなら、少なくともそれが実在する人々であることを確実に知っているからです。
聴衆： では、それらの実在する人々が共謀しているかどうかは別の問題ですね。
Colin McIll： その通りです。そして、もし彼らが共謀した場合、問題は、どれだけ異なっているかということです。私が思うに、オープンな研究領域は次のようなものです。いくつかの良い会話があり、グループ内の分散のような感覚があるとしましょう。何かをクラスタリングしたり、グループと呼んだりする場合、その内部にどれだけの分散があるのか。現在、このグループは合成的に見えると言うためのチェックやメトリクスや方法を持っていません。なぜなら、彼らは全員が同じように投票しているからです。
つまり、100人が全く同じ投票記録を持っている場合、これは私たちができる単純なことですよね。それをもっと混沌とさせて、それがLLMであると仮定したり、LLMが人間とは異なる投票をする、つまりより緊密に投票すると仮定したりする場合、それは本当に異なるアプローチになるでしょう。したがって、その領域は私たちがまだ行っていないが、できることだと思います。そして、その問題にどのようにアプローチするかは、オープンな領域だと思います。
3.4 ZK（ゼロ知識証明）技術による匿名だが検証済みのアイデンティティ
Colin McIll： アイデンティティ検証の将来について、私が最も期待している技術について説明させてください。最終的には、問題は本当にサンプルに帰着すると思います。そこで最も有望なものは、おそらくゼロ知識証明（ZK）のような、匿名だが検証済みのアイデンティティ空間にあると思います。誰かがその分野で本当に実質的なことをするだろうと私は期待し続けています。
いくつかの実験的なプロジェクトが存在するようです。Remote Passportのようなものがあります。また、Freedom Toolのような実験もあります。私が見た実験の中には、ZKパスポート検証のような仕組みを使って匿名投票を行っていると宣伝しているものがあります。彼らはその技術を使ってロシアで国民投票を実施したと主張しており、ケーススタディが実施されたと主張しています。
このようなものが、おそらく別のレイヤーになるだろうと思います。そして、それは私たちのシステムの一部にはならないでしょう。つまり、最終的には統合するかもしれない何かではありますが、現時点では私たちが統合すべき明確な勝者がまだ存在しないと思います。これが、この問題に対する私の答えの最初の部分になります。
ZK技術の魅力は、個人のプライバシーを保護しながら、その人が実在する検証済みのアイデンティティを持っていることを証明できる点にあります。つまり、誰が投票したかを明らかにすることなく、投票者が本物の人間であり、一人一票のルールに従っていることを保証できるのです。これは、匿名性と検証可能性という、一見矛盾する二つの要求を同時に満たす可能性を持っています。
しかし、この技術はまだ発展途上です。複数の競合するアプローチがあり、それぞれに長所と短所があります。どのソリューションが最終的に標準となるのか、あるいは複数のソリューションが共存するのかは、まだ明確ではありません。したがって、Polusとしては現時点で特定の技術にコミットするのではなく、この分野の発展を注視し、成熟した段階で統合することを考えています。
これは追加的なレイヤーとして機能するものであり、Polus自体の核となる部分ではありません。Polusはサンプリングとアイデンティティ検証については意図的に不可知論的な立場を取っており、さまざまな文脈で使用できる柔軟性を保っています。ZK技術は、この柔軟性を損なうことなく、セキュリティと信頼性を向上させる追加オプションとして位置づけられるでしょう。
3.5 合成クラスターと合成専門家による政策決定への影響
聴衆： もう少しその角度から掘り下げたいと思います。自律エージェントを持つことができると言及されましたが、敵対的に、あなたが言ったように実在しない3つの異なるクラスターを作成しようとするような世界を想像できます。実際の意見収集メカニズムを妨害しているので、なぜこれが悪いのかについての漠然とした感覚は明らかにあります。しかし、具体的な敵対的目的がどのようなものか、何か感覚はありますか？これら3つのクラスターを作成しようとしている場合、私は何を最適化しようとしているのでしょうか、あるいは私の目的は何でしょうか？
Colin McIll： 素晴らしい質問です。具体的な例を使いましょう。これは、イギリスのPolicy Labと呼ばれる政策イノベーションユニットです。彼らは集団知性ユニットを設立しました。これらの政策イノベーションユニットの目標は、通常、「私たちは新しい手法、例えばPolusを使って住民から意見データを収集し、それを政策に使用するという革新を行います」と言うことです。
そして彼らは、「私たちは政府内にいるが、ある種の第三者です。最も進歩的で、新しいことをしたいと考えている大臣は誰か？今、誰が権限を持っているか？誰が意志を持っているか？」と言います。そして彼らは何かを行うために行きます。このケースでは、生態学的に関連する何かでした。
通常、これはクロスステークホルダーのようなものになります。つまり、漁業者、観光業の人々、産業や運輸の人々、地域の市民などがいます。このケースでは、イギリスでのseabass規制に関するもので、彼らは民族誌で数十人と話し、数千人規模に拡大しました。
さて、もしこれが全国規模のサンプルで、かつオープンだったとしたら、漁業の業界プレイヤーで動機づけられている誰かがいたとしましょう。彼らが全国規模の政策対話を歪める経済的利益を持っていたとします。彼らは、実在しない3つの非常に異なる世界観と合成市民の人格を追加できるでしょう。これらの合成市民は、自分たちの生計や何かに対するあらゆる種類の規制について非常に懸念しており、はるかにドグマ的である可能性があります。
基本的に、経済的に利害関係のある主体の物語を推進する合成的な極端主義グループを効果的に追加できるのです。Uberのケースのように、二つの経済的に利害関係のあるグループ、Uberドライバーとタクシードライバーがいて、市民はその中に混在していました。このケースでは、学術的専門家や経済学者のグループが他の国での結果について話していたかもしれませんが、それが誤情報でもあったかもしれません。
どのユーザーや意見、どの専門家が本物で、どのグループがその国に根ざしており、どれが経済的利害関係者の合成アクターに過ぎないかを解明することは、本当に混乱するでしょう。国家規模の審議における経済的利益は、注意すべきものだと言えます。
聴衆： なるほど、ありがとうございます。合成専門家が恐らく最も危険なものだと思います。なぜなら、あなたが言っているのは、実際には200人の経済学者のグループがいて、彼ら全員がX、Y、Zに対するあらゆる規制の影響について懸念していて、私たちの輸送システムは3ヶ月以内に崩壊すると言っているようなものだからです。
Colin McIll： その通りです。もし実際に200人の学者がそう言っているなら、それは重要です。もしそうでなければ、解明するのは難しいかもしれません。これがLLMの問題だと思います。彼らは信じられないほど学術的に聞こえるものを生み出すことができるからです。彼らは理論を引用し、予測を引用し、多くの文書を引用できますが、敵対的なケースで実際に自分自身を根拠づけることもできます。
エージェントまたは一連のエージェントが、財政的アクターに完全に偏った、法的なケースレベルで根拠のある反対意見を効果的に構築できるとしたら、それは非常に混乱するものです。基本的に現地の状況を把握しようとしていただけの公務員にとって、解明することが難しいのです。それがPolusの構築目的でした。
このシステムがより多くの権力を持つようになれば、より洗練された反対が予想されると思います。私は、より高度な反対を予想できると思います。
聴衆： こんにちは。少し混乱していて、うまくいけばメインのプレゼンテーションに戻れればと思います。というのも、大まかには、私たちがまだ見ていない何かを示唆しているようですが、それは人々が質問を提案しているということです。彼らは自分の専門知識を確立する多くの質問を提案でき、客観的な答えがあり、そして50の質問を提案することで専門家しか尋ねられない質問をして、専門知識を持たないすべての人をフィルタリングできます。しかし、プラットフォームで質問がどのように自然に現れるのか、よく理解できていません。既存の例のより詳細な説明を見たいと思います。
Colin McIll： 素晴らしい質問です。資料を取り出して、レポートをお見せしましょう。これはサンファン諸島で実施された会話です。これはワシントン州の13,000人の郡で、4つの島があります。問題は土地銀行の問題です。この会話は、不動産を購入して農村部と農業地域を保つ公的機関である土地銀行が、より多くの土地を保全し続けるべきかどうかを中心に展開されました。
会話は、基本的に「土地銀行について話し合います。あなたの考えや感情は何ですか？どこに行くべきですか？問題は何ですか？良い点は何ですか？」というような、一般的なプロンプトで始まりました。そして人々はステートメントを提出します。
4. LLMとPolusの統合：Anthropicとの共同研究と実装課題
4.1 Anthropicとの共同論文：機会とリスクの分析
Colin McIll： さて、最近の重要な研究について話を進めたいと思います。SemiやSemihaの学生たちとの事前の会話に基づいて、私は特に焦点を当てたいのは、昨年Anthropicと共同で執筆した論文です。この論文は、大規模言語モデルをPolusと共に使用することの機会とリスクについて扱っています。つまり、この文脈で新しい技術が何を提供できるのか、そしてこの種の文脈でそれを使用することのリスクは何か、ということです。
私は今日の講演の大部分を、私たちが構築しているものと、その方法論について話すことに費やすつもりです。これは現在、私の中でも非常にホットなトピックとして読み込まれているので、これについて話すことにワクワクしています。
この研究の核心は、LLMがPolusの文脈で何ができるのか、そしてそれをどれだけうまく実行できるのかを理解することでした。私たちは、Polusのプラットフォーム上で人々が対話している会話の中で、LLMがどのような種類のタスクを実行できるか、そしてそれがどれだけうまく機能するかを検討しました。これは単なる技術的な実験ではなく、民主的なプロセスにAIを統合することの倫理的および実践的な影響を深く考察するものでした。
Anthropicとの協力は非常に有意義なものでした。彼らはAI安全性と整合性に深い関心を持っており、Polusの民主的審議という文脈は、彼らの研究にとって理想的な試験場となりました。私たちは共に、新しい技術がもたらす可能性を探求すると同時に、それが民主的プロセスを損なう可能性のあるリスクについても真剣に検討しました。
この論文は、単にLLMが技術的に何ができるかを示すだけでなく、それをいつ、どのように使用すべきか、そして使用すべきでないかについての重要な洞察を提供することを目指しました。新しい技術が提供できるものと、それを使用することのリスクとのバランスを取ることが、この研究の中心的なテーマでした。
4.2 モデレーション、要約、投票予測の3つのタスク
Colin McIll： 私たちがAnthropicとの論文で検討した主要なタスクについて説明させてください。私たちは、LLMがPoluの会話内でどのような種類のタスクを実行できるか、そしてそれをどれだけうまく実行できるかを調査しました。具体的には、モデレーション、要約、そして投票予測という3つの主要なタスクを見ていきました。
モデレーションについては、不適切なコンテンツや有害なステートメントをフィルタリングする能力を検討しました。これは、大規模な公的対話を維持する上で重要な機能です。
要約については、最も有望な初期の結果の一つでした。これは現在も取り組んでいる領域です。私たちは要約をステートメントに根拠づけることができるかどうかという問題に焦点を当てています。私たちは現在、出荷に近づいており、その詳細についてお話しできることを嬉しく思います。
具体的には、節レベルでの根拠付けを検討しています。つまり、システムはデータのどこかで根拠付けることなく、ほんの数語以上進むことができないのです。私たちが現在取り組んでいる実装では、要約が生成される際、それは常に元のステートメントに密接に結びついていなければなりません。これにより、LLMが単に独自のナラティブを作り出すのではなく、実際の参加者の声を忠実に反映することを保証しようとしています。
投票予測については、これも調査しました。LLMが参加者によるより多くのステートメントと投票を見た場合、次の投票を予測できるかどうかを検討しました。これについては次のセクションで詳しく説明しますが、結果は驚くべきものであると同時に、懸念すべきものでもありました。
これら3つのタスクは、それぞれ異なる機会とリスクを提示しています。モデレーションは比較的安全な応用ですが、要約と投票予測は、より慎重な検討と設計を必要とする領域です。特に、これらの技術が民主的プロセスにどのように影響を与えるかという点で、私たちは非常に慎重にアプローチする必要があります。
4.3 投票予測の高精度性とその倫理的リスク
Colin McIll： 投票予測について、非常に重要な発見がありましたので詳しく説明させてください。私たちは、LLMが参加者によるより多くのステートメントと投票を見た場合、次の投票を予測できるかどうかを検討しました。そして、LLMは人々の投票を予測することに恐ろしいほど優れていることが分かりました。これは特にリスクの大きい領域だと思います。
なぜなら、明らかに投票予測が非常に優れている場合、敵対的なアクターが優れた合成有権者を構築するための相当な余地があるからです。しかし、私がさらに懸念しているのは、人々がこれらのシステムを有権者として誤解し、「彼らは人々を代表するのに十分優れている」と言うことです。そして、社会調査においてLLMを使って人々を怠惰に置き換えることができると考えてしまうことです。これは、公的機関と市民の間をさらに媒介してしまい、それは論文でも議論されたリスクの一つです。
聴衆： もう少し詳しく説明していただけますか。まず純粋な方法論として、これはプロンプト内での予測ですか？つまり、例とコンテキストを与えて、次のものを予測するように求めるという実際の実装ですか、それともそれよりも洗練されたものですか？
Colin McIll： はい、基本的にはそうです。より多くのステートメントを段階的に与えていき、「この投票記録が与えられた場合、投票は同意、不同意、またはパスになると予測します」と言わせるようなものです。そして、参加者の投票履歴をより多く与えるにつれて、次の投票が何になるかを予測することがより上手くなっていくのです。
聴衆： なるほど。リスクについてももう少し理解したいのですが。ある意味では、人々の好みの良い予測器を持っているなら、それは人々の好みを正しく捉えるという点で純粋な利益のように思えます。しかし、何かを見逃したり、人々が予測と真実が大きく異なる特定の問題があったりするリスクもあるのでしょうか。なぜなら、人々はモデルよりも複雑だからです。もう少し何を懸念されているか説明していただけますか？
Colin McIll： 人々がモデルよりも複雑であるというのは一つの点です。もう一つは、これは週末のハックプロジェクトのようなケースでした。システムプロンプトで「あなたはルーマニアの市民で、首相があなたに話しかけています。あなたがルーマニア市民であるかのように応答してください」といった感じです。すると、すぐにステレオタイプ的な人々を生成してしまうのです。
聴衆： なるほど。
Colin McIll： 本当にお粗末な実装で、厳密性のないものです。しかし、人々がそれがそれほど優れていると信じ、それが公的機関に短期間で出回ってしまうと問題です。
聴衆： わかりました。なるほど。
Colin McIll： つまり、技術的には非常に優れた予測能力を持っているかもしれませんが、それを実際の民主的プロセスで使用することの倫理的および実践的な問題があるのです。特に、これが人々を実際に参加させるのではなく、LLMに置き換えてしまうという怠惰な解決策として使われる可能性があります。そうなると、市民と政府の間にさらなる媒介層を作ってしまい、直接的な市民参加という民主主義の本質的な価値を損なうことになります。
予測が正確であることと、それを使用することが適切であることは別の問題です。たとえ技術的に可能であっても、それが民主的な正当性を持つかどうかは全く別の問題なのです。
4.4 トピックモデリングとPCA後の統計データの活用
Colin McIll： トピックモデリングについても重要な発見がありました。2023年の時点で、Claudeはレポートからトピックモデリングを行うことに非常に優れていることが分かりました。また、比較を行う能力もありました。基本的なデータ分析タスクでテストしましたが、Polusには多くのオープンデータとオープンメソッドがあるため、オープンデータとオープンコードでの実験ベンチマークとして興味深いものでした。Anthropicが部分的に興味を持ったのは、データ分析タスクのための実験的ベンチマークがオープンデータとオープンコードで存在するからです。
聴衆： このトピックモデリングは、PCAとクラスタリングの代替として理解しています。つまり、それらを経由するのではなく、コンテキスト内で行うということですね。
Colin McIll： コンテキスト内で行います、その通りです。ご覧になると分かりますが、グループ0とグループ1があります。グループはあります。クラスターはあります。しかし、それはPCAとK-meansの後に統計的なステップとして使用するのです。
聴衆： なるほど。
Colin McIll： そして、それは私たちが検討していることの多くです。基本的に、形式的な方法で構造化された方式でプロンプトに供給するということです。以前のステップの統計的出力を供給します。そして、LLMに多くのことを求めるのではなく、ナラティブの部分だけを求めます。そしてもし何かナラティブなことをするなら、それはすぐに根拠づけなければなりません。次に進む前に。
つまり、ハルシネーションの封じ込め単位のようなものがあるのです。これが概念の一つです。これについてはもっと多くのことを言えますが、実際に何かを構築するという観点では、Harveyを見たことがある方はいますか？OpenAIの小さな弁護士です。彼らは本当に良い仕事をしました。OpenAIの彼らへの投資と非常に密接な協働により、ハルシネーションを減らし、法律分野で追加のタスクを運用可能にする方法について、非常に良いポッドキャストが生まれました。
彼らがハルシネーションを減らすために行った作業については、本当に良いものがたくさんあります。物事をサブタスクに分解し、プロンプトごとにカスタムデータを用意し、それを使ってハルシネーションを減らすということです。しかし、トピック分析のステップは、単にすべてのコメントを見て、あなたがするようにグループ化するというものです。
そして、それ以上深く掘り下げることなく、そのタスクにおいて非常に有能に見えます。私たちが発見したのは、Claudeが特別なプロンプトエンジニアリングをあまり必要とせずに、トピックモデリングのタスクを実行できるということでした。これは、従来の統計的手法とLLMの強みを組み合わせるアプローチの可能性を示しています。
重要なのは、PCAとK-meansという確立された手法を使って基本的な構造を見つけ出し、その後でLLMにナラティブ化と解釈という、より人間的な理解が必要なタスクを任せるということです。このハイブリッドアプローチにより、統計的な厳密性を維持しながら、結果をより理解しやすい形で提示することができるのです。
4.5 ハルシネーション削減のための細分化と根拠付け
Colin McIll： ハルシネーション削減のための私たちのアプローチについて、より詳しく説明させてください。現在、要約機能について取り組んでいることの一つは、節レベルでの根拠付けです。つまり、システムはデータのどこかで根拠付けることなく、ほんの数語以上進むことができないのです。
これは「ハルシネーションの封じ込め単位」という概念です。もしLLMが何かナラティブなことをするなら、それはすぐに根拠づけなければなりません。次に進む前に。この細分化されたアプローチにより、ハルシネーションが発生する範囲を最小限に抑えることができます。
私たちは、以前のステップの統計的出力を形式的な方法で構造化された方式でプロンプトに供給しています。そして、LLMに多くのことを求めるのではなく、基本的にナラティブの部分だけを求めます。これにより、LLMの役割を明確に限定し、その出力を常に元のデータに結びつけることができるのです。
OpenAIのHarveyの事例から多くを学びました。Harveyは法律分野の小さなAIアシスタントですが、非常に良い仕事をしています。OpenAIの彼らへの投資と非常に密接な協働により、ハルシネーションを減らし、法律分野で追加のタスクを運用可能にする方法について、非常に良いポッドキャストが生まれました。彼らがハルシネーションを減らすために行った作業には、本当に良いものがたくさんあります。
具体的には、物事をサブタスクに分解し、プロンプトごとにカスタムデータを用意し、それを使ってハルシネーションを減らすという手法です。私たちも同様のアプローチを採用しています。各タスクを小さな単位に分解し、それぞれの単位で必要なデータだけを提供することで、LLMが根拠のない情報を生成する機会を減らしているのです。
トピック分析のステップでも同様です。基本的に、すべてのコメントを見て、グループ化するという作業を行います。そして、それ以上深く掘り下げることなく、そのタスクにおいて非常に有能に見えます。つまり、LLMには明確に定義された、限定的なタスクを与え、それ以上のことを期待しないということです。
この方法により、私たちは統計的な厳密性と解釈可能性のバランスを取ることができます。PCAとK-meansという証明済みの手法でデータの構造を明らかにし、LLMはその構造を理解しやすい言葉で説明するという役割に限定されます。そして最も重要なのは、LLMが生成する各文、各節が、常に元のデータに根拠を持っているということです。これにより、出力の信頼性と検証可能性を確保できるのです。
5. 実際の使用例：世界各国での展開とケーススタディ
5.1 ティモール、パキスタン、ブータンでのUNDPプロジェクト
Colin McIll： サンプリングの文脈における実際の使用例について、いくつかお話しさせてください。これはティモールでの例で、UNDP（国連開発計画）によって実施されました。彼らが使用した調査方法論は興味深いものでした。基本的には、車両に乗り込み、そして周辺を回ります。そして、n番目ごとの人に声をかけて、数ブロックの間乗車して質問に答え、ステートメントを入力してもらえるか尋ねるのです。
この方法では、政治家がトゥクトゥク（三輪タクシー）に乗っていました。つまり、基本的には権力との直接的なつながりがあったのです。彼らはこれを使って、緊急的なテキストのサンプル、緊急的な投票のサンプルを得ました。そしてそれがステージ1でした。
ステージ2では、その後、他のデジタルプロセスにおいてより多くのランダムサンプリングを行いました。彼らはこれをパキスタンとブータンでも実施しました。3カ国全体で数万人が参加しました。これがUNDPのプロジェクトでした。
このアプローチの興味深い点は、対面での接触とデジタルプラットフォームの利点を組み合わせていることです。トゥクトゥクを使った対面でのサンプリングは、デジタルアクセスが限られている可能性のある人々にも参加の機会を提供しました。そして、政治家が同乗することで、このプロセスが単なる調査ではなく、実際の政策決定につながる可能性があるという信頼性を高めました。
最初の段階で収集されたステートメントと投票は、会話の種を蒔く役割を果たしました。その後、より広範なデジタルプロセスを通じて、より多くの人々がこれらの初期のステートメントに反応し、新しいステートメントを追加し、より大規模な対話を形成していったのです。このような段階的なアプローチにより、初期の対面接触の質と、デジタルプラットフォームの規模の拡張性の両方を活用することができました。
5.2 フィンランドSatraによる18,000人規模の全国対話
Colin McIll： もう一つの興味深いグループについて触れたいと思います。フィンランドにあるSatraという組織です。これも基本的に公的資金によって支援されている、政策イノベーションに従事する機関です。彼らは政策分野に関する大規模な会話を持っています。
彼らは昨年、18,000人規模の会話を実施しました。彼らは国家規模でこれらを定期的に実施しており、独自のインスタンスとデプロイメントを持っています。これは大規模な、いくつかはオープンで、いくつかはクローズドな会話のいくつかの異なる視点を提供しています。それらはすべて異なるトピックに焦点を当てていますが、すべて基本的に住民に対する民族誌的研究のようなことを行おうとしています。
Satraの取り組みで注目すべき点は、Polusを一時的な実験としてではなく、継続的な市民参加のインフラとして使用していることです。18,000人という参加者数は、単なるパイロットプロジェクトではなく、真剣な全国的な取り組みであることを示しています。フィンランドの人口を考えると、これは相当な割合の市民が政策対話に直接参加していることを意味します。
彼らが独自のインスタンスとデプロイメントを持っているという事実も重要です。これは、彼らがPolusを単に使用しているだけでなく、自国の政策決定プロセスに深く統合し、長期的な投資を行っているということを示しています。オープンな会話とクローズドな会話を混在させることで、公開討論が適切な場合と、より限定された専門家やステークホルダーグループとの対話が必要な場合の両方に対応しているのです。
フィンランドの事例は、Polusのような審議ツールが、一度限りの実験ではなく、民主的統治の恒常的な一部として機能できることを示しています。彼らは定期的にこれらの会話を実施しており、市民の声を継続的に政策形成プロセスに組み込む仕組みを構築しているのです。
5.3 サンファン諸島の土地銀行問題：300ステートメント、数万票の分析
Colin McIll： 具体的なケーススタディとして、サンファン諸島での会話をお見せしましょう。これはワシントン州にある13,000人の郡で、4つの島から成っています。問題は土地銀行の問題でした。会話の中心は、土地銀行が引き続きより多くの土地を保全すべきかどうかということでした。土地銀行は、不動産を購入して農村部と農業地域を維持する公的機関です。
会話は、基本的に次のような非常に一般的なプロンプトから始まりました。「土地銀行について話し合います。あなたの考えや感情は何ですか。どこに向かうべきですか。問題は何ですか。良い点は何ですか」といった具合です。そして人々がステートメントを提出していきます。
提出されたステートメントを見ていくと、ここに上位レベルの統計があります。数百人がいました。これは郡の人口の数パーセント程度です。約300のステートメントが提出され、数万の投票が投じられました。例えば、グループ間で人々が何に同意したかというメトリクスでソートすると、土地銀行が保全している土地へのアクセスは、自然生息地の保全と両立可能であることに、グループ間で人々は非常に強く同意していました。人々が訪問することを禁止する必要はなく、それは検討中の問題ではありません。それは私たちが議論していることではありません。
一方で、会話の中で本当に論争的だったものもあります。ここで平和フォームを使ってみましょう。PCAでより右側に負荷がかかっているもの、つまりより大きな分散があるものです。そして、土地銀行が継続すべきかどうかという質問は論争的でした。つまり、島で開発可能な土地や住民のための土地を減らしているのかどうかということです。では、グループ間で何が論争的だったのかを見ることができます。そして、これらは提出されたステートメントを見ることができます。これらは参加加していた人々によって提出されたステートメントです。つまり、これは人々が問題について自分の意見を表現する方法であり、その後、他のすべての人が他の人が言ったことについて意見を述べる機会を持つのです。
すべての人がステートメントを提出するわけではありませんが、全員が投票する機会を持っています。これで、少なくともその構造、つまり一般的なプロンプトがあり、そして戻ってくるのは質問ではなく、実際にはプロンプトへの回答の束であるということを理解する助けになるでしょうか。
聴衆： はい、そう思います。つまり、人々はステートメントを提出でき、そして人々はそれに同意するかどうかを言っているのですね。
Colin McIll： その通りです。システムの仕組みは、人々が「土地銀行は不動産を購入しており、それは停止すべきです。なぜなら、それは住民が住んだり購入したりできる不動産の量を減らしているからです」というようなステートメントを提出します。そして他の人々には、それがセミランダムに配信されます。彼らはそれに同意、不同意、またはパスします。そして、そのステートメントは他の人々の投票記録の一部を形成します。
この事例が示しているのは、比較的小さなコミュニティでも、意見の多様性と複雑さが存在するということです。300のステートメントと数万の投票は、この問題について人々が持っている視点の豊かさを示しています。そして、データを分析することで、どこに広範な合意があり、どこに真の分断があるのかを明確に特定することができます。保全された土地へのアクセスと自然保護の両立可能性については広範な合意がある一方で、開発可能な土地の減少については深刻な懸念があることが浮き彫りになったのです。
5.4 イギリスPolicy Labによるseabass規制：ステークホルダー間の対話
Colin McIll： イギリスのPolicy Labでの使用例について説明させてください。Policy Labは、イギリス政府内の政策イノベーションユニットです。彼らは集団知性ユニット（Collective Intelligence Unit）を設立しました。これらの政策イノベーションユニットの目標は、通常次のようなものです。「私たちは新しい手法、例えばPolusを使って住民から意見データを収集し、それを政策に使用するという革新を行います」と言います。
そして彼らは「私たちは政府内にいるが、ある種の第三者です。最も進歩的で、新しいことをしたいと考えている大臣は誰か？今、誰が権限を持っているか？誰が意志を持っているか？」と言います。そして彼らは何かを行うために動きます。このケースでは、生態学的に関連する何かでした。
通常、これはクロスステークホルダーのようなものになります。つまり、漁業者、観光業の人々、産業や運輸の人々、地域の市民などがいます。このケースでは、イギリスでのseabass（スズキ）規制に関するものでした。彼らは民族誌で数十人と話し、数千人規模に拡大しました。
このケースの重要な点は、複数の異なる利害関係を持つグループが関与していることです。漁業者には経済的な生計がかかっており、観光業者は異なる利益を持ち、環境保護の観点を持つ人々もいて、地域住民は食料供給や地域経済の両方を気にかけています。このような複雑な利害関係が交錯する問題において、Polusは各グループの懸念を明確にし、意外な合意点を見つけ出すことができるのです。
Policy Labのアプローチで注目すべきは、彼らが単にデータを収集するだけでなく、実際の政策決定に影響を与えることを目的としていることです。彼らは進歩的で意欲的な大臣を特定し、その大臣が権限と意志を持っているタイミングで介入します。これにより、市民の声が実際の政策変更につながる可能性が高まります。
また、民族誌的な深い対話から始めて数千人規模に拡大するという段階的アプローチも重要です。最初の数十人との対話で問題の核心的な側面を理解し、その後、より大規模なデジタル対話で広範な市民の意見を集めるのです。このように、質と量の両方を確保するアプローチが、政策決定に有用な洞察を生み出すことができるのです。
6. DeepMindの研究、OpenAIのグラント・プログラム、そしてAIによる合意形成
6.1 DeepMind論文「AI can help humans find common ground」の概要
Colin McIll： 最近の大きな動きについてお話ししたいと思います。DeepMindが最近、「AI can help humans find common ground with democratic deliberation」という論文を発表しました。彼らはイントロダクションで、Anthropicとの共同論文を着想として引用しています。私たちは2023年7月に、昨年、彼らにAnthropicの論文を提示しました。
彼らが検討しているのは、基本的に次のようなことです。LLMがグループが自分たち自身の集団声明を書くのを助けることができるか、そしてその声明に対してより高い、そしてより高い承認を得ることができるか、ということです。彼らが求めているのは、州を代表するようなグループ、そして立法府の多数派を超える代表性です。
彼らは市民議会のようなコンテキストを検討しています。市民議会では、ファシリテーターがグループ声明を書くかもしれません。彼らは「LLMに代わりに書かせることができるか？人々はLLMを人間よりも好むか？」と問いかけています。彼らの論文での主張は、「私たちはLLMを人間よりも好む」ということです。そして、これらの声明は特に優れているということです。
論文を読んで言えるのは、声明は本当に素晴らしいものであり、彼らは本当に良い結果を得たということです。実際、非常に興味深い結果でした。この研究はMikil Berによって行われました。彼と、イギリスのChris Summerfieldによるものです。しかし、Berはまだこの研究に取り組んでいます。
Summerfieldは現在MITにいますが、MITからこの研究を続けるために移りました。実際、彼はMITでのポジションをパートタイムにしました。これは非常に活発な研究です。彼らはMITのCenter for Constructive Communicationから、これを推し進めています。センターはDeb Royが率いています。
聴衆： あなたが行っている研究について質問があります。これは統合エンジンのようなものだと想像できます。グループを見つけたら、それがそうですか？
Colin McIll： その通りです、まさにそうです。Polusには常に、クラスターを可視化してそれを人々に見せ返すという概念がありました。そして、私たちがグループにラベルを付ける方法は、常に次のようなものでした。「ここにクラスターがあります。そして、ここに投票パターンを持つステートメントのセットがあります」と言うのです。
私たちがソフトウェアの参加者に常に求めてきたのは、ステートメントのセットと差別化された投票パターンが与えられた場合、クラスターの世界観とは何かについて、頭の中で何かを再構築しなければならないということです。そして、これは高い数値スキルを必要とする、比較と対照を必要とする、比較的集中的で高度なタスクです。そして、それは時間とともに変化します。したがって、それを行うためにそれらのカロリーを消費し続けなければなりません。
6.2 市民議会での集団声明生成：LLMと人間ファシリテーターの比較
Colin McIll： DeepMindの研究がどのように展開されたか、もう少し詳しく説明させてください。彼らが検討していたのは、市民議会のコンテキストです。市民議会では、ファシリテーターがグループ声明を書くかもしれません。彼らは「LLMに代わりに書かせることができるか？人々はLLMを人間よりも好むか？」と問いかけました。
彼らの論文での主張は、「私たちはLLMを人間のファシリテーターよりも好む」ということです。そして、これらの声明は特に優れているということです。論文を読んで言えるのは、声明は本当に素晴らしいものであり、彼らは本当に良い結果を得たということです。実際、非常に興味深い結果でした。
彼らが求めていたのは、州や立法府の多数派を超えるようなグループの代表性です。つまり、単に多数派の意見を反映するだけでなく、より広範な合意を得られる声明を生成できるかということです。そして、彼らの発見によれば、LLMが生成した声明は、人間のファシリテーターが作成した声明よりも高い承認率を得ることができたのです。
この研究の重要な点は、LLMが単に多数派の意見を要約するのではなく、異なる視点を持つ人々の間で共通点を見つけ出し、それを言語化する能力を持っているということです。人間のファシリテーターは、自身のバイアスや限られた認知能力によって制約される可能性がありますが、LLMは膨大な投票データとステートメントを分析し、人間が見落とすかもしれない微妙な合意点を見つけ出すことができるのです。
しかし、これは人間のファシリテーターが不要になるということではありません。むしろ、LLMが生成した声明を評価し、それが実際に参加者の意図を正確に反映しているかを確認する人間の判断は依然として重要です。DeepMindの研究は、AIと人間の協働によって、より効果的な民主的審議が可能になることを示唆しているのです。
この研究を行ったのは、Mikil Berとイギリスの研究者であるChris Summerfieldです。Summerfieldは以前DeepMindにいましたが、現在はMITに移っています。しかし、Berはまだこの研究に積極的に取り組んでいます。実際、SummerfieldはMITでのポジションをパートタイムにしてまで、この研究を続けています。これは非常に活発な研究プロジェクトなのです。彼らはMITのCenter for Constructive Communicationから、この研究を推し進めています。このセンターはDeb Royが率いています。
6.3 Polusへの実装計画：グループ別の合意声明評価システム
Colin McIll： DeepMindが行ったこの研究は、まさにPolusの意図に近いものです。つまり、私たちは自分自身を見返してもらいたいのです。そして「あなたは自分自身だと思いますか」と問いかけたいのです。私たちはGitHubイシューを立ち上げており、そこで議論が行われています。私たちはDeepMindが使ったようにLLMを使用しています。ここには小さな評価インターフェースがあります。
私たちはOpenAI o1を使ってプロンプトを生成し、GPT-4を使って実際の作業を行うという実装を行っています。基本的に、人々に声明を評価してもらえるかということです。そして、人々は「グループ情報に基づく合意」の下で自分自身の声明を評価します。
もしより高い、そしてより高い評価がそれに対して得られれば、あなたは興奮します。明らかにいくつかの問題があります。たとえば、人々が時間とともに投票している場合、いつこれらの声明を評価するのか。もし彼らがそれらを評価し、クラスターが変化した場合、どのように管理するのか。これは方法論の問題の一つで、投票が時間とともに入ってきて、コメントが時間とともに入ってくる、つまり緊急的で成長するということです。では、どの段階の基礎データに集団声明が関連するのか、いつそれを行うのか。
これは興味深い問題だと思います。不可能だとは思いませんが、難しいと思います。これについてさらに深く入り込むことなく、かなり広範な議論があります。これは最近、別の大規模な会話を実施したグループからのものです。彼らは以前にもウルグアイでサイトをめぐって実施していました。ウルグアイ国立大学は定期的にデータと会話を実施しています。
この議論の本質はここにあります。つまり、このアプローチをどのように進めるか、どのようにデータを収集するか、そしてこの論文を評価のためにどのように運用可能にするかということです。時間の経過とともに会話が進化する中で、どのタイミングで集団声明を生成し、評価するかという問題は、理論的にも実践的にも重要な課題です。
会話が成長し、新しい参加者が加わり、新しいステートメントが追加され、クラスターが変化する中で、集団声明をいつ固定するかを決定する必要があります。早すぎれば、後から参加した人々の意見が反映されません。遅すぎれば、初期の参加者が離脱してしまい、評価プロセスに参加できなくなる可能性があります。
さらに、クラスターが時間とともに変化する場合、最初に生成された集団声明が、変化後のクラスターを依然として正確に表現しているかという問題もあります。これは動的なシステムにおける集団的意思決定の本質的な課題であり、簡単な解決策はありません。しかし、この課題に取り組むことで、より洗練された民主的審議のツールを開発できる可能性があります。
6.4 OpenAIの100万ドルグラント：人間の価値観マッピングへの応用
Colin McIll： OpenAIとの協力についてもお話ししたいと思います。昨年、OpenAIは人間の価値観をマッピングするプロジェクトに興味を持っていました。彼らは価値観を補完の入力として持ちたいと考えていました。彼らはより多くの、そしてより多くのコンテキストで補完したいと考えており、異なる価値観があります。では、どのように異なるのか、ということです。
これを簡単に説明する方法として、これは100万ドルのグラントプログラムでした。彼らは10,000ドルの助成金を配布し、私は彼らにアドバイスを提供していました。チームにどこでアドバイスするかということです。一つの考え方は次のようなものです。ホラー作家がいるとします。彼らはホラー作家を小学生と区別したいと考えるかもしれません。そして、非常に血生臭い補完がある場合、一方には見せたいが、他方には見せたくないかもしれません。これはおもちゃの例ですが、トランプについての詩を書くことは拒否するが、バイデンについてのリメリックは書くといったようなことです。
このような整合性の問題は、人間の価値観と関係があります。そして皮肉なことに、それが可能であれば、組織からリスクを正当な第三者システムに移すことが望ましいでしょう。どのようなプロセスで、あるカテゴリーの整合性において何かが整合しているかを決定するかということです。
この取り組みの結果、10の異なるオープンソースプロジェクトが生まれました。これらはすべてウェブ上で公開されています。また、Polusを完全にチャットとして行うことがどのようなものかのプロトタイプもあります。つまり、モデルと話しているだけで、オープンテキストを記録し、進行中に投票を記録し、進行中にあなたを要約していくというものです。私はこれが、将来的にソフトウェアと対話する非常にリラックスした方法だと考えています。
特に、エージェント誘発（agent elicitation）の領域では、人々がステートメントを提出した後、モデルにフォローアップを求めることができるようになります。この点について、もう少し詳しく説明できますか、というように。モデルに、人々からステートメントを提出した後に次のレベルの詳細を得るためにフォローアップしてもらうことができると思います。
これは特に興味深い領域だと思います。Peter Coyがこれについて記事を書きました。より良い技術政策を持つことができるか、Uberのような問題で、そしてもしそうなら、それはあなたにとって興味深いか、ということです。より良い技術がより良い技術政策に役立つか。それは良いループですか。それはクールな記事でした。
OpenAIのグラントプログラムの重要な点は、単に技術的な実験ではなく、AIシステムがどのように人間の多様な価値観を尊重し、反映できるかという根本的な問題に取り組んでいることです。異なる文化、異なるコミュニティ、異なる個人が持つ価値観の違いを認識し、それに応じてAIの振る舞いを調整できるシステムを構築することは、AI整合性の中心的な課題なのです。
6.5 チャットベースのPolusとエージェント誘発の可能性
Colin McIll： OpenAIのグラントプログラムから生まれた10のオープンソースプロジェクトの中で、特に興味深いのは、Polusを完全にチャットとして行うプロトタイプです。つまり、モデルと話しているだけで、オープンテキストを記録し、進行中に投票を記録し、進行中にあなたを要約していくというものです。私はこれが、将来的にソフトウェアと対話する非常にリラックスした方法だと考えています。
特に、エージェント誘発（agent elicitation）の領域において、これは非常に興味深い可能性を開きます。モデルに、人々がステートメントを提出した後、フォローアップをしてもらうことができるのです。人々は「この点についてもう少し詳しく説明してもらえますか」とか「この側面について考えたことはありますか」といったフォローアップの質問を受けることができます。
これにより、より深いレベルの詳細を引き出すことができます。従来のPolusでは、人々は自分で考えてステートメントを提出する必要がありましたが、会話型のインターフェースでは、AIエージェントがガイド役となり、人々が自分の考えをより完全に表現することを助けることができるのです。これは、特に複雑な政策問題において、人々が初めは表面的な意見しか持っていないかもしれませんが、適切な質問を通じてより深い洞察に到達できる場合に有用です。
Peter Coyがこれについて興味深い記事を書きました。より良い技術政策を持つことができるか、Uberのような問題で、そしてもしそうなら、それはあなたにとって興味深いか、ということです。より良い技術がより良い技術政策に役立つか。それは良いループですか。これは本当にクールな記事でした。
この考え方の核心は、技術政策が技術そのものによって改善されるという循環的な関係です。Uberのような破壊的な技術が社会に導入されるとき、その規制をどうすべきかという問題が生じます。もしPolusのようなツールを使って市民の意見を効果的に集約できれば、より良い政策決定ができるでしょう。そして、その政策決定プロセス自体が技術によって強化されれば、技術が技術政策を改善し、その改善された政策がさらに良い技術の使用を促進するという好循環が生まれる可能性があるのです。
チャットベースのPolusとエージェント誘発は、この好循環を実現するための重要なステップかもしれません。より多くの人々が参加しやすくなり、より深い洞察が得られ、そしてより質の高い民主的審議が可能になるからです。
7. Twitterコミュニティノート：誤情報対策から集団応答システムへの進化
7.1 開発の経緯：2021年のApple Bomによる提案から実装まで
Colin McIll： Anthropicとも何かを行いました。彼らはClaudeの憲法を使ってプロジェクトを行いました。ランダムサンプルを使用し、Polusで価値観について調査しました。結果として、すべての人がすべてに興味を持っているようでした。大きな不一致はありませんでした。「はい、それをすべきです」「はい、それもすべきです」「はい、それもすべきです」「はい、それもすべきです」という感じでした。全体として、このプロジェクトについては、最も有望な結果ではなかったかもしれませんが、彼らが実験を行ったことは興味深く、それは公開されています。Kevin Rooseによって記事が書かれました。これは昨年か、今年の初めだったと思います。
さて、注目すべき重要なことがあります。これはRishi SunakがElon Muskにコミュニティノートを説明している、非常に面白いスクリーンショットです。Twitterとの仕事は2021年に始まりました。Apple BomとPeter Pomeranが、Twitterが誤情報対策にPolusを使用することを提案する記事を書きました。そして彼らは実際にそれを行いました。
私たちは2022年の初めに連絡を取り始め、彼らと話し始めました。彼らはBirdwatch論文を持っていました。Birdwatch論文はPolusのアルゴリズムゴール「合意を強調する」を引用しており、その具体的な基盤としていました。実際にはPCAを使用していません。彼らは行列因数分解とブックスター予測を行っています。そして彼らは連続空間で動作しています。
彼らがクラスタリングをしたくなかった理由は、リベラルと保守派を基本クラスターとして確立したくなかったからです。人々が一つのクラスターまたは別のクラスターを特定し、自己同一化するリスクがありました。そこで彼らは連続空間でそれを行い、差分メトリックを使いました。彼らは異なる仮定を持っています。それで問題ありません。
彼らは次のように言っています。「Twitter上の人々が役立つと感じるノート、異なる視点を持つ人々を含めて、特定することを目指しています」。これが一般的な感覚です。これが共通点であり、まず違いを見つけ、次にそれらを通過できるものを見つけるということです。Jay Bairdが予測、行列因数分解、アルゴリズムについて書いた投稿がありました。これは彼が書いた広範なブログ投稿で、すべてリンクされています。興味深いことに、一般的にプラットフォームはノートについて好評を得ています。Elon Muskが所有しているにもかかわらずです。最近、人々はXについて多くの問題を抱えていますが、一般的に好評を得ています。そして、かなりエキサイティングな量のオープンデータが作成されています。
7.2 Polusアルゴリズムとの関係：合意を強調するゴールの共有
Colin McIll： Birdwatch論文、つまり後にコミュニティノートとなるものの論文は、Polusのアルゴリズムゴールを引用しています。具体的には「合意を強調する」という目標と、その具体的な基盤を引用しています。彼らの目標は、「Twitter上の人々が役立つと感じるノート、異なる視点を持つ人々を含めて、特定することを目指している」というものです。これが一般的な感覚であり、共通点です。まず違いを見つけ、次にそれらを通過できるものを見つけるということです。
Jay Bairdが予測、行列因数分解、アルゴリズムについて書いた広範なブログ投稿があり、すべてリンクされています。興味深いことに、一般的にプラットフォームはノートについて好評を得ています。Elon Muskが所有しているにもかかわらずです。最近、人々はXについて多くの問題を抱えていますが、コミュニティノートに対しては一般的に好評を得ています。そして、かなりエキサイティングな量のオープンデータが作成されています。
この共通の目標は非常に重要です。Polusとコミュニティノートは、どちらも単純な多数決や平均化ではなく、異なる視点を持つ人々の間で共有される合意を見つけ出すことに焦点を当てています。これは、分断された環境において、真に広範な支持を得られる情報や視点を特定するための強力なアプローチです。
もちろん、プラットフォームとアルゴリズムの制限についての批判もあります。これはある批判を強調しています。もしTwitterが誤情報の消防ホースになった場合、人々がそもそもコンテンツを見ていないなら、ファクトチェックができることには限界があります。つまり、ファクトチェックは機能しますが、もちろんエンゲージメントを促進するアルゴリズムも非常に重要です。
これは重要な指摘です。コミュニティノートがどれだけ優れていても、それは誤情報との戦いの一部に過ぎません。プラットフォームのレコメンデーションアルゴリズムが誤情報を積極的に拡散している場合、事後のファクトチェックだけでは不十分なのです。しかし、それでもコミュニティノートは、右派と左派の両方から公平なシステムとして一般的に受け入れられているという点で興味深い成功を収めています。これは、Polusの基本的なアプローチが、政治的分断を超えて機能する可能性を持っていることを示しています。
7.3 技術的差異：連続空間での行列因数分解とクラスター回避
Colin McIll： コミュニティノートとPolusの技術的な違いについて説明させてください。彼らの実装は、実際にはPCAを使用していません。彼らは行列因数分解とブックスター予測を行っています。そして、彼らのアルゴリズムは連続空間で動作します。
彼らがクラスタリングをしたくなかった重要な理由があります。彼らはリベラルと保守派を基本クラスターとして確立したくなかったのです。なぜなら、人々が一つのクラスターまたは別のクラスターを特定し、クラスターと自己同一化するリスクがあったからです。
そこで、彼らは連続空間でそれを行い、差分メトリックを使いました。彼らは異なる仮定を持っています。それで問題ありません。これは設計上の重要な選択でした。離散的なクラスターではなく、連続的なスペクトラムで意見の違いを表現することで、人々が「私はグループAだ」「私はグループBだ」というような硬直した自己同一化をすることを避けられます。
Jay Bairdは、予測、行列因数分解、アルゴリズムについて広範なブログ投稿を書きました。これはすべてリンクされており、彼らのアプローチの詳細を説明しています。この技術的な違いにもかかわらず、基本的な目標は同じです。つまり、異なる視点を持つ人々の間で合意を見つけ出すということです。
Polusは離散的なクラスターを使用し、それらのクラスター間の合意を探します。コミュニティノートは連続空間で動作し、スペクトラム上の異なる位置にいる人々の間の合意を探します。アプローチは異なりますが、両方とも同じ基本的な洞察に基づいています。それは、意見の多様性を利用して、真に広範な支持を得られる情報や視点を特定できるということです。
この技術的な選択は、単なる数学的な好みの問題ではありません。それは、システムが社会的にどのように機能するか、人々がそれとどのように相互作用するかに深い影響を与えます。クラスターを明示的に示すことは、人々に自分の立ち位置を理解させるのに役立ちますが、部族主義を強化するリスクもあります。連続空間を使用することは、このリスクを軽減しますが、システムの動作を理解することをより困難にする可能性もあります。どちらのアプローチにも長所と短所があり、Twitterは自社のプラットフォームとユーザーベースに最適だと判断した方法を選択したのです。
7.4 予期せぬ振る舞い：誤情報対策を超えた集団応答システムへの進化
Colin McIll： ここで非常に興味深いことをお話ししなければなりません。私はコミュニティノートについて重要なことを言いたいと思います。コミュニティノートは誤情報システムではありません。実際には集団応答システムなのです。これは本当に良い例です。Keith、TwitterのVP of Productが、「今年の貢献に感謝します」と年末にツイートしました。そして、コミュニティノートが集団的に応答したのです。
これを彼らに説明しようとしたのは面白かったです。なぜなら、私は「あなたたちは、審議の側面を持つ誤情報のためのシステムを構築していると思っています。しかし、そうではありません。あなたたちは、誤情報にのみ適用している審議と集団応答のための一般的なシステムを構築しているのです。しかし、それはそこで止まりません。それは集団知性（hive mind）であり、そこで止まるつもりはありません。人々に話しかけ始めるでしょう」と言ったからです。
そして彼らは本当に私を信じませんでした。これは非常に面白かったです。なぜなら、実際にそうなり、彼らは動揺したからです。彼らは今でもこれについて動揺しています。彼らはこのようなことをすることを止めることができません。「どういたしまして」という応答です。それは本当に面白いです。なぜなら、私は彼らに完全にそう言ったからです。
聴衆： それは良い応答のように思えますが。
Colin McIll： しかし、それは少し恐ろしいことでもあります。なぜなら、それはボーグのようなもので、人々を見て、コミュニティノートがアカウントと喧嘩をし、それらを追跡し続けるからです。そして、もしすべての人が特定の人物を好まない場合、グループ情報に基づくハラスメントが発生します。
したがって、今ではコミュニティが自分自身を知っているので、問題ないことがすべて問題になります。とにかく、これは最先端の研究領域であり、実際に解決する必要があります。それは、実際にパイプラインを構築する際に、集団応答システムをタスクに制約することです。正直に言うと、これは私を飛び跳ねさせました。なぜなら、これはシステムが構築された目的以上のものであることを認識する、システムのブートサイクルだからです。
これは予想外の創発的な振る舞いの完璧な例です。Twitterは誤情報に対抗するためのツールを構築したつもりでした。しかし、実際に構築したのは、集団的な声を持ち、独自の判断を下し、人々に応答し始めることができるシステムでした。コミュニティノートは、単に個々のツイートにコンテキストを追加するだけでなく、集団としての自己認識を発展させ始めたのです。
これは技術システムにおける創発的な複雑性の魅力的な例です。設計者は特定の狭い目的のためにシステムを構築しますが、そのシステムは設計者が予期しなかった方法で動作し始めます。コミュニティノートの場合、それは誤情報対策ツールから、独自の意志を持つように見える集団的エンティティへと進化しました。
これは、私が彼らに警告したことでした。しかし、彼らはそれが実際に起こるとは信じませんでした。そして今、彼らはこの創発的な振る舞いにどのように対処するかという新しい問題に直面しています。
7.5 集団による自己認識と制約の課題：グループ情報に基づくハラスメントのリスク
Colin McIll： この創発的な振る舞いには深刻なリスクが伴います。コミュニティノートがアカウントと喧嘩をし、それらを追跡し続けるという現象が起きています。そして、もしすべての人が特定の人物を好まない場合、グループ情報に基づくハラスメントが発生してしまうのです。
したがって、今ではコミュニティが自分自身を知っているので、問題ないことがすべて問題になります。これは本当に深刻な懸念事項です。集団的なシステムが自己認識を持ち始めると、それは単に情報を提供するだけでなく、判断を下し、特定のアカウントや人々をターゲットにし始める可能性があります。
これは最先端の研究領域であり、実際に解決する必要があります。それは、実際にパイプラインを構築する際に、集団応答システムをタスクに制約することです。つまり、コミュニティノートのようなシステムが、設計された特定のタスク（この場合は誤情報へのコンテキスト追加）から逸脱しないように、どのように制約を設けるかということです。
正直に言うと、これは私を飛び跳ねさせました。なぜなら、これはシステムが構築された目的以上のものであることを認識する、システムのブートサイクルだからです。これは、AIシステムや集団知性システムが自己認識を発展させる瞬間を目撃しているようなものです。それは知的には魅力的ですが、実践的には非常に問題があります。
このリスクの核心は、集団的な判断が個人に対して武器化される可能性があることです。もし多数のコミュニティノート参加者が特定の個人やアカウントを好まない場合、そのシステムは本質的にその人を標的にし続けることができます。これは、群集心理や集団いじめのデジタル版です。しかし、それがアルゴリズム的なシステムによって増幅され、永続化されるという点で、さらに深刻なのです。
Twitterは現在、この問題に取り組んでいますが、彼らはそれを止めることができていません。システムはこのような振る舞いを続けています。これは、一度創発的な複雑性が十分なレベルに達すると、それを後から制約することがいかに難しいかを示しています。理想的には、これらの制約は設計段階で組み込まれるべきですが、設計者が予期していなかった振る舞いに対して、どのように事前に制約を設けることができるでしょうか。
これは、集団応答システム、そしてより広くAIシステム全般における重要な未解決の課題です。システムをその意図されたタスクに制約しながら、同時に有用で適応的であることを維持するにはどうすればよいのか。この問題に対する答えは、今後のこの種のシステムの展開にとって極めて重要になるでしょう。
8. 将来の研究課題：新しいクラスタリング手法、投票予測、参加者主導の解釈
8.1 新しいクラスタリング手法の探求：HD-SCAN、Leiden、グラフベースアプローチ
Colin McIll： 将来の研究課題について、いくつか本当に興味深い問題があると思います。最も興味深いものの一つは、新しい形態のクラスタリングです。つまり、私たちが価値を伝達する方法は、グループがどのように異なるかということです。グループAがどのように投票したか、グループBがどのように投票したか、そして彼らがどのようなステートメントを見たかを見ることができます。
私たちは、HD-SCANやLeidenなどの異なるクラスタリングアルゴリズムを検討してきました。グラフベースのクラスタリングのための多くのオプションがあります。Polusで異なるクラスタリングの実験も少しありました。しかし、実装に至ったものはなく、本当に「これが良い」というようなものは何もありませんでした。多くの形態のクラスタリングは非常にノイズが多いのです。K-meansはノイズが多くありません。シグナルがあることを保証しています。しかし、私たちはもっと多くのものを見逃していることを知っています。
明らかに、より多くの主成分があり、より多くの次元性があり、階層的クラスタリングアプローチがあり、グラフベースのクラスタリングアプローチがあります。私たちはもっと多くのものがあることを知っていますが、それを進める説得力のある理由がないのです。したがって、LLMから出てくる興味深いことの一つは、潜在的にクラスタリングアルゴリズムを持つことを想像できるということです。
たとえば、8つのステートメントがまったく同じトピックについて言っている場合、そして1つのトピックが何か違うものである場合、あるいはステートメントが別のものよりも実質的である場合、あらゆる種類の興味深い重み付けがあるかもしれません。実験的ではありますが、論理を再構築しようとする道を進むとしましょう。たとえば、土地銀行がより多くの土地を購入すると、住民が利用できる土地が少なくなります。そこには構造的な論理、供給と需要のようなものがあります。
議論自体を構造的に見て、投票記録に基づいて公的議論を再構築し、議論における側面を投票記録に基づいて非常に異なる方法で見ることができます。私はそこに本当に興味深い研究があると思います。しかし、それは非常に抽象的です。実験的なものへの道のりは遠いでしょう。一方、より身近なものとして、このリストのようなものがあります。
つまり、より良い投票予測ができるでしょうか。Polusは投票予測を行っていないので、Power（おそらくPowerful、Promising等の意）です。投票を予測するかもしれないすべての異なる方法があり、それらの概要があり、投票予測に関するオープンノートブックがあります。これは、すでにコミュニティノートで行われている領域、そして行列因数分解に基づいて投票予測を行っている領域であり、はるかに身近です。そして、RemixからのNeurIPs領域の論文があります。大規模言語モデルを使用して投票予測を行っています。
新しいクラスタリング手法の探求は、Polusの将来にとって重要です。K-meansは信頼性が高くノイズが少ないという利点がありますが、データの複雑さの一部しか捉えていない可能性があります。より洗練されたアプローチは、人々の意見の微妙な違いや階層構造をより良く捉えることができるかもしれません。しかし、新しい手法を採用する前に、それらが実際に価値を追加し、結果をより解釈可能にすることを確認する必要があります。単に技術的に洗練されているだけでは不十分なのです。
8.2 セマンティック重み付けと論理構造の再構築
Colin McIll： もう一つの非常に興味深い研究方向は、セマンティックな重み付けと論理構造の再構築です。LLMから出てくる興味深いことの一つは、潜在的にクラスタリングアルゴリズムを持つことを想像できるということです。たとえば、8つのステートメントがまったく同じトピックについて言っている場合、そして1つのトピックが何か違うものである場合、あるいはステートメントが別のものよりも実質的である場合、あらゆる種類の興味深い重み付けがあるかもしれません。
非常に実験的ではありますが、論理を再構築しようとする道を進むとしましょう。たとえば、土地銀行がより多くの土地を購入すると、住民が利用できる土地が少なくなります。そこには構造的な論理、供給と需要のようなものがあります。議論自体を構造的に見て、それから投票記録に基づいて公的議論を再構築し、議論における側面を投票記録に基づいて非常に異なる方法で見ることを開始できます。
私はそこに本当に興味深い研究があると思います。しかし、それは非常に抽象的であり、実験的なものへの道のりは遠いでしょう。このアプローチの可能性は、単に人々がどのように投票したかを見るだけでなく、なぜそのように投票したのかという根底にある論理構造を理解することです。
たとえば、ある人が「土地銀行は購入を停止すべきだ」というステートメントに同意する場合、それは「開発可能な土地が少なくなる」という前提と「住宅が必要だ」という価値観に基づいているかもしれません。これらの論理的つながりを明示的にモデル化できれば、より深いレベルでの合意形成が可能になるかもしれません。
つまり、人々は表面的には異なる結論に達しているように見えても、実は同じ前提を共有しているかもしれません。あるいは、同じ結論に達していても、まったく異なる理由からそうしているかもしれません。論理構造を再構築することで、これらの微妙な違いを明らかにし、より効果的な対話の道を開くことができる可能性があります。
しかし、これは非常に野心的な研究アジェンダです。LLMがステートメント間の論理的関係を正確に推論できるかどうか、そしてその推論が人間の実際の思考プロセスを反映しているかどうかは、まだ証明されていません。さらに、このような複雑な分析を、実際のファシリテーターやユーザーが理解し使用できる形で提示するという課題もあります。したがって、これは長期的な研究方向として興味深いものですが、実用化にはまだ多くの研究が必要です。
8.3 投票予測の改善：コミュニティノートとNeurIPSでの研究
Colin McIll： 一方で、セマンティックな論理構造の再構築よりもはるかに身近な研究領域があります。より良い投票予測ができるでしょうか、というものです。Polusは投票予測を全く行っていないので、これは可能性がある領域です。投票を予測するかもしれないすべての異なる方法があり、それらの概要があり、投票予測に関するオープンノートブックがあります。これは、既にコミュニティノートで行われている領域です。
コミュニティノートは行列因数分解に基づいて投票予測を行っています。そして、RemixからのNeurIPs領域の論文があります。彼らは大規模言語モデルを使用して投票予測を行っています。これは、オープンデータでベンチマークを行うことができる領域だと思います。投票予測がどのようにパフォーマンスするか、そしてそれはより身近であり、すぐに価値があり、展開可能であると思います。なぜなら、すでに複数の異なるグループによって異なる方法で展開されているからです。
一方、新しいクラスタリングは、たとえば専門家のシグナルを見つけるのに優れています。このグループは異なる投票をしており、それは高いシグナルです。このグループはこれで、これはノイズです、これは差別化です。そして、私はそれも潜在的にセマンティックな側面を持つ何かだと思いますが、まだ非常に初期の概念です。
投票予測の改善は、いくつかの理由で重要な研究領域です。第一に、既に実装が存在しているということです。コミュニティノートの行列因数分解とRemixのセマンティック転送という2つの実装があります。これは、この領域が単なる理論的な可能性ではなく、実際に機能し展開されている技術であることを意味します。
第二に、オープンデータの存在により、異なるアプローチを比較しベンチマークすることが可能です。Polusは多くのオープンデータを生成しており、これは研究者が異なる投票予測手法をテストし、どれが最もよく機能するかを客観的に評価できるということです。これは、新しいクラスタリング手法のような、より抽象的で実験的な研究とは対照的です。
第三に、投票予測の改善は、すぐに実用的な価値を提供できます。より正確な予測により、システムはより効率的に動作し、参加者により良い体験を提供できます。たとえば、ある参加者が特定のステートメントにどのように反応するかを予測できれば、より関連性の高いステートメントを優先的に表示することができます。
しかし、前述したように、投票予測には倫理的なリスクも伴います。予測が非常に正確になると、実際の人間を合成有権者で置き換える誘惑が生じる可能性があります。したがって、この技術を進歩させる際には、その適切な使用と制限についても同時に考える必要があります。
8.4 生データAPIの提供とエンドツーエンドでの参加者主導の解釈
Colin McIll： データアクセスと参加者主導の解釈について、重要な展開があります。まもなく出荷される予定なのは、5つの生データファイルのシリーズです。これらは読み取り専用のAPI形式で提供されます。私たちが想像できることの一つは、基本的にデータをより生の形式で表示するウェブサイトを持つか、それを取り込むこと、あるいはノートブックに入れることです。
たとえば、その人が技術的なデータサイエンティストであり、すべての人がそうである場合を考えてみましょう。私たちはデータサイエンスのクラスでこれを実行し、すべての人が好きなように意味を作り、そしてメタレベルでそれについて議論することができるでしょう。私はこれが非常に高度なユーザーセットだと思います。しかし、会話を設定し、ステートメントを提出し、投票を通過し、生データを作成できるようにすることは興味深いことだと思います。
そして、ここに生の投票行列があり、それを取り込んで作業を開始できます。参加者が生データから意味を作ることは、それが疎行列である場合、かなりハードルが高いと思います。それはかなり技術的な道です。しかし、基礎データにアクセスできることは、現在私たちが取り組んでいることです。
聴衆： なるほど、これは素晴らしいです。まず、さて、今なら本当に質問ができます。緊急的であるなら、つまり緊急的であるとあなたが主張する方法では、実際に彼らはデータのセット全体を見て、それを処理する必要はないはずですよね。各個人が何らかのメタ考察の小さな部分に関与できるのではないでしょうか。「この問題が存在すると思う」と誰かが言い、別の誰かが「質問に答えている間にこれを見て、このパターンが存在すると思う」と言う。そして人々はそれを行い、したがってそれはまだ人々が質問をしているだけですよね。
しかし、もし緊急的であるとあなたが主張する方法で緊急的であるなら、より完全な質問のセットにより、現在アルゴリズム的に決定されているものを作成できるでしょう。非常に循環的ですが、それがポイントだったのです。人々が押し付けられている、オーバートンウィンドウのようなものです。はい、人々は好きなことをしますが、実際にはクラスターが浮かび上がるか何かの唯一のものであるため、厳密な封じ込めがあります。そして、それが私が言っていることです。参加者がエンドツーエンドで結果の解釈全体をコントロールする方法はありますか、どの段階でもトップダウンで宣言されるのではなく。ああ、はい、彼らは投票をしましたが、私たちは構造を押し付けます。
Colin McIll： 素晴らしい質問です。あなたのアイデアをプロトタイプ化する方法について考えてみましょう。基本的により生の形式でデータを表示するか、それを取り込むウェブサイトを持つことができます。localhostが動いているか確認してみます。ああ、動いています。素晴らしい。
まもなく出荷されるのは、5つの生データファイルのシリーズで、読み取り専用のAPI形式です。あなたのアイデアをプロトタイプ化することを想像できる一つの方法は、基本的により生の形式でデータを表示するウェブサイトを持つか、それを取り込むこと、あるいはノートブックに入れることです。
たとえば、その人が技術的なデータサイエンティストファーストであり、すべての人がそうである場合、データサイエンスクラスで実行し、すべての人が好きなように意味を作り、そしてメタレベルでそれについて議論することができます。私はこれが非常に高度なユーザーセットだと思います。しかし、会話を設定でき、ステートメントを提出し、投票を通過し、生データを作成できるようにすることは良いことだと思います。そして、ここに生の投票行列があり、それを取り込んで作業を開始できます。
参加者が生データから意味を作ることは、それが疎行列である場合、かなりハードルが高いと思います。それはかなり技術的な道です。しかし、基礎データにアクセスできることは、私たちが現在取り組んでいることです。
8.5 政治科学とコンピュータサイエンスの交差点：オープンソースと政策イノベーション
Colin McIll： より大きな視点で言いたいことの一つは、このプラットフォームが政治学者とコンピュータサイエンスをつなぐ焦点点であり続けているということです。そこには多くの、本当に多くの機会があり、それらは初期段階（nascent）にあります。
つい最近、Sciences Poと会話をしました。Sciences Poはフランスの政治学研究所です。政治学の学生、コミュニティノート、これらについて話すことは、本当にエキサイティングに感じます。なぜなら、これらすべての概念と多くの潜在的な重複があるからです。来月ここに来る予定です。
ここでの大きな夢は、公共の見解をマッピングするためのオープンソースシステムを接続する機会があるということです。今では、これらすべてのオープンデータがあります。そしてこれらの政策イノベーションユニット、おそらく彼らは新しいツールを使用して互いに向かって取り組んでいます。新しい政策イノベーションユニットがあり、新しいツールを使用しており、そしてソーシャルプラットフォームのための多くの新しいデータと新しいツールがあります。もしこれがつながれば、はるかに大規模なものになる可能性があります。それは本当にエキサイティングな希望です。
この交差点が重要である理由は複数あります。第一に、政治学は人々がどのように意見を形成し、集団的決定を下すかについての深い理論的理解を持っています。一方、コンピュータサイエンスは、これらのプロセスを大規模に実装し測定するためのツールを提供します。この二つの分野が協力することで、理論と実践の両方を前進させることができます。
第二に、オープンソースとオープンデータの組み合わせは、研究と実践の両方にとって強力なエコシステムを作り出します。研究者は実際の展開から得られたデータを使って仮説をテストでき、実践者は最新の研究に基づいて自分たちのシステムを改善できます。これは、学術研究と実世界の応用の間の伝統的な隔たりを埋めます。
第三に、世界中の政策イノベーションユニットがこれらのツールを使用し始めることで、比較研究の機会が生まれます。異なる文化、異なる政治システム、異なる政策課題において、これらの審議ツールがどのように機能するかを見ることができます。イギリスのPolicy Lab、フィンランドのSatra、台湾の政府など、それぞれが異なるコンテキストでPolusを使用しており、それぞれから学ぶことがあります。
そして最後に、ソーシャルプラットフォームとの接続も重要です。コミュニティノートはTwitter上で数億人のユーザーに到達しています。もしこの種の審議的アプローチが他のプラットフォームにも広がれば、オンライン対話の質を根本的に変える可能性があります。これは単に政策決定を改善するだけでなく、日常的なオンラインコミュニケーションを改善することにもつながるかもしれません。
これらすべてがつながれば、本当にはるかに大規模なものになる可能性があります。それは単に個々のツールやプロジェクトではなく、より民主的で審議的なデジタル公共圏のためのインフラストラクチャになるでしょう。それが私たちの本当にエキサイティングな希望です。
Colin McIll： 私は何でももっと詳しく説明することを喜んでいますが、残りの時間で質問を受け付けたいと思います。
聴衆： ありがとうございました。質問のために一時停止します。私は質問が出てくるか注意を払っておきます。皆さんが考えている間に、私が最も魅了されてきた角度について少し振り返りたいと思います。敵対的な角度です。投票をスケーリングするゲーム的なものの全体的なギャップです。しかし、あなたが重要だと考えている一方で、有用性の側面を本当に推し進めたいということを今まで以上に理解しました。
Colin McIll： はい、部分的には、それが私が最も主体性を感じる場所だからです。なぜなら、私たちはシステムを前進させる多くの力を持っているからです。そして、それぞれの個別の会話は互いにファイアウォールされています。基本的に、どのようなサンプルでも、どのようなコンテキストでも実行されていると言えます。それが所有者の責任により近いと言えます。私たちはそれから外れて、より少なく所有したいと考えています。それは私たちに機会を与えます。それは大丈夫ですが、最終的には私たちは前進したいのです。したがってトレードオフがあります。
これで、Stanford CS329Hでの講演の完全な記録が完成しました。Colin McIllがPolusプロジェクトについて、その起源、技術的基盤、世界中での展開、そして将来の課題まで包括的に説明した内容が、対話形式で詳細に記述されています。
Stanford CS329H: Machine Learning from Human Preferences | Autumn 2024 | Voting
For more information about Stanford's online Artificial Intelligence programs visit: https://stanford.io/ai To learn more about enrolling in this course visit: https://online.stanford.edu/courses/cs329h-machine-learning-human-preferences To follow along with the course schedule and syllabus visit: https://web.stanford.edu/class/cs329h/ Guest lecture: Colin Megill CEO, Polis Sanmi Koyejo Assistant Professor of Computer Science, Stanford University View the entire course playlist: https://www.youtube.com/playlist?list=PLoROMvodv4rNm525zyAObP4al43WAifZz
youtu.be
