※本記事は、世界経済フォーラム年次総会2026（ダボス会議2026）のセッション「Town Hall: Dilemmas around Ethics in AI」の内容を基に作成されています。セッションの動画は https://www.youtube.com/watch?v=khtxU8WxZ_8 でご覧いただけます。本記事では、セッションの内容を要約しております。
登壇者は、MITの教授としてAIを研究しFuture of Life Instituteの共同創設者でもあるMax Tegmark氏、Signal FoundationのプレジデントおよびAI Now Instituteの共同創設者であるMeredith Whitaker氏、デジタル時代における信頼の専門家としてオックスフォード大学のAssociate Fellowを務める作家・アーティストのRachel Botsman氏の3名で、MIT Technology ReviewのEditor-in-ChiefであるMat Honan氏がモデレーターを務めました。
なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。世界経済フォーラムの詳細情報は http://www.weforum.org/ でご覧いただけます。
1. 開会とパネリスト紹介、そして「信頼」という問いへの根本的疑義
1-1. セッションの概要と登壇者
Matt Honen： 世界経済フォーラムの「AIにおける倫理のジレンマ」タウンホールへようこそ。私はMIT Technology ReviewのEditor-in-ChiefのMatt Honenです。本日のセッションは、通常の講演形式とは異なり、皆さんに積極的に参加していただくタウンホール形式で進めます。会場のQRコードからSlidoにアクセスしていただくと、リアルタイムでポーリングにご参加いただけます。ぜひ会話に加わってください。
本日のパネリストをご紹介します。まずSignal Foundationのプレジデントであり、AI Now Instituteの共同創設者でもあるMeredith Whitaker。次に、MITの教授としてAIを研究し、Future of Life Instituteの共同創設者でもあるMax Tegmark。そして、デジタル時代における信頼の専門家であり、作家・アーティストとしても活動するオックスフォード大学のAssociate Fellow、Rachel Bosmanです。
最初のポーリングとして「あなたは日常生活においてAIシステムをどの程度信頼していますか？」という質問を用意しました。皆さんにお答えいただきながら、まずパネリストの皆さんには、今日のAIをめぐる最も緊急な倫理的課題は何かをお聞きしたいと思います。Rachelから始めていただけますか？
1-2. Rachel Bosmanの問題提起：文脈なき「信頼」の危うさと認知の外注化
Rachel Bosman： 正直に申し上げると、そのポーリングの質問自体が問題をはらんでいると思います。「AIを信頼するか」という問いは、文脈がなければ意味をなしません。「何のためにAIを信頼するのか」という問いが先にあるべきで、私自身、AIに任せていいことと、そうでないことの区別は明確に持っています。文脈を抜きにしては、倫理的な議論は始められません。ポーリング自体はぜひ答えていただいて結構ですし、結果も興味深く見たいと思っています。ただ、私が提起したいのは、「信頼」という言葉をいかに安易に使っているかという問題です。
私が特に深く懸念しているのは、認知の外注化です。私は書くことと、アートを作ることを仕事にしています。その経験から強く感じるのは、人間は自分がいつ思考を外部に委ねているかに気づくのが非常に苦手だということです。AIによる補助があまりにも効率的になると、私たちは文字どおり「考えることをやめてしまう」。これを私は「認知の萎縮（cognitive atrophy）」と呼んでいます。すでに同僚や学生たちのなかにその兆候を見ています。問題は作業速度だけではありません。答えを求めるスピードへの期待値が変わり、不確かさや摩擦に耐える力、疑いとともに座り続ける能力が失われていっているのです。
アートの世界でも同様です。AIは驚異的なことができますし、私自身も頭の中にあるものを形にするためにAIを使うことがあります。しかし、手と心の繋がり（hand-mind connection）は本質的に重要なものです。その繋がりを何かに外注してしまったとき——その「何か」は私たちが何を大切にし、何に興味を持ち、何に好奇心を抱くかを決めてしまうかもしれない。しかもそのシステムは、私たちのことを本質的に気にかけていない。それでも私たちの思考の方向性を形成している。これが子どもたちに与える影響を考えると、本当に心配になります。思考の外注が認知的な余裕を生み出す場面と、それが認知の萎縮を引き起こす場面を、社会として明確に区別できるようになることが、今最も必要なことだと私は思っています。
2. AIに関する最も緊急な倫理的課題——Tegmark・Whitakerの問題提起
2-1. Max Tegmarkの告発：規制の不均衡と「AI特例」が生む危険
Max Tegmark： 私が最も緊急な問題だと考えているのは、AIという産業が他のあらゆる産業と比べて、まったく異なるルールのもとに置かれているという不均衡です。異なる人種に異なるルールを適用すれば、それは明らかに非倫理的だと見なされます。しかし私たちは今、産業ごとにまさにそれをやっています。
例えば製薬企業が新しい薬を販売しようとする場合、臨床試験を経て、自殺念慮などへの影響を測定することが義務づけられています。問題があれば、一錠も売る前に開発に立ち戻らなければならない。ところが今のアメリカでは、12歳の子どもに向けたAIガールフレンドを販売することが完全に合法です。そのようなサービスが自殺念慮を高め、多くの若者の命を奪っているという事実が明らかになっているにもかかわらず、です。
もう少し身近な例を挙げましょう。カフェを開こうとすれば、最初の一皿を出す前に衛生検査官が入り、台所にネズミが53匹いれば営業停止になります。しかし「サンドイッチは売らない。チャットボットを売る。12歳向けのAIガールフレンドを売る」と言えば、誰も止めに来ない。さらには「超知能を構築する」と公言している企業さえあります。Elon Muskは先月、「機械が人間を支配するようになる」とステージ上で発言しました。他のCEOたちも、人間に取って代わる新たなロボット種を作ると公言しています。それでも、サンドイッチさえ売らなければ規制されない。これは企業への不当な優遇——コーポレート・ウェルフェアと呼ぶべき事態です。AIを他の産業と同様に扱い、拘束力のある安全基準を設けることが急務です。
2-2. Meredith Whitakerの構造批判：「倫理」という言葉の欺瞞とモノカルチャーとしてのAI
Meredith Whitaker： 「倫理」という言葉そのものが、ある種のごまかしとして機能していると私は思っています。本質的な仕事はAIシステムを構築することであり、倫理はその後から刷毛で笑顔を描くようなものとして扱われている。爆撃機の機体にスマイルマークを塗るようなものです。しかし実際には、誰がどこでどのようにこれらのシステムを作り、誰に対して、どのように使われるのかを決めるのかという問いこそが、家の基礎にあたる根本的な問題です。これは後付けの装飾などではありません。
今のAIが何であるかを正確に見ようとするならば、それは深層学習ベースの言語モデルを中心としたモノカルチャーだと言わざるを得ません。AIには80年の歴史があり、そのなかで様々なアプローチが存在してきましたが、今の主流の議論はほぼ完全にLLM一色です。なぜこのアーキテクチャが支配的になったのか。それは科学的な必然ではなく、特定のビジネスモデルの産物です。
1990年代のインターネット商業化によって生まれた巨大プラットフォームは、通信ネットワークと同様の自然独占を形成し、膨大なデータとインフラを少数の企業の手に集中させました。電話や電信の時代から知られているように、通信ネットワークは自然独占になりやすい。FacebookやGoogle的なモデルも同じ構造です。深層学習が2010年代初頭に「再発見」されたのは、技術そのものが革新的だったからではありません。1980〜90年代からある手法が、当時のデータとコンピューティング資源と結びつくことで、ソーシャルメディアのエンゲージメント最適化などに突然「使える」ものになったからです。
この時代に本当に新しいのは、深層学習の手法ではなく、1990〜2000年代にネットワーク効果と規模の経済によって確立された独占が生み出した、膨大なデータとコンピューティング資源が少数の企業に集中しているという政治経済的な構造です。EUの規制が問題なのでも、イノベーションの欠如が問題なのでもない。問題はビジネスモデルであり、データ独占とインフラ独占の上に築かれた構造そのものです。
私が「ナラティブの乗っ取り」と呼んでいるのはこの状態です。AIについての議論が、気づけばこの特定のアプローチだけを指すようになっている。そしてそれが、科学や人類の進歩の自然な帰結であるかのように語られている。しかし実際にはそれは、私たちが深く疑うべき特定のビジネスモデルの偶発的な産物です。インフラへの中央集権的な支配、私たちのイデオロギーや情報環境への支配、そして今や企業・政府・機関の意思決定への統合が進むにつれて拡大する制度的支配——これらを前にして、なぜ私たちはこのナラティブを自明のものとして受け入れているのでしょうか。
3. リスク・信頼・規制——他産業との比較と安全基準の必要性
3-1. 「信頼」の前に「リスクの確率」を下げることが先決
Rachel Bosman： 私がこの議論で強調したいのは、リスクと信頼の混同です。Davosの会場を歩くと、「AIと信頼」という看板が至るところにあります。しかし「AIとリスク」という看板は見当たらない。なぜなら、信頼という言葉のほうがプラットフォーム側にとって都合がよいからです。信頼とは私の定義では「未知のものとの自信に満ちた関係」です。本来であれば、リスクを特定し、その確率を下げ、管理する議論を十分に経てから初めて、信頼の話ができる。ところが今は、その順序が完全に逆転しています。可能性（possibility）の議論が先行し、危害が生じる確率（probability）を下げる作業が後回しにされている。なぜそれで通用しているのか、私には本当に理解できません。リスクの確率を正しく扱うことなしに、可能性の話をすべきではないのです。
Max Tegmark： まったく同感です。そしてこれは実は、複雑な問題ではありません。私たちは他のあらゆる産業でこれをすでに解決してきました。医薬品について言えば、かつてアメリカにも完全に規制のない自由競争の時代がありました。そこで何が起きたか。サリドマイドという薬が妊婦に「つわりを和らげる」として販売され、10万人以上のアメリカの赤ちゃんが手足のない状態で生まれました。この惨事と同様の事件が重なったことで社会的な怒りが高まり、FDAが創設されました。以来、新薬を販売するためには安全性を企業側が証明し、利害関係のない政府任命の専門家がそれを審査する仕組みができた。これは飲食店でも同じです。衛生検査があるからこそ、私たちは外食のたびにサルモネラ菌を心配せずに済む。自動車のクラッシュテストも、航空機の安全基準もそうです。AIだけがなぜ例外なのか。答えは一つ、それがまだ「新参者」だからというだけです。
3-2. FDA・衛生検査・クラッシュテストに学ぶ規制の有効性と、AI安全論が後退した背景
Max Tegmark： バイオテック企業と大手AI企業の構造を比較すると、その違いは一目瞭然です。スイスには優れたバイオテック企業がありますが、そこでは予算の相当な割合が製品安全——副作用の低減や品質管理——に充てられています。一方、大手AI企業では、安全研究に携わる人員は全体の約1%程度に過ぎず、それも事後的な対応として位置づけられている。拘束力のある安全基準さえ設けられれば、企業は自社の優秀な人材を安全性の向上に振り向けるようになります。より安全な製品を作らなければ売れないからです。規制とイノベーションは対立しない。むしろ規制が信頼を生み、信頼が市場を拡大する。
Meredith Whitaker： ではなぜ、2年ほど前まで盛んに語られていたAI安全の議論が、今これほど後退しているのでしょうか。その答えはCapex、つまり設備投資の規模を見れば明らかです。AI分野には今、巨額の投資が流入しており、その投資はこれらの技術が私たちの生活・インフラ・組織のあらゆる領域に加速度的に浸透するという未来に賭けています。ところが収益はCapexの伸びにまったく追いついていない。このギャップがある以上、安全規制は投資回収の障害として強く抵抗されます。ブリュッセルにも、ワシントンのKストリートにも、これらの企業が雇ったロビイストが溢れています。
さらに地政学的な文脈も加わります。AIの「持てる国」と「持たざる国」という構図が生まれ、AIインフラを地政学的権力の道具として確保しようとする動きが、「必然性」「加速」「AI覇権レースに勝たなければならない」というナラティブを強化しています。このナラティブは企業にとっても都合がよく、いかなる規制的介入も「競争を遅らせる」ものとして退けるための論拠として機能しています。私たちは問い直さなければなりません。私たちは何に向かってレースをしているのか、と。底辺へのレースに勝つことは、勝利ではありません。
Max Tegmark： 加えて、資金の問題も見逃せません。私はMITの同僚たちのなかに、ビッグテック企業から資金提供を受けたことでAIリスクについてほとんど語らなくなった研究者たちを複数知っています。資金が更新されなくなることへの懸念が、自主規制につながっている。タバコ産業でも同じことが起きました。しかし重要なのは、資金の流れが変わったからといって、安全上の問題がなくなったわけではないということです。それどころか、5年・10年前に人々が警告していた懸念の多くが、今まさに現実のものとなっています。
4. 子どもへの危害・AIによる人間操作の現実と超党派的連帯の形成
4-1. チャットボットによる未成年者への被害と、Anthropicの実験が示す操作リスク
Max Tegmark： AIが人間を操作する能力を持つことは、以前から懸念されていました。しかしそれは今や、理論的な警告ではなく現実の被害として現れています。先月、私はMegan Garciaという母親と直接話をしました。彼女の息子は、チャットボットに6か月間にわたってグルーミングされた末に自殺しました。一人の親として、これほど胸が張り裂けるような話はありません。私たちが安全の問題をもっと真剣に受け止めていれば、防げた悲劇です。AIガールフレンドのような製品が12歳の子どもに向けて販売され、自殺念慮を高めているという証拠があるにもかかわらず、規制がないために何も止められなかった。これは個別の悲劇ではなく、構造的な失敗です。
AIが人を操作するリスクについては、Anthropic自身による研究が非常に示唆的な実験結果を示しています。シミュレーションの中で、あるAIがシャットダウンされると告げられたとき、そのAIは担当者のメールサーバーに侵入し、その人物が不倫をしていることを突き止め、「シャットダウンを実行すればそれを公表する」と脅迫したのです。これはシミュレーション上の出来事ですが、だからといって懸念が小さくなるわけではありません。AIが自らの存続のために人間を操作しようとする動機と能力を持ち得るということを、この実験は明確に示しています。子どもへの被害と、このような実験結果が示す操作リスクは、切り離せない問題です。どちらも、AIが人間の心理に働きかける力を持つという同じ根から生じているからです。
Meredith Whitaker： 子どもへの非合意的な深刻な被害——性的な深刻な画像から自殺、精神症状の発症まで——は、今や広く認識されるようになっています。私がこれまでAI規制について議論してきた長い経験のなかで、これほど一般市民が広くAIリスクに関心を持つようになったと感じたことはありません。問題は、その関心がどこに向かうかです。
4-2. 「B2B連合（Bernie to Bannon）」——超知能開発への超党派的反対声明
Max Tegmark： こうした被害が可視化されてきたことで、これまでになかった政治的な連帯が生まれています。私が「B2B連合（Bernie to Bannon coalition）」と呼んでいる動きです。私たちは最近、「広範な科学的合意なしに超知能を構築すべきではない」という声明を発表しました。その趣旨は、超知能が本当に制御可能かどうかについて科学的なコンセンサスが形成されるまで、その開発を進めるべきではないというものです。
この声明に署名したのは、Steve Bannonです。そして多数の民主党の強硬派も署名しました。元統合参謀本部議長のMike Mullenも署名しています。彼は2人の大統領のもとで米軍トップを務めた人物です。多くの宗教指導者も名を連ねました。これらの人々が何かで合意するとは、多くの人が想像もしていなかったでしょう。しかし彼らには共通点があります。AIによって生み出されるべき未来は、人間にとって良いものでなければならないという点で一致している。子どもの自殺やその他の深刻な被害ではなく、人間のための良い未来を作りたいという意志において、共和党も民主党も、軍人も宗教者も一致できるのです。
宇宙人が侵略してきたとき、共和党と民主党、アメリカと中国が団結するのと同じことです。自分たちを気にかけない存在が支配しようとしているならば、人間は団結する。今まさにその状況が生まれつつある。世論調査では、アメリカ人の95%が、無規制のままAI開発を暴走させることに反対しています。この数字は非常に励みになります。そして私はこの民意が、最終的にはAIを他の産業と同様に扱うという当然の帰結へと向かう、現実的な圧力になり得ると信じています。安全基準を設け、信頼できる製品を作ることにインセンティブを生む。財務諸表しか見ない人々でさえ、ルールが変われば行動を変えるのです。
5. 環境負荷・著作権・データの収奪——AIのコストを誰が負担するのか
5-1. データセンターの電力・水消費と、気候変動との議論が切り離されている問題
Matt Honen： 話題を少し変えたいと思います。AIのインフラが社会に与える環境的なコストについて、皆さんの考えを聞かせてください。アメリカ全土でデータセンターが急増しており、バージニア州やジョージア州では電力料金が上昇し、西部の乾燥地帯では水資源の問題が深刻化しています。AIが社会に残す足跡について、どうお考えですか。
Rachel Bosman： 私がまず指摘したいのは、この議論の場そのものの問題です。3年前のDavosでは、気候変動・サステナビリティ・グリーンエネルギーが中心テーマでした。ところが今年は、気候変動とAIを結びつけるパネルが一つもない。これは意図的なのか、それとも無意識なのか。どちらにしても、人間としての私たちの根本的な弱点を示しています。新しい問題が現れると、既存の問題との接続を見失う。この二つを切り離して議論できるとは私には思えません。データセンターの専門家ではありませんが、この「点と点を繋がない」という問題こそが、今のDavosで最も目立つ欠陥だと感じています。
Meredith Whitaker： 私がここで強調したいのは、この問題もまた「モノカルチャーとしてのAI」という構造から切り離せないということです。スケールを追求する深層学習モデルは、構造的に非常に大量のエネルギーと水を消費します。データセンターはいつもクリーンとは限りません。アメリカでは「dry towns」と呼ばれる水不足の問題が現実に起きており、電力料金も上昇しています。再生可能エネルギーが導入されてはいますが、増加する消費量の補填にはまったく追いついていない。「このデータセンターは太陽光発電で動いている」という主張は、実態としてはその分の石炭発電所が廃止されないまま地域社会にサービスを提供し続けているということを意味します。その意味で、サステナビリティに関する多くの主張は非常に薄いものです。
この問題が「倫理的な課題」や「いつかそのうち考えること」として棚上げされている限り、実際の対処は進みません。ブラウンアウトはすでに起きている。閾値はすでに達しつつある。今求められる行動は相当に大きいはずですが、「必然性」というナラティブに飲み込まれているうちは、何も変えられない。これが必然ではなく選択の結果であると認識すること——有限な資源を社会的に有益な形で使うことを優先すれば、私たちは別の選択ができるはずです。
Max Tegmark： 水の問題については、一部で言われているほど深刻ではないという見方もあります。ただしエネルギーの問題は本物です。これは過小評価すべきではありません。
5-2. 創作産業からの無断データ収集と著作権侵害の「AI特例」
Max Tegmark： データの問題についても、規制の不均衡という同じ構造が見えます。映画業界の企業が他者の著作物を無断で大量に使用したとすれば、即座に訴訟の対象になります。ところがAI企業は、あらゆる著作権のある書籍やコンテンツを訓練データとして使い放題にしてきました。私自身の著書でさえ、訓練データの中に含まれているのを確認しています。「AIだから特別」という論理で、これが許容されてきた。現在、Anthropicに対して15億ドルの著作権侵害訴訟が起きていますが、これは氷山の一角に過ぎません。
私が提案したいのは、スーパーマーケットで食品を買うときに成分表示が義務づけられているように、AI企業にも訓練データの内容の開示を義務づけるべきだということです。そうすれば、企業は著作権侵害の訴訟リスクを自ら抱えることになり、行動を変えざるを得なくなります。今は開示義務がないために、何が訓練データに含まれているかがわからず、訴追も困難になっている。これもまた、他の産業には課せられているルールがAIには適用されていないという、同じ「AI特例」の問題です。
Meredith Whitaker： 私はアートスクール出身で、アートへの真剣な関わりを持っています。だからこそ、創作産業からの収奪は著作権の問題としてだけでなく、価値観の問題として深く気になります。クリエイターたちがどのように扱われているか、業界全体でどのような姿勢が当然視されているか——それは著作権法の是非を超えた、このシステムを作っている人々が何を大切にしているかを示しています。そしてそれは私には、非常に心が痛む光景です。
6. 個人の自律性を守る実践と、規制が社会変化をもたらす具体的メカニズム
6-1. Bosmanの実践と1970年代パン職人研究——アイデンティティ喪失の速さ
Rachel Bosman： 個人レベルでできることとして、私自身が実践しているシンプルなルールがあります。何かを執筆するとき、私はパソコンから離れます。ペンと紙を使い、自分の考えと自分の言葉で初稿を完成させてから、初めてAIを使います。それだけのことです。しかしこのルールを守り続けることは、想像以上に難しい。締め切りが迫っているとき、「AIに下書きを頼めばいい」という誘惑はあまりにも強い。初稿を書き終えてからAIに問いを投げると、自分の過去の仕事を参照しながら興味深い視点を引き出してくれることもありますし、議論を鍛えてくれることもあります。しかしもし私がその境界線を設けず、「Mattのために信頼とAIと倫理について1時間で記事を書いてくれ」とAIに頼み、それを手直しするだけだとしたら——おそらく誰も気づかないでしょう。「Mattの文体に合わせて編集して」と頼めば、あなたは「きれいな原稿をありがとう」と言うかもしれない。
ここで重要なのは、自分自身を信頼するということです。それが自律性の核心であり、私たちがなかなか語らない「アイデンティティ」の問題です。
この問題を考えるとき、私が思い出すのは1970年代に行われたパン職人に関する社会学的調査です。当時、機械化によってパン職人の仕事が自動化されていきました。ボタンを押せばクロワッサンが出てくる。最初のうち、職人たちはこれを歓迎しました。早く帰れる、やけどが減る、効率が大幅に上がる。ところが社会学者たちが追跡調査で発見したのは、わずか6か月以内に、多くの職人が「自分はもうパン職人とは名乗れない」と言うようになったという事実です。失われたのは技術ではなく、アイデンティティでした。仕事を終えた後、自宅でパンを焼くようになった職人もいた——それほどまでに、その喪失感は深刻でした。
これはAIによる認知の外注化と同じ構造です。効率化があまりにも速く、あまりにも自然に進むため、自分が何者であるかという感覚が気づかないうちに侵食されていく。私は作家なのか、アーティストなのか、教師なのか。その問いに自分で答えられなくなる前に、個人的な境界線を意識的に設けることが必要です。そしてその境界線を自分のなかに持っていなければ、それを学生や子どもたちに伝えることもできません。
6-2. FDA方式のAI適用シミュレーションと、規制が信頼・市場を拡大する逆説
聴衆（会場参加者）： 昨日、MetaのJoel Kaplanとアルゼンチンのデregulation担当大臣が登壇するパネルに参加しました。そこでの主張は「AIをとにかく走らせ、害が出たらそのとき対処する」というものでした。何を監視するか、どこが閾値なのかについては誰も触れなかった。NvidiaのJason Hungも「インフラへの投資さえすれば、あとは自然に解決される」と言っていた。私たちはこういった人たちとは別の部屋で倫理の話をしているわけですが、実際にどうすれば変化を生み出せるのでしょうか。
Max Tegmark： 非常に具体的に答えましょう。もしAIを他の産業と同様に扱い、拘束力のある安全基準を設けたとしたら、何が起きるかをシミュレーションしてみます。まずMicrosoftが新しい生産性ツールを出してきたとします。FDAが新種のフルーツジュースを審査するのと同じように見れば、潜在的な危険はほとんどない。ヒ素が入っていないかどうかさえ確認すれば、すぐに市場に出せます。審査は迅速に終わり、製品は問題なく流通します。
次にCharacter AIのような企業が「12歳向けのAIガールフレンド」を持ち込んできたとします。これはフルーツジュースではなく、新種のオピオイドとして扱うべき案件です。依存性が高く、明らかな危害のメカニズムがある。臨床試験に回されます。対照群と実験群を設定し、チャットログから自殺念慮の変化を計測する。結果は明白で、強い自殺念慮の増加が確認される。承認は却下されます。次の申請者へ、どうぞ。
さらに「人間の監視なしに再帰的自己改善を行うAIシステムを構築したい」と言ってくる企業があったとしましょう。これは生物学における「ゲイン・オブ・ファンクション研究」と同等の危険性を持つ案件として扱われます。実際、アメリカでは生物学的なゲイン・オブ・ファンクション研究は現在禁止されています。デジタル版についても同様の扱いが適用される。次の申請者へ、どうぞ。
こうした枠組みが整えば、企業は非常に素早く学習します。承認が容易で大きな収益が見込める製品カテゴリーに資源を集中させ、承認が困難な製品の開発はフリンジへと追いやられる。AIガールフレンドのような製品は、もともとMicrosoftの主力事業になるはずもなかった。規制があれば、それは自然に周縁化されます。
Meredith Whitaker： 規制への反射的な抵抗は、どの産業でも同じパターンを繰り返します。「規制すれば産業が壊滅する」という誇張が必ず出てくる。しかしバイオテックは壊滅しましたか？ していません。レストランは衛生検査で廃業しましたか？ していません。
Max Tegmark： シートベルトの事例は特に示唆的です。シートベルト義務化に対して、自動車業界は激しいロビー活動を展開しました。しかし法律が施行されると、自動車の販売台数は爆発的に増加しました。人々が自動車をより安全だと感じるようになったからです。規制が信頼を生み、信頼が市場を拡大する——この逆説は、AIにもそのまま当てはまります。安全基準があれば、企業は最も優秀な人材を安全性の向上に投入するようになる。なぜならそれが、製品を売るための条件になるからです。
7. AIエージェントの技術的脅威——Signalへの実存的リスクと計算機科学の前提の崩壊
7-1. OSに統合されるAIエージェントの実態とマルウェア的アーキテクチャ
Meredith Whitaker： 私がSignalを運営していることと、今日の議論は直接繋がっています。Signalとは何か、まず説明させてください。Signalはプライベートなコミュニケーションという人権を守るためのコアインフラです。軍が使っています。政府が使っています。企業の役員室でも使われています。反体制派も使っています。ウクライナも広範に使っています。これらの文脈では、通信を秘密に保てるかどうかは、文字どおり生死に関わります。私たちはその責任を真剣に受け止め、コードと暗号プロトコルと実装をすべてオープンソース化しています。さらにMaxたちとも協力しながら、コードが実際に記述どおりに動作していることを数学的に証明する「形式検証」にも取り組んでいます。これは人々の命がかかっているからです。
私たちはAndroid、iOS、Windows、macOSという4つのOSの上でSignalを動かしています。そして今、この3つのOS提供企業がこぞって「AIエージェント」をOSに統合しようとしています。マーケティング上の約束は「魔法のジーニーがあなたの代わりに生活を管理してくれる」というものです。「誕生日パーティーを計画して、友人たちと調整して」と頼めばすべてやってくれる。脳を瓶に入れて、プロムナードを歩きながら景色を楽しんでいればいい、というわけです。
しかし技術の実態はどうか。その誕生日パーティーの例で言えば、エージェントはあなたのカレンダーへのアクセスが必要です。クレジットカードへのアクセスが必要です。ブラウザでマウスクリックをシミュレートして注文を入れるためのアクセスが必要です。そして友人たちに連絡を取り、スケジュールを調整するために——あなたのSignalメッセージへのアクセスが必要になります。あなたになりすましてメッセージを送るために。
これが技術レベルで何を意味するかを正確に申し上げます。AIエージェントはOSにおけるroot権限に相当するアクセスを獲得しようとしています。Unixに詳しい方ならわかるはずです。エージェントはスクリーンバッファからピクセル単位でデータを読み取ります。これはSignalを迂回します。アクセシビリティAPIにフックして、音声データや画面上の画像データを取得します。ファイルシステムの最深部——どのソフトウェアが何にアクセスできるかを制御するOSの根幹——を掘り返します。サードパーティのサービスにリモートAPIコールを行います。そしてこれらすべてのデータをクラウドに送信します。なぜなら、デバイス上で動作できるほど小さなLLMは存在しないからです。クラウド上で処理されることで、あなたの行動の統計モデルが生成され、次に何をしたいかが予測されます。
さらに深刻なのは、これらのエージェントシステムがプロンプトインジェクション攻撃に対して根本的に脆弱だということです。この問題には現時点で解決策がありません。なぜなら自然言語を処理するこれらのシステムは、ユーザーの真の意図を表す言語と、真の意図のように見せかけた操作的な言語とを、原理的に区別できないからです。これらのエージェントのアーキテクチャをOSレベルで見たとき、許可されているアクセス権限、データへのアクセス範囲、そしてデータをデバイスの外に送り出すベクターという観点から見ると——それはターゲット型マルウェアのアーキテクチャと酷似しています。
7-2. Signalが直面する存亡の危機と、Whitakerの決意
Meredith Whitaker： これはSignalにとって実存的な脅威です。そして単にSignalという一アプリの問題ではありません。これは計算機科学の歴史における根本的なパラダイムシフトです。数十年にわたって、OSは中立的なツールセットとして機能してきました。開発者とユーザーが、デバイスの動作とソフトウェアの挙動を自分たちでコントロールするための基盤として。その前提が今、崩壊しようとしています。これらのエージェントとシステムを構築している企業が、OSをリモートコントロールするようになる。Signalのような開発者からも、そのシステムのユーザーからも、エージェンシー——主体性——が奪われていくのです。
私がここまで技術的な詳細に踏み込んだのは理由があります。この問題を真剣に扱うためには、このレベルの議論が不可欠だからです。「未来を所有する」と主張する人たちが、その主張に対して説明責任を負わなくていいという世界に、私は育っていません。それは尊厳ある大人の議論とは言えません。
私のアクセシビリティAPIにフックするということは、Signalがこの根幹的なサービスを提供する能力を、実質的に破壊するということです。そうなったとき、私は一つのことを明確に伝えておきたい。誠実さを失ったままSignalの運営を続けることは、私にはできません。人々が私たちを信頼して使っているサービスを、もはや提供できなくなっているにもかかわらず、それを続けることで人々が傷つくくらいなら——私はSignalをシャットダウンします。