※本記事は、ITU(国際電気通信連合)が主催する「AI for Good」プラットフォーム上で開催されたウェビナー「Rebuilding trust in media authenticity: Policy and innovative interventions」の内容を基に作成されています。本ウェビナーは、AIとメディアの真正性に関する標準化協働イニシアチブ「AMAS(AI and Media Authenticity Standards Collaboration)」が主催するシリーズの第二回であり、欧州および米州地域における政策・規制介入に焦点を当てたものです。動画の詳細情報は https://www.youtube.com/watch?v=MC-_-oYoTnk でご覧いただけます。本記事では、ウェビナーの内容を要約しております。なお、本記事の内容は原著作者および登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
本ウェビナーの司会は、プラットフォーム規制、EUデジタル規制、AIガバナンス分野で15年の経験を持つ弁護士でAMASイニシアチブの専門家メンバーであるSaka Karata氏と、安全インフラのオープンソースソフトウェアを開発する非営利団体RoostのCTOで、広告・検索・決済・AI安全性の分野で20年の経験を持つVinay Rao氏が共同で務めました。登壇者は以下の通りです。AI Incident Databaseの共同創設者であり、ML Commonsのエージェント・ワークストリームのリードかつAveryの共同創設者であるSean McGregor氏。欧州委員会のEU AI Office(規制遵守部門Connect A2)で技術専門家を務めるMelanie Gouet氏。米国西海岸を拠点とするスタートアップの共同創設者兼CEOで、Project Karna CEO、UNDP AI Trust and Safety Re-imagination Lab Finalistでもあるdr. Raji Bascaran氏。Witnessの政策・アドボカシー・マネージャーで、技術脅威・機会チームに所属するBruna Martins do Santos氏。EU AI法の交渉者の一人として欧州議会側から関与した独立系AI専門家のLaura Caroli氏。
なお、AI for GoodはITUが50を超える国連パートナーおよびスイス政府と共催するマルチステークホルダー・プラットフォームであり、革新的なAIアプリケーションの発掘、スキルと標準の構築、グローバル課題解決のためのパートナーシップ推進を使命としています。AIによって駆動されるネットワーキング・コミュニティ・プラットフォーム「Neural Network」(https://aiforgood.itu.int/neural-network/ )では、イノベーターや専門家との繋がりを構築し、革新的アイデアを社会的インパクトの機会と結びつけ、AIを活用したグローバル課題解決のためのコミュニティが形成されています。
1. ウェビナーの開催背景と登壇者の紹介
本セッションは、国際電気通信連合(ITU)が主催する「AI for Good」プラットフォームの一環として開催されたウェビナーです。AI for Goodは、国連のデジタル技術専門機関であるITUがスイス政府と共催し、50を超える国連機関と連携して運営されているマルチステークホルダー・プラットフォームであり、AIの可能性を人類のために解き放つことを使命としています。今回のウェビナーは、AIとメディアの真正性に関する標準化協働イニシアチブ「AMAS(AI and Media Authenticity Standards Collaboration)」が主催するシリーズの第二回にあたります。AMASは、世界三大標準化機関であるIEC・ISO・ITUに加えてUNDP(国連開発計画)が主導するグローバルなマルチステークホルダー・イニシアチブで、標準開発者、技術リーダー、専門家、政策立案者、市民社会を結集し、フェイク、ミスインフォメーション、ディスインフォメーションへの対抗を目的としています。第一回が前月にアジア、アフリカ、中東地域における政策・規制介入を扱ったのに対し、本第二回ではヨーロッパとアメリカ大陸地域における政策・規制介入に焦点を当てます。
Saka Karata: 本日のウェビナーへのご参加、ありがとうございます。私はプラットフォーム規制、EUデジタル規制、AIガバナンスを15年にわたって扱ってきた弁護士で、AMASイニシアチブの専門家メンバーを務めています。本日の論点は三つあります。第一に、著作権と学習データの問題で、大規模なAIデータスクレイピング時代におけるフェアユースをどう捉えるかという論点です。第二に、AI生成コンテンツの開示標準をグローバルに実装するための、強制的なラベリングの問題です。そして第三に、有害な合成メディアの報告・検出・削除のための迅速対応プロトコルと最新のイノベーションを分析する、ディープフェイク執行の問題です。本日の議論で得られたデータは、前回のウェビナーの内容と合わせて、政策・規制ペーパーとして公開予定で、公衆のメンバーに役立てていただきたいと考えています。共同モデレーターのVinay Raoさんから自己紹介をお願いします。
Vinay Rao: お招きいただきありがとうございます。私は現在、Roostという非営利団体のCTOを務めています。Roostでは安全インフラのソフトウェアを開発し、オープンソースとして公開しています。私自身は過去20年間、広告、検索、決済、そして最近ではAI安全性といった、さまざまな安全分野に携わってきました。本日は、AIの責任と信頼構築に技術的・政策的に貢献してこられた著名な方々をお迎えしています。それでは各パネリストからご挨拶いただきます。まずはSean McGregorさん、お願いします。
Sean McGregor: ご紹介ありがとうございます。私はAI Incident Databaseの共同創設者で、ML Commonsのエージェント・ワークストリームを率い、またAveryというイニシアチブの共同創設者でもあります。実は私がこのパネルに加わっているのは少し意外な人選かもしれません。といいますのも、5年前に私はClaire Leibowitz、Aviva Ovadyaと共著で「The Deepfake Detection Dilemma」という論文を発表したからです。その論文の結論は、ディープフェイク検出は猫とネズミのゲームであり、野に放たれたディープフェイクを継続的に確実に検出しラベル付けするのは困難な戦いになる、というものでした。本日はこの問題に対する考えを共有させていただきます。
Vinay Rao: 続いて、欧州委員会のEU AI Officeで技術専門家を務めるMelanie Gouetさん、お願いします。
Melanie Gouet: お招きいただきありがとうございます。本日参加できて大変嬉しく思います。私はEU AI Officeに所属しており、組織内ではConnect A2、すなわち規制遵守を担当する部署で、欧州AI法の実装に取り組んでいます。本日は特にAI法の第50条、すなわち特定のAIシステム、とりわけ生成AIシステムに対する透明性義務について議論したいと思います。第50条には、生成AIシステムの提供者(provider)と運用者(deployer)双方に対して、生成コンテンツのマーキングとラベリングを求めるさまざまな規定があり、現在この実装に向けたコード・オブ・プラクティスの策定作業が進行中ですので、その詳細についてもお話しできればと思います。
Vinay Rao: 次に、Project KarnaのCEOであり、UNDPのAI Trust and Safety Re-imagination LabのファイナリストでもあるDr. Raji Bascaranさんです。
Raji Bascaran: 皆さん、お会いできて光栄です。私は米国西海岸を拠点とするスタートアップの共同創設者兼CEOを務めています。私たちは、人と人との信頼は、リアルタイム・非リアルタイム両方のメディアを通じて、自分自身をどう提示しコミュニケーションを取るかによって生まれると考えており、デジタル空間における信頼の回復は個人的領域だけでなく職務領域にとっても極めて重要だと捉えています。そのため私たちは、あらゆる規模の企業や組織がこのコミュニケーション・チャネルを能動的に守れるよう、さまざまな技術ツールを開発しています。Seanさんがおっしゃったとおり、これは猫とネズミのゲームですが、猫を追わなければネズミの方が速く、より破壊的になっていく一方ですので、こうした脅威に対する防御ツールを構築していく必要があると考えています。
Vinay Rao: 続いて、Witnessの政策・アドボカシー・マネージャーであるBruna Martins do Santosさんをお迎えします。
Bruna Martins do Santos: 皆さん、こんにちは。お会いできて嬉しいです。AI for Goodは長年フォローしてきたイベントで、今年7月にジュネーブで再びお会いできることを楽しみにしています。私が代表するWitnessは、もともと市民が映像を用いて人権侵害を記録し告発することを支援する活動から始まった組織です。しかし2026年を迎えるにあたり、私たちのミッションはAI時代における「現実の擁護」、つまり真実が争われる時代における現実の防衛へと進化してきました。これは私たちが置かれている現実そのものを物語っていると思います。私が所属する技術脅威・機会チームは、真正メディアと合成メディアの交差点で活動しており、新興技術がデジタルコンテンツの規模、リアリズム、品質をどう変容させているかにも取り組んでいます。本日は検出の課題に加えて、Witnessが取り組んできたプロベナンスと真正性についてもお話しします。
Vinay Rao: 最後に、独立系AI専門家のLaura Caroliさんです。
Laura Caroli: ITUとAI for Goodイニシアチブにお招きいただき光栄です。私はEU AI法の交渉者の一人として、欧州議会側からの立場で参加してまいりました。本日は欧州議会自身が2024年欧州議会選挙の際に直面した課題と、オンラインのディスインフォメーションと戦うために私たちが手にしているツールについてお話しします。さらに、AI法自体の改正によってもたらされる新しい要素についても触れたいと思います。この改正はおそらく本日「AI Omnibus」の名のもとに最終化される予定で、その中には非合意的親密画像(non-consensual intimate imagery)の生成に対する新たな禁止条項も含まれます。
2. ディープフェイク検出のジレンマと基本的アプローチ
Sean McGregor: 5年前、私はClaire Leibowitz、Aviva Ovadyaと共著で「The Deepfake Detection Dilemma」という論文を発表しました。この論文の核心的な結論は、ディープフェイク検出は本質的に「猫とネズミのゲーム」であり、野に放たれたディープフェイクを確実に検出しラベル付けすることに、私たちは継続的に苦戦し続けるだろう、というものでした。こうした結論は、ある種の無力感につながりかねません。つまり、いずれ真正でないものが真正なものと区別できなくなるのであれば、メディア真正性に関する政策に何の意味があるのか、という問いです。5年前にもまして現在、その答えは複雑になっています。私たちにできることはありますが、それにはメディア生成における敵対的ダイナミクスの進化に応答できる政策フレームワークが必要です。
現時点で私が推奨したいアプローチは、北米を中心に、より広範に構築あるいは検討されている二つの方向性です。第一はC2PA仕様で、これはコンテンツのプロベナンス(来歴)をデジタル署名することによって、真正なコンテンツに対する信頼を高めようとする取り組みです。デジタル情報がどこから発したものかを知ることが可能になり、C2PAはそれを実現するために必要な標準的な暗号技術を提供します。第二は、パーソナル・クレデンシャル、すなわちユーザーを現実世界の身分と結びつける手段です。
重要なのは、これら二つのアプローチがいずれも本質的に「防御的」な性質を持つということです。両者は、コンテンツの来歴情報を付加することによって、真正なコンテンツを守ろうとするものです。私は、ディープフェイク・コンテンツへのウォーターマーキングといった「攻撃的」手段の開発を続けるべきだと考えますが、それと同時に、C2PAやパーソナル・クレデンシャルのような手段を通じて、真正なものにより大きな声を与える取り組みに参加していただくよう、皆さんに強くお勧めしたいと思います。
Saka Karata: Seanさんのご指摘を受けて、私からAI生成コンテンツのラベリングのギャップにどう対処するかという最初の質問を投げかけたいと思います。政策、標準、それを補完する執行戦略は、AI生成コンテンツのラベリングのギャップに対処し、有害なディープフェイクの検出と迅速対応を改善するために、特に選挙や紛争地域のような高リスク文脈において、どのように進化すべきでしょうか。また、この領域でリーディングなアプローチはどれか、技術的・運用的に標準や政策執行能力にどのようなギャップがあるか、ご経験からウォーターマーキングやメタデータ・プロベナンスは効果的か、その限界は何かについてもお聞かせください。
Sean McGregor: ここで強調したい比喩があります。この空間は「医療」ではなく「公衆衛生」だ、ということです。私たちは手洗いをしますが、それでも病気になることはあります。それでも手を洗うのは、防御を多層的に積み重ねる「Defense in Depth(多重防御)」の考え方があるからです。エコシステムに可能な限り多くの層を追加していくことで、私たちは消費するコンテンツを信頼する能力を獲得します。ですから、ウォーターマーキングは間違いなく講じるべき手段の一つです。
ただし、ウォーターマーキングにも独自の課題があります。例えば、真正なものにウォーターマークを付与してしまった結果、本物であるはずのものに対する信頼を逆に失わせてしまう可能性があるのです。だからこそ、その上に追加のアプローチを重ねていく必要があり、こうしたアプローチの集合体を通じて、デジタル・エコシステムへの信頼が生まれます。私たちにはソリューションのポートフォリオが必要であり、「問題は解決した、次へ進もう」と決して見なすべきではありません。残念ながら、私たちは10年後、20年後、30年後も同じような会話を続けることになるでしょう。
Vinay Rao: Rajiさんは機械学習と検出の専門家ですが、いかがでしょうか。
Raji Bascaran: Seanさんの多層的視点に全面的に同意します。よく言われる「特効薬(silver bullet)」を探すべきではないと思います。一つの層だけに答えがあるのではなく、多層スタックの中に答えがあるのです。なぜなら、技術的に何かを実現することと、それを現実世界で実装できることは別問題だからです。Brunaさんがおっしゃるような紛争地域や、通信スタックや帯域幅が大きく異なる技術環境を考えれば、エンドツーエンドの視点で考える必要があります。
生成AIには確かに多くの課題がありますが、生成AIの能力は問題解決の方法をも民主化したという側面もあります。正しい意図を持つ人々は、より安価で、よりアクセスしやすいツールを手にしており、自分たちのスタックを独自に構築してゲームを変えることができます。簡単とは言いませんが、例えば、ハードウェアの最下層、つまりカメラの段階から——というのもメディア生成の多くは依然としてモバイル・カメラで行われるからです——保存可能で改ざんに強いプロベナンス署名を強制する革新を始めれば、状況は変わり得ます。C2PA以外にも、こうしたプロベナンス署名を強制できるハードウェア・イノベーションが進んでいて、それを適切な層でオープンソース化すれば、AIを使った解決策構築の民主化と組み合わせて、世界中のさまざまなスタックの人々に道具を提供できるようになります。そのためには規制環境、政策、ツールが極めて重要だと考えています。
3. EU AI法第50条と実施コード・オブ・プラクティスの全体像
Melanie Gouet: AI生成コンテンツのラベリングというテーマに対する私からの回答は、EU AI法における透明性義務、すなわち提供者(provider)と運用者(deployer)双方に課せられた義務をご紹介することから始まります。AI法は欧州連合全域に広く適用される法律であり、その中でディープフェイクを含む生成コンテンツのマーキングおよびラベリングに関する規定が設けられています。
具体的には、AI法第50条には、提供者がAIによって生成されたコンテンツを機械可読な形式でマーキングするという規定があります。このAI生成コンテンツは、人工的に生成されたものとして検出可能でなければなりません。さらに追加的な要件として、マーキングおよび検出のソリューションは、技術的に可能な範囲において、「効果的(effective)」「相互運用可能(interoperable)」「堅牢(robust)」「信頼可能(reliable)」でなければならない、と定められています。しかし、これは当然「では技術的に何が実現可能なのか」という大きな問いを呼び起こします。
この問いに対応するため、私たちは現在コード・オブ・プラクティスの策定を進めています。これは、世界中の多様なステークホルダーを集めて、AI法のこれらの規定をいかに実務に落とし込むかを共に検討するイニシアチブです。利用可能な対策やソリューションを精査するアプローチを採っており、メタデータ、プロベナンス、ウォーターマーキングなどを検討対象としています。このコード・オブ・プラクティスの策定プロセスは、独立した議長団が主導し、産業界、市民社会などの参加者から多くのインプットを得て進められています。
議長団による最初のコード・オブ・プラクティスの結論の一つは、生成コンテンツのマーキングには「多層アプローチ(multi-layered approach)」が必要だ、というものでした。なぜなら、現時点で個々の手法は必ずしも堅牢とは言えないからです。そのため、メタデータやウォーターマーキングを含む複数の層を組み合わせるという要請が依然として存在します。もちろん、これはコンテンツの種類や文脈にも依存します。ウォーターマーキングが常に必要というわけではありませんが、堅牢なソリューションは必要です。
先ほど「これらの手法は効果的か」というご質問がありましたが、私の答えは、個別に取り出せば必ずしも効果的とは言えないかもしれないが、組み合わせれば効果的かつ堅牢かつ信頼可能になり得る、というものです。これが現在進行中のアプローチであり、議長団が参加者からのインプットを踏まえて選択した方向性です。コード・オブ・プラクティスの最終ドラフトは2026年6月に出る予定ですので、ご注目ください。議長団は、いつウォーターマーキングやメタデータ・プロベナンスが正確に必要となり、どこで複数手法の組み合わせが必要となるのかについて、より詳細に記述しようとしています。
Saka Karata: Melanieさんに、今度はコード・オブ・プラクティスにおける透明性義務、特に提供者と運用者、ソーシャルメディア・プラットフォームを含む両者に対する透明性義務の主要な検討事項について追加で伺いたいと思います。
Melanie Gouet: 私たちはすでに二つのコード・オブ・プラクティスのドラフトを公表しており、現在は第三回かつ最終ドラフトに向かっているところで、これは6月公表予定です。さらに、第50条の法的義務の範囲を説明するためのガイドラインも用意する予定です。現段階では、参加者の視点を統合し、内容について共通の合意に至るための調整を進めています。
コード・オブ・プラクティスのうちコンテンツの「マーキング」に関する部分については、義務は主に提供者、すなわちAIシステムを欧州市場に投入する経済主体に課せられます。この部分では、先ほど触れた多層アプローチを含む規定があり、「効果的・堅牢・信頼可能・相互運用可能」が何を意味するかを具体的に明示し、検出メカニズムについても議論しています。
もう一方の「ラベリング」、特にディープフェイクに対する可視的ラベリングに関する部分については、法的義務は運用者、すなわち生成AIシステムの専門的ユーザーに課せられます。ここでは、コンテンツが生成されたものであると人々に示すために、コンテンツ上に掲示されるEU共通のアイコン(EU-wide icon)の形でソリューションを提案しています。これらは提案段階の解決策で、議論はなお進行中ですが、議長団はコード・オブ・プラクティスの策定作業の最終化に向けて精力的に取り組んでいます。
Saka Karata: Brunaさんは、この第50条のアプローチについて、Witnessの立場からどう評価されますか。
Bruna Martins do Santos: 第50条のコード・オブ・プラクティスは、責任が単一のアクターに集中するのではなく、多くのアクターが「共有された責任の空間」の一部であることを認め、それに対処している点で非常に優れた取り組みだと考えています。私たちもラベリングへの過度な集中ではなく、AIチェーン全体にわたって責任を分担する「パイプライン責任モデル」を提唱してきましたが、第50条のコード・オブ・プラクティスはまさにこれを体現しています。透明性に関する具体的なガイドラインをさらに発展させ、下流における透明性を改善する必要があり、第50条のコード・オブ・プラクティスは素晴らしい取り組みですが、複数の法域にまたがる形でこれを展開していく必要があります。AIシステム間の透明性ギャップに対処するための真正性に関するルールを、より多く整備していくべきです。
4. 検出技術の限界と高リスク文脈における実践的課題
Vinay Rao: Brunaさんは選挙や紛争地域の現場で多くの経験を積まれていますが、検出技術の限界と高リスク文脈での課題について、どうお考えでしょうか。
Bruna Martins do Santos: Witnessがこれまで「Deepfakes Rapid Response Force」という取り組みや、「Content Provenance and Authenticity Coalition」のような場で活動してきた経験は、すべて「私たちが共有してきた現実の深刻な侵食(profound erosion of our shared reality)」というシナリオを指し示してきました。この状況は、政策立案者の視点から見て即時に対応することを極めて困難にしています。なぜなら、多くの規制は、すでに起きてしまった事象を後追いする傾向があるからです。私たちは依然として、デジタルコンテンツをそのまま額面通りに受け取ることができず、ほとんどの文脈、特にデジタル文脈において真実が単に議論の対象でしかなくなってしまった空間をどうナビゲートするか、模索している段階にあります。
こうした状況を踏まえ、私たちは政策と標準に関して「アカウンタビリティを上流にシフトすること」と「権利を尊重する多層的な透明性・検出アプローチを採用すること」を強く提唱してきました。これは、政策とプラットフォームが、モデレーションのみに排他的に焦点を当てるアプローチから脱却し、責任がこのチェーン内の多くのアクターによって共有される「パイプライン責任モデル」へと移行すべきだ、という意味です。Witnessは検出とプロベナンスの両方に取り組む組織ですが、政策が、事後的(post hoc)な検出だけに頼るのではなく、コンテンツ自体と共に流通するメタデータや情報の付加を優先するレベルに到達することを願っています。
その理由は、高リスク文脈では検出が失敗するからです。例えば紛争地域では、コンテンツが圧縮されたり、プラットフォーム間で共有される過程で検出が失敗します。さらに、私たちが付加するラベリングやメタデータ自体が、こうしたコンテンツから剥ぎ取られてしまう空間も存在します。だからこそ、特に高リスク文脈においては、コンテンツに紐づいた状態でプラットフォームを超えて存続する、より永続的な機械可読マーキングが必要であることが明確になります。そして、パイプライン責任モデルと透明性全般への取り組みをさらに深めていく必要があるのです。
検出のもう一つの大きな問題は、検出ツールへのアクセス格差と、これらのシステムが地域ごとに異なるデータでどう訓練されているかという点です。グローバル・マジョリティ(global majority)は、検出ツールへのアクセスや、システム上で適切に表現された画像が極めて少なく、これは私たちにとって深刻な懸念事項です。Witnessは昨年「TRIED Benchmark」というドキュメントを公表し、こうした問題を提起してきました。
また、透明性の上流における責任、すなわち透明性そのものへのアプローチについても重要な動きがあります。AI開発全体は、透明性に関する議論の多くをソーシャルメディア全般へと押し広げました。私たちはDSA(デジタルサービス法)時代の透明性レポートを議論する段階から、合成コンテンツへのフラグ付けが何を意味するか、そしてAI法第50条の実装に関する議論全体が何を意味するかを論じる段階へと、大きく前進しました。Lauraさんもおっしゃっていたように、こうした動きは、カリフォルニア州やニューヨーク州で関連法案が議論され、ブラジルでもAI規制の中でプロベナンスのアイデアが議論されているなど、各地に伝播しています。アイデアが建設的な形で旅をし、より参加型でレリバントな形で透明性を再定義しているのは興味深いことです。
Raji Bascaran: 私もBrunaさんの考えに完全に同意します。技術的にできることと、それを現実世界で実装できることは別問題で、紛争地域や、通信スタックや帯域幅が大きく異なる技術環境では、純粋にエンドツーエンドの視点で考える必要があります。ここで強調したい大きな可能性は、生成AIには多くの課題がある一方で、その能力は問題解決の方法を民主化したという側面です。
正しい意図を持つ人々は、より安価でアクセスしやすいツールを手にしており、独自のスタックを構築してゲームを変えることができます。簡単とは言いませんが、特に重要だと考えているのは、ハードウェアの最下層、つまりカメラから始めるアプローチです。なぜなら、メディア生成の多くは依然としてモバイル・カメラで行われるからです。ハードウェアの段階から、保存可能(preservable)で改ざんに強い新しいプロベナンス署名を強制する革新を進められれば、状況は変わり得ます。C2PA以外にも、こうしたプロベナンス署名を強制できるハードウェア・イノベーションが現在進んでいて、これを適切な層でオープンソース化すれば、AIを使った解決策構築の民主化と組み合わさり、世界中のさまざまなスタックにいる人々にツールセットを提供することができます。だからこそ、規制環境、政策、ツール群がこの目的にとって極めて重要だと考えています。
5. アカウンタビリティの上流シフトと欧州議会の選挙対策実践
Vinay Rao: Lauraさん、トランスアトランティック(大西洋を挟んだ米欧両方)の視点から、この問題がさまざまな地域でどう扱われているかについてお話しいただけますか。
Laura Caroli: 興味深いと思ったのは、米国の多くの州が、選挙キャンペーンの期間中にディープフェイクの使用を禁止することによって、すでに介入を始めているという点です。欧州の視点から見ると、私たちはMelanieさんが説明したようにウォーターマーキングに焦点を当ててきたため、これは新鮮に感じられました。しかし、ここまでの登壇者の皆さんが指摘してきたとおり、検出にはギャップが残っており、どれほど洗練された手法を用いても依然としてギャップは存在します。
だからこそ、これらの努力を補完する介入ツールが必要であり、それを正確に何ができるかを把握することが重要です。本日皆さんにお伝えしたかったのは、欧州議会の選挙対策タスクフォースのような機関が何を行ったか、です。私たちは検出のためだけでなく、選挙に先立って情報環境をストレステストするためにAIを活用しました。プラットフォームが提供するデータのギャップを埋めるという、研究者一般が直面する共通の課題に取り組むためにAIを使ったのです。AIによってパターンを用いてギャップを埋めることができますし、大規模に情報を特定して反証することも、デジタル・ツインを用いて有権者の行動を予測することもできます。これらはすべて、検出が抱える「猫とネズミの問題」への取り組みを補完できるツールです。
そして、先ほどBrunaさんが「アカウンタビリティを上流にシフトする必要がある」と述べた点に、私も完全に同意します。これは極めて重要な観点です。現在の米国情勢では必ずしも語りやすい話題ではありませんが、モデル提供者(model providers)に責任をシフトすることが鍵となります。本日交渉が結ばれる予定のAI法改正で導入される新たな禁止条項に言及したのも、まさにそのためです。この改正は、モデルが非合意的親密画像(non-consensual intimate imagery)を生成する可能性そのものを禁止することになります。
このような禁止を盛り込むことで、AI法は、汎用目的AI(General-Purpose AI、GPAI)モデルに関するコード・オブ・プラクティスで既に存在していた内容、すなわちこうしたコンテンツの生成や大規模なディスインフォメーションの可能性を「システミック・リスク(systemic risks)」のひとつとして位置づけ、最も強力なモデルをホストするモデル提供者がこれを統制し緩和しなければならない、という枠組みを統合・強化することになります。つまり、モデル提供者にこそ、不適切な生成を未然に防ぐ責任があるのです。そして、いわゆる「ヌード化アプリ(nudifier app)」への禁止条項が導入されることで、まさに何を禁止したいのか、モデル提供者がいつ善意で行動していたと言えるのか、合理的な行動と防止ツールを採用していたことをどう示すのか、といった点が真の課題になります。
(後段、議論が「メディアの編集責任」と「アカウンタビリティの拡散」に発展した場面で、Lauraさんは欧州議会内部での具体的な議論の経験を共有します。)
Laura Caroli: 編集責任の議論は、モデル提供者だけでなく、AIをニュースコンテンツ制作に利用するメディア・サービス提供者にも及びます。メディア・サービス提供者は、AIをニュース制作にどう用いるかについて独自の内部ポリシーを持ち、視聴者に対してコンテンツに関する透明性を確保する必要があります。ここで私たちが直面しているのは「アカウンタビリティの拡散(diffusion of accountability)」という問題です。モデル提供者は責任を下流の運用者(deployer)へとシフトしようとし、その運用者はさらにユーザーへとシフトしようとします。
Seanさんが先ほど「高齢者の例」に言及しましたが、私たちが第50条を交渉していた頃、加盟国側から、ユーザーにも個人的な責任を負わせ、執行機関による潜在的な罰金の対象とすべきだという議論が一時的に提起されたことがあります。その時、私自身が頭の中で考えたのは、「もし私の母がディープフェイクで遊んでいて、ただの楽しみのために政治家のディープフェイクを生成してしまったらどうなるのだろう」ということでした。母はその結果がどうなるかを知らないのです。
つまり、AI、メディア、メディア・リテラシーそのものについて教育されていない人口が存在することのリスクもまた、リスクとして数えなければなりません。これらすべてが同じ方程式の一部でなければならない、と考えています。責任の所在を上流に置くべきだとしても、その「上流」が何を意味し、ユーザーに何が求められるかは、教育と切り離して論じることはできません。
6. プロベナンスと検出の連続体、相互運用性という最大の課題
Bruna Martins do Santos: Lauraさんのお話に少し補足したいと思います。Witnessでは、プロベナンスと検出の二つを「連続体(continuum)」として捉えています。つまり、コンテンツが操作されたり生成されたりした場合にそれを識別するため、まずAIチェーン全体にプロベナンス・システムとラベリング、シグナル提供の仕組みを実装する必要があります。そしてこの試みが失敗したときに、検出が意味を持つ局面として立ち現れる、という関係です。プロベナンスが第一線の防御線であり、検出はそれが失敗した際のセーフティネットとして機能する、という二段構えの捉え方をしています。
この見方を踏まえて、私が政策に対して強く求めたいのは、コンテンツのライフサイクル全体を通じて存続する、機械可読で永続的なマーキングです。先ほども申し上げたとおり、現状では検出は高リスク文脈、特に紛争地域では失敗しますし、圧縮やプラットフォーム間の共有を経るとメタデータが剥ぎ取られてしまうことが多いのです。だからこそ、コンテンツが流通する経路を超えて残り続けるマーキング設計が、政策上の要請として明確に意識される必要があります。
Vinay Rao: では最後に、現状の政策と標準を踏まえ、これからの政策と標準にどのような影響を与えるべきか、皆さんが将来的に何を見たいか、何を追加すべきだとお考えか、お聞かせください。Melanieさん、お願いします。
Melanie Gouet: 何度も同じテーマを蒸し返すようで恐縮ですが、私は個人的に、標準が最も必要とされる領域は「相互運用性(interoperability)」だと信じています。AI法第50条には、マーキング・ソリューションが相互運用可能でなければならないという規定があります。しかし現状では、これは極めて困難です。なぜなら、プロプライエタリな(独占的・専有的な)ソリューションが乱立しているからです。
ですので、将来の政策というよりはむしろ将来の標準として、最も有用になるのは相互運用性に関する標準だと私は考えています。共有された標準と、共通のコンテンツ・マーキングの方法を持つことができれば——ここではウォーターマーキング単独の話ではなく、依然として多層アプローチを念頭に置いていますが——理想的にはすべての生成コンテンツが人工的に生成されたものとして検出可能となり、しかも、コンテンツがある提供者から来たのか別の提供者から来たのかを確認するために、利用者がいくつもの異なるツールに当たる必要がなくなるはずです。だからこそ将来の標準の鍵は、現在の手法の相互運用性を改善することにあるのです。
Bruna Martins do Santos: Melanieさんのおっしゃる相互運用性の重要性に同意しつつ、私は別の角度から「アイデアの伝播」という現象に注目したいと思います。AI法第50条の議論は、まさに合成コンテンツへのフラグ付けが何を意味するか、第50条の実装が何を意味するかという議論へと、透明性論を大きく押し広げました。そしてこの動きは、米国内ではカリフォルニア州やニューヨーク州が関連法案を議論しており、ブラジルもまた独自のAI法、あるいはAI規制の中でプロベナンスのアイデアを議論しているなど、各地に伝わっています。アイデアが極めて建設的な形で旅をし、透明性をより参加型で意味のある形で再定義しているのは、興味深い動きだと感じます。
つまり、相互運用性は技術的標準のレベルでも、政策的概念のレベルでも問われており、両者が並行して進化することで、初めて「どの提供者が作ったコンテンツであっても、どんな種類のコンテンツであっても、普遍的にAI生成だと検出できる」状態に近づけるのだと思います。
7. 公衆の信頼回復に向けた技術的・教育的アプローチ
Saka Karata: ここからは本日二つ目の柱、すなわち「公衆の信頼回復」というテーマに移ります。公衆の信頼は最終的な目標ですが、皆さんのそれぞれの地域的視点から、規制、技術的セーフガード、能力、そして公衆の意識啓発のどの組み合わせが、今後3年から5年の間にメディアへの信頼を再構築する上で最も有望だとお考えでしょうか。そして、何を最優先すべきとお考えでしょうか。
Melanie Gouet: 公衆の信頼を回復する方法は一つではないと考えています。生成コンテンツについて言えば、究極の目標は「区別できるようにすること」、つまり何が真実で何がそうでないか、何が人間生成で何がAI生成かを公衆が区別できるようにすることだと思います。先ほどプロベナンスやウォーターマーキングによってコンテンツをマーキングする話をしましたが、それに加えて重要なのは、コンテンツのラベリング、つまり公衆に対する可視的なラベルです。AI法第50条には、画像、音声、動画コンテンツを含むディープフェイクのラベリングに関する規定があり、コード・オブ・プラクティスではEU共通アイコンを設けることを提案しています。このアイコンは画像や動画に付与でき、音声についても代替手段を用意することで、AIによって生成されたコンテンツに人々が接した際に、それが人工物であり人間が書いたものではないことを直ちに認識できるようにします。これは公衆の信頼を回復するためのイニシアチブのひとつにすぎませんが、明らかに重要な一手だと考えています。
Sean McGregor: 情報スタックの上に積み重ねられる技術的解決策はたくさんあり、それらは私たちの状況を大きく前進させ得ます。ほとんど語られることのない例を一つ挙げると、デジタルコンテンツの「年齢」を暗号学的に証明する仕組みです。すなわち、このデジタルコンテンツが少なくとも一定の年齢に達していることを証明できる仕組みで、これによって、ある日付を超えて過去を書き換える能力が実質的に奪われます。「これは3年と5日と2時間前のものだ」と単に示せるだけで、現代的目的において誰もそれを書き換えようとはしていない、と知ることができるわけです。
こうした類の解決策は、本質的には資源配分や調整の問題であって、私たちはまだ十分に探求していませんし、そのために必要なデジタル政策の土台を作ってもいません。私たちは政策、文書、コード・オブ・プラクティスについて多くを語りますが、メタデータ層に踏み込んで、せめてその生成を促すような取り組みも必要です。そして、これをプライバシーを保護する形で、人々が公的生活に参加する能力を維持しながら行うこと——これは絶え間ない格闘です。
Bruna Martins do Santos: 私もこの点に関連して、Melanieさんがおっしゃっていたメディア・リテラシーに連結する形でひとつ強調させてください。公衆の信頼回復に関わるあらゆる解決策は、メディア・リテラシーに関連する解決策と交差する必要があります。コード・オブ・プラクティスに対して私たちが行った推奨事項のいくつかは、運用者(deployer)に対する開示の実装方法に関するトレーニング、そしてエンドユーザーに対して、私たちがプロベナンス空間で頻繁に語っているアイコンや開示をどう認識し解釈するかを伝える啓発キャンペーンに関するものでした。
Saka Karata: 非常に重要な点ですね。信頼を目標とし、公衆の確信を目標とするのであれば、公衆が実際に「何を信頼しているのか」「人間生成とAI生成をどう区別するのか」を理解するための道具と手段を、併せて提供する必要があります。
Raji Bascaran: 先ほど他の方々が述べたとおり、最も執行可能な政策のひとつは、教育、そして特定のメディアにおいてこれらのラベルがどの程度顕著(prominent)でなければならないかという点だと考えています。一点、お伝えしておきたいのは、今回のディープフェイクや生成AIが登場するはるか以前から、アルゴリズミック・フィードによってすでに「現実の分断」は存在していた、ということです。誰が何を見るか、そして人々がどちらかのバブルに押し込められたり、追い込まれたりする連続体が、すでに形成されていたのです。
そう考えると、ラベルを単にUIのどこか目立たない場所に置くのではなく、「UIラベルがどの程度顕著であるべきか」を強制すること自体が、執行可能な政策事項になり得ます。なぜなら、これは検出もフォローアップも容易だからです。「ラベルを付けるべき」と言うだけでなく、それを保証することができます。ご存知のとおり、ソーシャルメディアでは注意持続時間が低下しており、すべてが視覚と音声のメディアになっています。ですから、これは執行可能性と教育、すなわち技術的能力の観点だけでなく信頼構築の観点から、強制力をもって考えるべきテーマだと思います。
8. グローバル課題への取り組みと既存ネットワークの活用
Vinay Rao: 最後の質問として、より広範な調整を補完するために、よりグローバルに整合した政策、標準、慣行を必要とする領域はどこにあるか、被害類型を横断するグローバルなトレンドについて、皆さんのお考えをお聞かせください。Brunaさん、まず口火を切っていただけますか。
Bruna Martins do Santos: 単刀直入にお答えすると、主要なトレンドは、人権、公平性、アクセスを中心に据えながら、合成メディアによるあらゆる脅威に立ち向かう必要がある、ということだと思います。本日もいくつかの事例が言及されました。ディープフェイク、AIプラットフォームを通じた非合意的親密画像(NCII)の生成可能性、さらには適切な免責事項を伴うパロディやユーモアの利用には該当しない種類の操作などです。
もう一つ私が戦うべきだと考えるトレンドは、いわゆる「AI関連空間の断片化(fragmentation)」です。同じテーマを議論する場が増殖している一方で、それらの空間の間でのコミュニケーションは多くないのが現状です。だからこそ、Global AI DialogueやAI for Goodのような場が、人々、声、ナラティブを結び付ける良い役割を果たしてくれることを期待しています。
ディープフェイクに関するWitnessのミッションに引き寄せて補足すると、これは検出の側面だけでなく、被害そのものを救済する必要性を含めて捉えるべき問題です。グローバルなトレンドを語るとき、検出に関する整合した政策だけでなく、こうしたモデルが画像生成に使われる事態への対処に関する整合した政策も必要です。具体的な指針の一例としては、検出に関する知見への実効的なアクセスを拡大し、人々が信頼できる情報にアクセスできるようにすること、そして共有された場を使って、私たちが議論してきた技術的課題、検出のギャップ、生成AIの悪用の複雑さの増大について話し合うことが挙げられます。
そして極めて重要なのは、私たちが仲間内でこれを議論することと、それを私の祖母や、ChatGPTにアクセスして「クールだ」と感じてディズニー風の自画像を生成し続ける親族たちに説明することは、まったく別の話だ、ということです。最後に、透明性とプロベナンスに関しては、下流の透明性を改善するための具体的なガイドラインを各法域にまたがって発展させていく必要があります。
Sean McGregor: グローバル空間で深く取り組む必要のある領域として、「デジタル・アイデンティティ」の概念があります。誰かと話しているとき、その相手が自身が示している場所に実際にいるのだ、と、より強い信頼感を持てるような仕組みです。急速に拡大している被害類型として、詐欺やスカム、つまり別の国にデジタルに侵入してその場所から資金を引き出し、自国へ持ち帰るというものがあります。被害発生地は、こうした行為を行った者を将来再度行うことから防ぐような執行に積極的でない場合が多く、結果として、加害者は事実上「不処罰で運用できる(operating with impunity)」状態にあります。
これは、効果的な法執行がグローバル規模で機能していない状況であり、私はその状況がすぐに改善されるとは思いませんし、現時点で私たちのツールセットの中にあるものでもありません。あまりテクノロジーに長けていない祖父母世代が、自分の使っているテクノロジーから「これは家族の外、自分の大陸の外の誰かと話している」と知らされ、それをフィルタリングしたうえで、少なくとも同じ法体系の下で活動している人々から連絡を受けられる、という仕組みが必要です。これは技術と政策の両面で、グローバルな調整を相当量必要とする課題です。
Raji Bascaran: Seanさんの問題提起を受けて、私たちが政策執行とあらゆる施策のテントの中に引き入れるべき、二つの重要なグローバル・ネットワークがあると指摘したいと思います。一つは電気通信ネットワーク(telecom network)です。Seanさんがおっしゃったように、私の祖母にかかってきた通話が、これまで一度も着信のなかった国や地域からの発信であれば、少なくとも警告を一緒に表示することはできるはずです。これは今日でも実現可能な施策で、すでに先進的に要件化している国もあると承知しています。もちろん、編集権を完全に行使することはできません。「祖母に電話をかけるな」と一律に言うことはできません。なぜなら、孫がアフリカに行ったりインドに行ったりして電話するかもしれないからです。それでも、警告表示や追加情報を表示する仕組みは可能で、これはUI設計の課題でもあります。
もう一つは金融サービス・ネットワーク(financial services network)です。電気通信と金融サービスは、本来のグローバル・ネットワークと呼べる二つの基盤であり、ここに公的政策と執行可能な共通合意を構築することが、グローバル規模で施策をスケールさせる唯一の道だと考えます。これら二つはすでに世界に根付いたグローバル・ネットワークであり、AIがもたらす善と悪の両面、そしてそれが国際的に分配される経路の鍵を握っています。ですから、グローバルに考えるなら、より多くの電気通信組織と金融移転事業者を、AIガバナンスの議論に巻き込んでいくべきです。
Laura Caroli: 私もこの議論に加えたいのは、「メディア、メディアの質」という視点です。これはこの状況において極めて重要な要素です。欧州では現在、European Media Freedom Act(欧州メディア自由法)が、デジタルサービス法やAI法のあらゆる取り組みを補完しています。この法律は、プラットフォームが責任あると認められたメディアをどう扱うかという観点だけでなく、メディア・サービス提供者自身が自らの内部ポリシーを持つ必要がある、つまりAIをニュースコンテンツ制作にどう用いるか、視聴者に対してそのコンテンツについてどう透明性を確保するか、を定めなければならない、という観点も提示しています。
つまり、編集責任は今や、上流のモデル提供者だけでなく、メディアそのものにも及ぶことになります。先ほども触れた「アカウンタビリティの拡散」の問題ですが、モデル提供者は責任を下流の運用者にシフトしようとし、運用者はさらにユーザーにシフトしようとします。第50条を交渉していた時期、加盟国から、ユーザーにも個人的責任を負わせ、執行機関による潜在的罰金の対象とすべきだという声が一時期上がりました。その時、もし私の母が政治家のディープフェイクで遊んでしまったらどうなるのだろう、という想像が頭をよぎりました。母はその結果がどうなるかを知らないのです。AI、メディア、そしてメディア・リテラシーそのものについて教育されていない人口が存在することのリスクは、それ自体がリスクであり、すべて同じ方程式の一部として論じるべきだと考えます。
9. キーテイクアウェイズと総括
Vinay Rao: ここまで素晴らしい議論を続けてきましたが、最後にもうひとつ、これらの政策や標準が実務上うまく機能しなかった経緯について、皆さんのお考えを伺いたいと思います。例えば、オープンウェイト(open weights)のモデル、暗号通貨、プラットフォームなどが念頭にあります。何かご意見はありますか。
Raji Bascaran: オープンウェイト・モデルの点についてお答えします。これがうまく機能していないと結論づけるには、まだ時期尚早だと思います。Seanさんもおっしゃっていたとおり、私たちは依然として非常に早い段階にいて、おそらくこの問題について今後も長く議論し続けることになるはずです。長期的な視点を持つべきだという話でしたが、それと同時に、状況が進化し続けるという点も念頭に置くべきだと思います。オープンソースやオープンウェイトが重要な用途を持たない、と判断するのは時期尚早だと考えますし、私自身は、こうしたモデルが極めて重要な役割を果たし得る道筋があると見ています。
私が申し上げたいのは、AIが社会に与える影響については、依然として極めて初期の段階にある、ということです。ポジティブにもネガティブにも、その影響は恐ろしい速度で進行しているのは事実ですが、それでもなお早期段階なのです。
Saka Karata: Rajiさん、ありがとうございます。それでは、ウェビナーの締めくくりに向けて、いくつかの主要な学びを振り返らせていただきます。後から参加された方々のためにも、また私たち全員が持ち帰って省察するためにも、ここで整理しておきたいと思います。
私たちは「多層的アプローチ」について多くの時間を割いて議論しました。単一のツール——ウォーターマーキング、メタデータ、プロベナンス——だけでは十分ではない、という認識です。特にEU AI法第50条のコード・オブ・プラクティスは、堅牢性と信頼性を確保するために、複数のコンテンツ・マーキング層を組み合わせることを推奨しています。
次に「アカウンタビリティ」というテーマも繰り返し議論されました。選挙や紛争地域のような高リスク文脈について、Lauraさんがその視点から論じてくれたとおりです。アカウンタビリティの上流シフト、すなわち責任を主としてモデル提供者、次に運用者の側に置くべきだという議論、そしてAI法とその条項がこの問題にどう取り組んだか、特に非合意的親密画像の生成禁止条項についても触れられました。これは原則として、適切な枠組みは「パイプライン責任モデル」だ、という考えを反映しています。
「相互運用性」も大きなテーマとして浮上しました。現在の標準における最大のギャップのひとつとして言及された言葉です。プロプライエタリなマーキング・ソリューションは断片化を生み出します。グローバル・ノースとグローバル・サウスの間にも、ツールやアプローチへのアクセスに格差があります。だからこそ、将来の標準として何が必要かを理解することが急務であり、それは異なるグローバル法域間で共有可能で、プラットフォームを横断し、異なる枠組みの中で相互運用可能な標準であるべきです。そうすれば、どの提供者がどんな種類のコンテンツを作ったかに関係なく、AI生成コンテンツを普遍的に検出できるようになります。
「プロベナンス」については、事後の検出ではなく、事前の概念として捉えるべきだ、という点も論じられました。メタデータとプロベナンス・シグナルは、コンテンツの出所を伝えるという意味で重要ですが、圧縮やプラットフォーム間共有の過程で剥ぎ取られてしまう可能性があります。だからこそ、政策は、コンテンツのライフサイクル全体を通じて存続する、機械可読で永続的なマーキングを保証する必要があります。
そして「メディア・リテラシー」について、これは私自身が大学で学生たちに教える際にも常に強調する、最も個人的に重要だと感じる要素のひとつですが、技術的解決策はあくまで答えの一部です。信頼を回復するには、公衆へのメディア・リテラシー教育も必要であり、UIレベルで可視的かつ執行可能なラベルを義務づけるとともに、公衆教育のキャンペーンも展開する必要があります。そうすることで人々は、特にソーシャルメディア・プラットフォーム上で多くのメディアを消費する状況において、人間生成とAI生成を区別できるようになります。すでにアルゴリズミックなコンテンツ推薦により、ソーシャルメディアのホームページで人々が目にするものに差異が生じている、という指摘もありました。
これらの主要な学びをもって、改めてすべてのパネリストの皆さんに感謝申し上げます。本日は、AIとメディアの真正性への信頼回復に向けた政策と革新的介入の特定の重要性について、専門知識と考察を私たちのオーディエンスと共有してくださり、ありがとうございました。それでは最後に、本セッションを締めくくる結びのメッセージを、私たちのアバター「Anna」に委ねたいと思います。本日のAI for Goodセッションへのご参加、誠にありがとうございました。