※本記事は、AI for Goodが主催したパネルディスカッション「Deepfakes for good or for bad」の内容を基に作成されています。本セッションには、以下のパネリストが登壇しました。Michaela Ternasky-Holland氏は、エミー賞を受賞し、ピーボディ賞にもノミネートされたイマーシブディレクターで、説得力のあるストーリーテリングと最先端のテクノロジーを融合させた作品を手がけています。Sam Gregory氏は、人々が映像とテクノロジーを駆使して人権を守り擁護するための活動を支援するグローバルな人権団体Witnessのエグゼクティブディレクターを務めています。また、本セッションには登壇予定でしたが当日参加が叶わなかったDan Neely氏(Vermillio社CEO兼創業者、コンテンツの来歴管理とAIを活用したメディア認証に取り組む)からのビデオメッセージも紹介されています。本セッションの動画は https://www.youtube.com/watch?v=sZnSWRDSBo4 でご覧いただけます。AI for Goodは、革新的なAI活用事例の発掘、スキルと標準の構築、そしてパートナーシップの推進を通じて、グローバルな課題の解決を目指す取り組みです。AI for GoodはITUによって主催され、50を超える国連パートナーと連携し、スイス政府との共催で開催されています。AI for Goodが運営するニューラルネットワーク・コミュニティプラットフォーム( https://aiforgood.itu.int/neural-network/ )は、AIによって支えられたネットワーキングの場であり、イノベーターや専門家とのつながりを築き、革新的なアイデアと社会的インパクトの機会を結びつけ、AIを活用してグローバルな課題を解決するためにコミュニティをつなぐことを目的としています。本記事では、パネルディスカッションの内容を要約しております。なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. セッションの導入と問題提起
1.1 AIによるメディアの再構築と情報エコシステムの劣化という課題提起
Moderator: 皆さん、こんにちは。本日はここまでAIがもたらす機会、そしてその恩恵について多くの議論を聞いてきました。その内容はいずれも非常に大きな意義を持つものであることは間違いありません。しかし、このセッションでは少し角度を変えて、AIが投げかける課題のほうに目を向けていきたいと思います。具体的には、AIがどのようにメディアを再構築し、情報エコシステムを劣化させ、そして現実とフィクションの境界線を曖昧にしているのか、という問題です。
ディープフェイクのコンテンツは、目を見張るような速度で増殖しています。そしてその精度が日に日に説得力を増していくにつれて、デジタルメディアやデジタルコンテンツに対する信頼をどう維持していくかという課題は、ますます深刻になってきています。しかしその一方で、AIツールは創造的な可能性を解き放ち、コンテンツ制作の民主化を進めているという側面もあります。少し言いにくい単語ですが、まさに「democratizing」、コンテンツ制作を誰の手にも届くものにしている、ということです。
今日の午後は、こうした二つの側面を踏まえて、クリエイティブ産業におけるAIの可能性をどう受け入れていくか、そして同時にメディア環境の完全性をどう守っていくか、その両立について探っていきたいと思います。AIによって生まれる新しい表現と、社会の信頼基盤を揺るがしかねないリスクは、決して切り離して論じることのできない、同じ硬貨の表と裏のような関係にあるのです。
1.2 登壇者紹介と本セッションの構成
Moderator: それでは、本日のパネリストをご紹介させてください。本来であれば三名にご登壇いただく予定でしたが、お一方は残念ながら本日ご一緒できなくなってしまいました。まずお一人目、Michaela Ternasky-Hollandさんです。彼女はエミー賞を受賞し、ピーボディ賞にもノミネートされたイマーシブディレクターで、説得力のあるストーリーテリングと最先端のテクノロジーを融合させた作品を手がけてこられました。
そしてお二人目は、Sam Gregoryさんです。彼はWitnessというグローバルな人権団体のエグゼクティブディレクターを務めておられ、この組織は人々が映像とテクノロジーを駆使して人権を守り擁護するための活動を世界中で支援しています。
本来であればもうお一方、Dan Neelyさんにもご参加いただく予定でした。彼はVermillioのCEO兼創業者で、コンテンツの来歴管理とAIを活用したメディア認証に取り組んでおられる方です。本日はご一緒できませんが、彼の取り組みを紹介する短い映像をこのあと上映する予定です。それではお二人とも、本日はようこそお越しくださいました。お二人がここにいてくださって本当に嬉しく思います。それではまず、お二人がどのような仕事をされているのか、聴衆の皆さんに少し背景をご紹介いただくところから始めたいと思います。Michaelaさん、ご自身のお仕事について簡単にお話しいただけますか。
2. Michaela Ternasky-Hollandの実践:イマーシブ作品とディープフェイク技術
2.1 活動領域の全体像と顔面義肢VRプロジェクトに見る「人間性」拡張の気づき
Michaela: ありがとうございます。スライドが出てきますので、こちらを向いたまま話すのも変ですから、少し立ち上がって脇に移動してご紹介させていただきますね。先ほど素敵なご紹介をいただきましたので、自己紹介は最小限に留めますが、私が特に取り組んできた領域として、エマージングテクノロジーを使った活動があります。具体的には拡張現実、バーチャルリアリティ、そして生成AIといった技術を使って映像作品やインスタレーションを制作してきました。博物館の展示も手がけてきましたし、イマーシブテクノロジーに関する研究も行ってきました。さらにジャーナリズムの分野でも仕事をしてきましたし、過去には国連のプロジェクトにも携わってきています。
本日は、私が制作するインスタレーションの中で、ディープフェイク技術や生成AI技術をどのように活用しているのかについてお話ししたいと思います。スライドをさかのぼってお見せしますが、まずは銃撃によって顔の一部を失った女性についてのVR作品からご紹介します。彼女は顔面義肢を装着して生活されており、その物語を伝えるために、私たちは独自のVRヘッドセットを制作しました。このヘッドセットは、装着者自身が顔面義肢を身につけながら体験できるように設計されたものです。スライドに映っているのは、実際にそのインスタレーションで義肢を装着してくださった方々の様子です。
なぜこの作品を本日の話の冒頭で持ち出したかというと、ディープフェイク技術について語るとき、私たちは「人間性とは何か」という理解を、デジタル技術がいかに拡張しうるかという話をしていることになるからです。しかし、私が伝えたいのは、その「人間性の拡張」というのはデジタル技術だけで成し得るものではなく、物理的なアセット、たとえば顔面義肢のような実体のあるものによっても同じように実現できる、ということなのです。技術と身体性の境界を考えるうえで、これは私にとって大事な出発点になっています。
2.2 生成AI作品「Morning Light」と「Kappa」:植民地接触以前のフィリピン先住民を描く試み
Michaela: 私が生成AIを使った制作を始めたとき、最初に手がけたのが「Morning Light」というプロジェクトでした。これはエマージングテクノロジーを活用して、参加者の茶葉占いを読み取り、ティーカップの中で起きている事象に基づいて占星術的なリーディングを返してくれる、というインスタレーションです。
続いて手がけたのが「Kappa」というプロジェクトで、こちらではディープフェイク技術を使って、フィリピンの先住民の島々の人々が、植民地接触を受ける前にはどのような姿をしていたのか、ということを可視化する試みを行いました。これは単に過去を再現するということではなく、フィリピン系アメリカ人としての自分自身の人生と、祖先たちの過去の人生との間に、どのようにつながりを生み出せるのか、という問いかけでもありました。
この作品では、SNSを利用するという仕掛けを取り入れて、ここに登場している人物たちが実在の人物ではないということを、観客にきちんと伝えるようにしました。具体的には、SNS上に存在する実在の人物の姿と、ディープフェイク技術で生成された人物とをコラボレーションのかたちで並置することによって、観客自身に「これは実在しない」ということを認識してもらう設計にしたのです。さらにこの作品では、フィリピン系アメリカ人がアメリカの歴史の中で確かに存在していたにもかかわらず、ドキュメンテーション、つまり記録として残されていないような空間に、彼らを描き出すという試みも行いました。歴史の中の不在を、生成技術によって埋め戻していくという発想です。
2.3 「The Great Debate」:大規模言語モデルで政治候補者を生成する対話型インスタレーションの実験
Michaela: そして最後にご紹介したいのが「The Great Debate」というプロジェクトです。これは今まさにプレイテストの段階にある作品で、ディープフェイク技術が人と人との結びつきにどのような役割を果たしうるのか、ということを実際に検証しています。「The Great Debate」はインタラクティブなインスタレーションで、大規模言語モデルを活用しています。世界各地で人々にプレイテストとデモンストレーションをしていただいているところです。
仕組みとしては、スライドに映っているGemini、Claude、ChatGPTという三つの大規模言語モデルそれぞれに基づいて、観客が政治候補者を生成できるようになっています。候補者の名前を決め、政治的な傾向を設定すると、それぞれの大規模言語モデルがその設定に基づいて候補者のバックストーリーを生成してくれる、というものです。
なぜこのような作品を作っているかというと、私たちは今、アメリカ合衆国において大統領選に立候補するということがどういうことなのかを問い直したいと考えているからです。同時に、観客に対しても、これらのLLMに対して非常に難しい質問を投げかけてもらう機会を提供したいと思っています。そして、それらのLLMがその質問に対してどう反応するのか、さらにLLM同士がお互いに対してどう反応するのか、ということを観察してもらうのです。たとえばスライドでは、AIガバナンスについてLLMに尋ねている場面が映っています。
ただし、現時点では観客に聞こえるのは音声だけです。ここで私たちが自問しているのは、もしこれらの候補者のディープフェイク映像を実際に観客に提示できたとしたら、何が起こるのだろうか、ということです。あるいは、ディープフェイク技術ではなく俳優を起用したとしたら、体験はどう変わるのだろうか。こうした問いを私たち自身に投げかけながら、まだ進行中の作品として制作を続けているところです。ありがとうございました。
3. Sam Gregoryの実践:Witnessとディープフェイクの現実
3.1 Witnessの活動と「Prepare, Don't Panic」イニシアチブの位置づけ
Sam: ありがとうございます、Michaela。私もこのセッションに登壇させていただけることを光栄に思います。私はSam Gregoryと申しまして、人権とテクノロジーのネットワークであるWitnessのエグゼクティブディレクターを務めています。私のスライドもそろそろ出てくるはずです、うまく表示されることを祈りつつ。はい、ありがとうございます、出てきましたね。
Witnessは人権ネットワークで、世界中のジャーナリストや人権擁護者と一緒に仕事をしています。当然のことながら、私たちが共に活動している人々は、自分たちが作り出す情報にどう信頼を持ってもらうか、ということに非常に大きな比重を置いています。彼らは言ってみれば炭鉱のカナリアのような存在で、社会の他の人々がこれから直面することになる問題を、いち早く経験している人たちなのです。
そこで私たちは7年前に「Prepare, Don't Panic」、つまり「パニックを起こすのではなく備える」というイニシアチブを立ち上げました。このイニシアチブが基盤としているのは、AIエコシステムをどう構築するかという問いに対して、最も脆弱な立場にある人々のニーズと要求、そして人権という価値観に立脚すべきだ、という考え方です。早い段階から備えることに焦点を当ててきました。私たちはこれまでに、選挙の文脈でAIを見抜くトレーニングを提供することから、真正性、来歴証明、そして検出のための技術やインフラ、そしてそれらを取り巻く規制に関する取り組みまで、幅広く活動を行ってきています。
3.2 「Deepfakes Rapid Response Force」と音声三事例が示す現実世界の複雑さ
Sam: 今日は、過去18ヶ月間にわたって私たちが取り組んできた一つの活動について、世界におけるディープフェイクの現状を象徴するものとしてお話ししたいと思います。私たちは「Deepfakes Rapid Response Force」、ディープフェイク迅速対応部隊と呼ばれる仕組みを運営しています。これは現地のジャーナリストや人権擁護者、ファクトチェッカーが、議論を呼んでいるディープフェイクと思われる素材、あるいは実際には本物でありながらディープフェイクだと主張されている素材を、メディアフォレンジックの専門家に共有してフィードバックを受けられるようにする仕組みです。
ここではまず、私たちが扱った三つの音声ケースについてお話ししたいと思います。これらが現実世界の複雑さをよく示しているからです。一つ目のケースでは、ある政治家が有権者のことを「だまされやすい」と呼び、彼らに嘘をつくよう促していたという音声がありました。これは結果として本物であると証明されました。二つ目のケースは、軍の指導者が民間人への爆撃を命じた無線通信の音声で、これについては本物か偽物かを証明することができませんでした。そして三つ目のケースは、ある政治家が、公に流出した自分の録音をAIによって作られたものだと主張して退けたというものでしたが、実際にはそれは本物だったのです。
ここに、私たちが現実世界で目にしているケースのバリエーションがすべて表れています。本物が偽造されているケース、現実が偽物として退けられているケース、そして真偽の判定ができないケース、この三つです。ここで一つ強調しておきたいのは、英語以外の言語を扱っているとき、現実世界のフォーマットを相手にしているとき、そしてそれらの解析モデルの訓練に使われたデータセットに代表されていない人々を扱っているとき、つまりグローバルな大半のシナリオにおいては、真偽を証明することがさらに困難になるということです。世界は本当に厄介で雑然としているのです。
3.3 ディープフェイクの形態多様化、リアリズム向上、ピカチュウ事例に見る多層化問題
Sam: 先ほどは音声を例に挙げましたが、現実には今、私たちは非常に幅広い種類のディープフェイクと向き合っています。スライドの左上にあるのは画像から動画までの例です。誰かの口の動きと言葉を偽造する伝統的なディープフェイクもあります。そして左下にあるのは、Google Veoのようなツールで現在起きていることで、音声と映像を完全に同期させたうえで丸ごと偽造できるようになっているのです。さらに右下のケースですが、これは検出器の結果に人々が混乱させられている事例です。ある画像をAIによるものだと思って公開されている検出器に入れたところ、検出器はそれをAIだと判定したのですが、それでも結局人々は混乱してしまったのです。実際にはそれはAIではなく、粗悪な偽造であったということが後でわかりました。彼らが思っていたものとは違っていたのです。
それからもう一つ強調しておきたいのは、リアリズム、つまり本物らしさが急速に高まり続けているということです。ここでは人権関連の例ではなく、皆さんもご存じかもしれない「Will Smithがスパゲッティを食べる」というベンチマーク映像をお見せします。これを見ると、AI動画が2023年から2024年、2025年、そして先ほど触れたGoogleのモデルによる最新版に至るまで、どれほど飛躍的に進化してきたかがわかります。
最後にお話ししたいのが、何が本物で何が偽物かを証明しようとするとき、現実世界がいかに混乱しているかという話です。スライドにあるのは、抗議活動を駆け抜けるピカチュウの映像です。これはまず本物の実写映像でした。次に誰かがその実写を元にして、抗議活動の中のピカチュウや、ピカチュウとジョーカー、バットマンが一緒に抗議に参加しているというAI生成画像を作りました。それらはAIによって生成された画像です。そしてさらに別の誰かが、そのAI生成画像をもとにして、警官から逃げるピカチュウの画像を作り、それを元にAI生成の動画まで作ってしまったのです。
つまりここに何層もの加工が積み重なっているということです。そして考えてみてください、これが何を意味するのかを。最も切迫した状況において、私たちはいったいどのように真偽を証明し、そしてどのようにそれと向き合っていけばよいのか、という非常に重い問いを、この事例は突きつけているのです。ありがとうございました。
4. Dan Neely(Vermillio)のビデオメッセージ
4.1 Vermillio社の理念と「Trace ID」の実証事例
Moderator: ありがとうございました、Sam。それではここで、Danさんの会社であるVermillioからのビデオを上映したいと思います。彼はクリエイターやブランド、プラットフォームと協力して、生成メディアの時代においてデジタルコンテンツが信頼されうるものであり続けるよう取り組んでこられた方です。それでは映像をお願いします。
Dan: こんにちは、私はDan Neelyと申します。Vermillioの最高経営責任者を務めており、AIの分野で20年以上の経験を持つシリアルアントレプレナーでもあります。AI領域で最も影響力のある声の一人として、Time誌の「Time 100」の受賞者に選ばれたことを光栄に思っています。本日、皆様のいらっしゃる会場に直接お伺いできないことを大変申し訳なく思っています。
Vermillioでは、AIがアーティストの権利と整合し、それを尊重するものとなるよう尽力しています。私たちは、人類がAIの時代において繁栄すべきだと信じており、だからこそ生成インターネットのための不可欠なガードレールを構築しているのです。そのガードレールの一つが「Trace ID」と呼ばれるものです。
私たちはこれまでに、Pocket Watch、Sony Pictures、そしてSony Musicとのパートナーシップを通じて、Trace IDの実力を検証してきました。私たちのプラットフォームは、スーパーヒーローのキャラクターからスパイダーソナサーに至るまで、何百万件にも及ぶAI生成のアウトプットを追跡してきました。特に重要なのは、Sony Musicと組んで、メジャーレーベルとして初の倫理的かつ正規に許諾されたリミックスアプリケーションを生み出したことです。Trace IDは何千時間もの生成音楽を追跡し、それらの派生コンテンツがインターネット上のどこに存在していても識別できることを証明しました。
現在は音楽レーベルとさらに緊密に連携しながら、アーティストの作品を高い精度で識別する取り組みを続けています。業界向けのテストでは、マスター音源、生成AIによるトラック、そしてAIによって加工されたトラックを含むデータセットを使用しました。これによって、AI音楽がウェブ上のどこに現れたか、そしてどのAIプラットフォームによって作られたものなのかを、正確かつ高精度に識別できるということを示すことができたのです。
4.2 個人向けTrace IDの無償提供発表とAI for Good Summitでの公開意義
Dan: ここで、AIの責任ある活用を重んじるこのコミュニティの皆様に、ぜひ共有させていただきたい大切なお知らせがあります。Vermillioでは、生成AIがますます広く普及していく中で、皆様のような個々の方々をどう力づけていけるか、ということを真剣に考え続けてきました。そしてその結論として、私たちが提供するプレミアムなAI保護ツールである「Trace ID」を、世界中の個人の方々に対して無償で開放することを決定いたしました。
ディープフェイク詐欺の増加、AIによって生成された偽情報の拡散、そして個人の肖像の無断利用に対する懸念が高まっている今、自身のアイデンティティを守るためのツールへのアクセスが制限されているべきではない、と私たちは考えています。Trace IDは、許可されていないコンテンツを検出して削除すること、そして自分の名前、画像、肖像がAIシステムの中でどのように使われているのかを取り戻し、コントロールを取り戻すことを助けるツールです。
AI for Good Summitは、この新しい章を開くのに最もふさわしい場所だと思っています。AIが一部の人だけではなく、すべての人のために役立つにはどうすればよいのか、というグローバルな会話の一部に加われることを私たちは誇りに思っています。今回の決定は、この新しい時代を皆さんが自信を持って航海していけるよう、そのためのツールを誰もが手にできるようにするための、意義ある第一歩だと考えています。ぜひこちらのQRコードをご利用いただき、ご自身を守るためのお手続きを進めていただければと思います。
5. パネルディスカッション:ディープフェイクが現在もたらす脅威
5.1 最大の脅威としての非合意性的AI画像と政治的偽情報の現状評価
Moderator: それでは、ここから対話に入っていきたいと思います。マイクが入っているか確認しますね。聞こえているようでしたら、皆さんにも届いていると思います。素晴らしい。それではSamさん、まずあなたから始めてもよろしいでしょうか。先ほどの非常に印象的なプレゼンテーションを拝見して、正直に言って衝撃的な部分も多かったです。お見せいただいた画像の数々を踏まえてお伺いしたいのですが、今日のディープフェイクをめぐる最大の脅威は何だとお考えですか。政治的な偽情報なのか、アイデンティティの悪用なのか、あるいは事実に基づく意思決定そのものの侵食なのか、それとも何か別のことなのか。
Sam: 結論から言えば、そのすべてだと思います。そしてそれは、誰が影響を受けているのかによっても変わってきます。今、私たちが目にしている中で最も明確かつ広範に広がっている脅威は、合意のないAI生成の性的画像が、女性たちに対して共有されているという現象です。これは本当に蔓延していて、だからこそまずここから着手しなければならないと考えています。
政治的偽情報という文脈でディープフェイクがどう使われているかについては、私たちは昨年のあの選挙集中年を通じて、そして今もなお、先ほどお話しした「Deepfakes Rapid Response Force」を運営し続けてきました。そこから見えてくるのは、ディープフェイクの使用は着実に右肩上がりで増加しているということ、そしてそれを検出する、あるいは日常的なコンテンツにAIが使われていることを示すツールが、その増加に追いついていない、ということです。
ただし、まだ悪夢のシナリオには至っていません。政治的な文脈でディープフェイクが選挙を不安定化させているという状況は、現時点では起きていません。しかし起きているのは、現実そっくりに見える合成コンテンツを作り出す能力、そしてそれを武器化する能力と、何かが本物であると証明する能力、何かが合成されたものであると示す能力、この両者の格差が広がり続けているということなのです。
5.2 合成コンテンツ作成能力と真偽証明能力の乖離拡大という構造的問題
Sam: ここで強調しておきたいのは、何かが合成されたからといって、それが本質的に悪である、というわけではないということです。そうではなく、私たちに必要な解決策が二つあって、それが揃っていないことが問題なのです。
私たちが取り組んでいるのは、まず一つは検出の場面です。これは先ほどの事例で説明したような状況のことです。現時点では、これらの検出ツールは、それを最も必要としている人々のもとには届いておらず、そしてその人々のために作られてもいません。もう一つの解決策の領域は、いわゆる「プロビナンス」、来歴証明と呼ばれるもので、これは要するに、一つのメディア作品の中でAIと人間がどのように混ざり合っているのか、その「レシピ」を示す方法のことを指しています。しかし、この技術もまだ十分に普及しているとは言えません。
つまり、数年後に到来するかもしれない政治的偽情報の危機に対して、私たちが反撃するために必要な解決策が、いずれも今のところ手元にない、というのが現状なのです。作る側の能力だけがどんどん前に進んでいき、それを検証する側の能力が決定的に遅れをとっている。この構造的な乖離こそが、ディープフェイクが今もたらしている本質的な脅威であり、現在の最も切迫した課題だと私は考えています。
6. 検出技術とプロビナンス(来歴証明)の現状
6.1 検出ツールが最も必要とする人々に届いていない現実
Moderator: 続けてお聞きしたいのですが、プロビナンスの問題について、合成メディアが明らかに大きく増加しているのであれば、なぜプロビナンス技術、ウォーターマーキングといったものでも何でも構いませんが、なぜそれらがその増加のペースに追いつけないのでしょうか。なぜそれが難しいのか、理由を聞かせていただけますか。
Sam: その問いに入る前に、検出の側の状況についても少し補足させてください。先ほどお話ししたように、私たちが運営している「Deepfakes Rapid Response Force」のような取り組みを通じて見えてきたのは、検出ツールはあるにはあるのですが、それを最も必要としている現場の人々、たとえば現地のジャーナリストや人権擁護者、ファクトチェッカーたちが、実際にはアクセスできない、という現実です。そして、それらのツールが、そもそも彼らのために設計されていないということが大きな問題なのです。
検出というのは、本来であれば誰もが日常的に使えるべき防衛手段のはずですが、今の段階では非常に高度な専門性が要求されますし、そして決して万能ではなく誤判定もあります。だからこそ私たちは、検出だけに頼るわけにはいかず、もう一つの解決策であるプロビナンスを並行して整備していかなければならないのです。
6.2 プロビナンスの概念と技術的・概念的困難、99%の無害利用との関係
Sam: さて、プロビナンス技術の核心にあるのは、あるコンテンツの中でAIと人間がどう混ざり合っているのか、その「レシピ」を示す、という発想です。現在推進されているアプローチの多くは、ここITUでもAMASというイニシアチブの中で主導的な取り組みが行われていますが、メタデータを埋め込み、それをウォーターマークと結びつけ、さらに指紋情報と紐づけることで、コンテンツがインターネット上を移動していっても情報が耐久的に保持されるようにする、というものです。
ただ、これは本当に難しいことなのです。コンテンツとともにインターネット中を移動し続けてくれて、しかも主要な商用プラットフォームとオープンソースのプラットフォームの間で相互運用可能なかたちで機能してくれる、そのような仕組みを見つけることは、技術的に大きな挑戦です。そしてもう一つ忘れてはならないのは、それをプライバシーを保護するかたちで実現できるかどうか、です。新たな監視の手段を生み出してしまわないこと、たとえばAIツールを使ったという事実に、本人のアイデンティティを恣意的に紐づけてしまわないこと、こうしたことが大切なのです。
つまり、これを正しく実現することは、概念的にも難しく、技術的にも難しい。けれども、本当に重要なことなのです。なぜなら、先ほど見ていただいたように、検出の側は非常に困難であり、専門知識を要求し、しかも誤りうるものだからです。だからこそ、私たちは広く普及していて、人々が手に取れて、そして私たちが生きているこの世界のために実際に機能してくれるプロビナンスの解決策を必要としているのです。
ここで重要な視点を一つ加えさせてください。プロビナンスが私たちに伝えてくれることの99パーセントは、「これがAIで作られていることを気にする必要はありませんよ」というメッセージになるはずです。なぜなら、それは楽しみのためのものだったり、日常のコミュニケーションだったり、エンターテイメントだったりするからで、悪意のあるものでも欺瞞的なものでもないからです。だからこそプロビナンスは意味を持つのです。心配しなければならないものと、AIがあらゆるところに組み込まれている私たちの日常そのものでしかないものを、選り分けるための仕組みを与えてくれるからです。
7. 創造産業における生成AIとIP問題
7.1 クローズドソースとオープンソースの構造的理解とアーティストプログラムの実態
Moderator: その「気にしなくてよい90パーセント」のコンテンツの話には、後でもう一度戻りたいと思います。ただその前にMichaelaさん、あなたにもお聞きしたいことがあります。Samさんは事実に基づく情報の劣化についてお話しくださいましたが、AIがクリエイティブ産業を壊滅させてしまうのではないか、という懸念も別途あります。Soraを実際に使ってこられたあなたの立場から、Soraのような生成AIツールが、アートやクリエイティブ産業における作家性、そして創作のコントロールという境界線を、どのようにずらしつつあると感じておられますか。
Michaela: とても良い質問ですね。Soraに限らず、世に出ている他のツールにも当てはまる話ですが、まず大きなポイントとして押さえておきたいのは、オープンソースとクローズドソースの間には大きな違いがあるということです。クローズドソースの素材、あるいはクローズドソースのプラットフォーム、つまりお金を払って使うもの、あるいは今は破格に安く提供されているけれども、間違いなく時間の経過とともに値上がりしていくであろうもの、こうしたものは結局、Google、Meta、OpenAIといった企業が運営するクローズドな仕組みなのです。
ですから、その仕組みに対してあなたが何かを差し出すとき、たとえばあなたがChatGPTのために自分の声をライターとして差し出すときも、あるいはコンセプトアーティストとして動画生成のために自分の絵を差し出すときも、結局その差し出したものすべてが、彼らのクローズドな仕組みの中に取り込まれ、再びそこに組み込まれていくことになります。
それに対してオープンソースの側、たとえばComfyUIやHugging Faceといったプラットフォームは、製品が必ずしも「対価を支払う」ものである必要はない、という発想に立っています。本来、インターネットというのは民主化された開かれた空間なのだから、簡単にアクセスできるべきものに対価を払わせる理由などない、という考え方です。
ですから、もしあなたがクリエイターとしてこの領域に踏み込んでいくのであれば、自分自身にこう問いかける必要があります。簡単で手軽だから、そして使う文脈にとって理にかなっているからクローズドソースを使うのか、それとも自分のデータと知的財産を本気で守りたいから、よりオープンソース寄りのルートを行くのか、ということです。それから、もう一つ言っておきたいのですが、こうしたクローズドソースのプラットフォームの多くがクリエイタープログラムやディレクタープログラム、アーティストプログラムを提供しています。誰もまだ触ったことのないアルファ版やベータ版のすごいツールに、自分だけが特別にアクセスできるように見えるかもしれません。しかし現実には、彼らはあなたをシンクタンクとして、ブレイントラストとして利用しているのです。
7.2 Soraアルファプログラムでのペーパークラフト作風ボタン化体験
Michaela: 私自身がSoraで取り組んだ作品も、今では一般公開された製品の中で、プリセットとしてボタン一つで呼び出せるかたちに実装されています。そして現時点で私は、知らないうちに自分が作り上げる手助けをしたそのボタンから、何の対価も受け取っていません。ですから、クリエイターでいるということと、こうしたテック企業が創作ツールにじわじわと侵食してくるということの間には、非常に現実的な摩擦があるのです。
Moderator: あなたがプラットフォームに知的財産を持っていかれて、何の対価も得られないという状況に、それでもなお納得しておられるという事実に、私は強く惹かれます。あなたの中で、それはこのツールが社会的インパクトを生み出す力を与えてくれるからなのでしょうか。つまり、知的財産の窃取を上回るような恩恵があるということなのでしょうか。お聞きしたいのは、そこにビジネスモデルはあるのか、ということです。世界で最も強大な企業のいくつかがあなたのコンテンツを盗んでいる状況の中で、あなたはどうやって社会善の領域での仕事を続けていけるのか、ということです。
Michaela: はい、お答えしますね。そのボタンの背景にあった文脈をお話しすると、私はアルファプログラムのアーティストでして、当時その製品はまだ一般には公開されていなかったのです。ですから私は自発的にその製品を使って、社会的インパクトを生み出すストーリーを制作していました。ただ、何かしらの形で利用される可能性はあるという認識のうえで関わっていたのです。
向こうのやり方は、私をZoomコールに招いて「新しいボタンができたのに気づきましたか、あなたのアートスタイルの一つから着想を得たんですよ」と言ってくる、というものでした。ただし、私のアートスタイル自体は知的財産ではありません。スタイル自体はペーパークラフトアニメーションという、よく知られた手法ですから。けれども彼らは、そのアートスタイルが観客に届くうえでどれほど成功していたかを見て、それを実際の製品のボタンとして組み込むことに決めたのです。
7.3 IPと収益モデルへの認識、「AIは神ではなくインターン」という創造的協働のリアル
Michaela: ですから、その文脈は厳密に言えば私の直接的な知的財産そのものではないのです。それでもなおこの話を皆さんの前でする理由は、他のクリエイターの方々に対して、こういうことが起こりうる、こうしたアルファ版やベータ版のプログラムに参加するとこういうことが起こりうるのだ、と警告したいからです。
その一方で、コインの裏面の話として、私の知的財産にまつわるグレーな領域は、いまだに裁判所での審議の真っ最中だということがあります。なぜなら、裁判所が最終的にたどり着く判断として、合成されたものには所有権としての知的財産が一切認められない、という結論になる可能性もあるからです。それでも私は自覚を持ったうえで、進んでそうしたグレーゾーンに身を置いています。なぜなら、私の収入源はクライアントワークや助成金から来ているからで、必ずしも自分の知的財産のライセンスから収入を得ているわけではないのです。これは他の方々のプロセスやビジネスモデルとは少し異なる立ち位置かもしれません。
Moderator: わかりました。先ほどMark Brennoffさんもおっしゃっていましたが、法律はいずれこうした企業に追いつくでしょう、まあ様子を見ましょうか。
Michaela: 創造的な協働という観点から、もう少し補足させてください。クローズドソースのプラットフォームには確かに搾取的な側面もありますが、もう一方では本当に力を与えてくれるものでもあり、視野を広げてくれるものでもあります。まず最初にすべきことは、とにかく触ってみること、そして自分自身でその限界がどこにあるのかを見極めていくことだと思います。なぜなら、LinkedInやこうしたツールのマーケティング側で目にするコンテンツは、いつも「これまでで最大の、最高の、最良の」みたいな話ばかりなのですが、それは実際のところ、私や私のチームのような人間が、本当に単純なことすらうまくできない壁に何百時間も何千時間もぶつかってきた、その姿を見せてはくれないからです。
ですから私はよくこう言うのです。「AIは神というよりインターンに近い」と。これはあなたが本当に一緒に作業しながら、「あ、これはあなたにはできないんだね」と言ってあげなければならないような、そういう仕組みなのです。ですから私たちはクリエイティブなアイデアの方を逆に修正しなければなりませんし、ストーリーテリングの組み立てそのものをこちらの形に合わせて変えなければなりません。AIが「できます」と謳っているところの不足分を、結局私たちが拾わなければいけないからです。これは創作の現場の舞台裏で頻繁に起きていることです。
ただ同時に、こうしたツールのおかげで、これまでの予算規模では到底実現できなかったことが実現できるようになっているのも事実です。中には善のために語られるストーリーもありますし、強い影響力を持つストーリーもあります。そして合成メディアを使って作られたものであっても、コミュニティの中で素晴らしい共鳴を呼び起こすストーリーがあるのです。もちろん反対側にある危険もあって、それはハンマーの危険と同じです。ハンマーは家を建てることもできますが、非常に暴力的な使われ方もしうるものです。クリエイティブ産業の中でこれらのツールを使っていく際には、こうした両義性を私たちは考えていかなければならないのです。
8. 政策と規制のギャップ:4つの不足要素
8.1 責任パイプラインとプロビナンス規制の必要性
Moderator: その話を踏まえてSamさん、あなたに戻りたいと思います。アメリカでは、ソーシャルメディアをめぐる大手テック企業との取り組みにおいて、立法府が完全に機能不全に陥っているのは明らかです。ヨーロッパではまだましかもしれませんが、アメリカについて言えば、いったいこれまで何回議会公聴会が開かれてきたのか。私の感覚では、現時点で9回くらいに達しているはずですが、それでも実質的な法整備は何一つ進んでいません。Michaelaさんがメディアの最前線で語ってくれた状況、つまりこうした企業によってコンテンツが常にスクレイピングされ続けている中で、私たち自身が機能し続けられるのだろうかという問いを、私はずっと考えています。あなたの視点から見て、ディープフェイクをめぐるグローバルな政策あるいは規制において、緊急に対処すべきと感じているギャップはどこにあるでしょうか。そして、この会場にいる人々が立法府に圧力をかけるために何ができるでしょうか。
Sam: ソーシャルメディアの類比は、私たちが共に活動している人々にとって本当にリアルなものです。彼らはあのときの意思決定から完全に締め出されたと感じてきました。だからこそ私たちはAIに取り組んでいるのです。私の見立てでは、必要な要素として欠けているものが4つあります。これらが揃わなければ前に進むことはできません。
一つ目は、AIをどう捉えるかについての「責任のパイプライン」が、エコシステム全体を貫いて流れている必要があるということです。これはモデルを作る者から、それを展開する者、ツールを提供する者、そして最終的な利用者に至るまで、すべてを貫くものでなければなりません。プーファージャケットを着た教皇の画像を見抜けなかった責任を、あなたや私個人に押し付けるわけにはいきません。先ほどお見せしたリアリズムの向上が示しているとおり、本物らしさは今後も増し続けていくのですから、責任の所在を末端の個人に求めるのは現実的ではないのです。
そして二つ目として、その責任のパイプラインは、堅牢なプロビナンスのシステムと結びついている必要があります。AIが私たちのコンテンツやコミュニケーションの中で使われているとき、そのことが私たちに分かるようになっていて、それが悪意を持って使われているのか、あるいは欺くために使われているのか、自分自身で判断できるようになっていなければなりません。そしてそれが規制によって担保されている必要がありますが、同時に人権、表現の自由、プライバシーといった権利を守るかたちでなければなりません。
8.2 検出技術へのグローバルな資源投下とレッドライン設定の必要性
Sam: 三つ目として必要なのは、検出技術へのアクセスです。なぜなら、人々は必ずセーフガードをかいくぐろうとするからです。だからこそ、私たちはここに資源を投入しなければなりません。しかもそれは、私たちが実際に生きている現実の世界のために、そしてすべての人々のために投入されなければなりません。グローバルノースの少数の人々のためだけ、率直に言えばグローバルノースのニュース産業のためだけ、というのではいけないのです。先ほどお話ししたように、英語以外の言語、グローバルな現場のフォーマット、データセットに代表されていない人々を相手にする場面でこそ、検出は最も困難になります。だからこそ、最も困難な領域にこそ資源を行き渡らせる必要があるのです。
そして四つ目、最後に必要なのは、何が許容されないのかについて、私たちが明確に「レッドライン」を引くということです。良い例として、合意なくAIで生成された性的画像があります。これは今や学校から政治家の生活への攻撃に至るまで、あらゆるところに浸透してしまっています。こうしたものは、明らかに管理可能であり回避可能であるはずなのに、現状では野放しになっているのです。違法であって然るべきです。
この4つが揃えば、信頼したいものを信頼できるコミュニケーションの未来について、私たちは初めて考え始めることができます。AIで遊びたいときには遊ぶことができ、そして同時に、明らかに防げるはずの被害は防ぐことができる、そういう未来です。
Moderator: これがグローバルにすぐ、ここ数年のうちに展開されるという見通しについて、どれくらい楽観的でいられますか。
Sam: たとえ不完全であっても、ここ数年の間にシステムを展開することができれば、私たちは可能な被害を減らすことができますし、そして同時にAIがもたらしうる可能性、つまり創造性やストーリーテリング、さらにはニュースメディアにおいてもAIがより広く使われていくという可能性を、実現し始めることができると思います。ただしそれは、これらのセーフガードを実際に整備した場合に限ります。完璧を待つのではなく、不完全でも整備に踏み出すこと、それが現実的な前進の条件なのです。
9. 5年後の未来:オンラインで見るものを信頼できるか
9.1 Sam Gregoryの見通し:プロビナンス、教育、報道機関、AIエージェントの組み合わせと懐疑主義への警告
Moderator: それでは、お二人への最後の質問です。Samさん、まずあなたからお聞きしてもよろしいでしょうか。5年後の未来を見据えてみてください。私たちはオンラインで目にするものを信頼できるようになっているでしょうか、それともそうではないでしょうか。Samさん、ご意見をお聞かせください。
Sam: 私は、私たちがオンラインで見るものを信頼できるようになっていると考えています。ただしそれは、信頼できるようにするための仕組みを、私たちが手をかけて整備した場合に限られます。具体的には、プロビナンスのような技術的な仕組みであり、人々がAIを理解することを助ける教育のシステムであり、そしてそれを支えるニュースメディアのような機関です。
加えて、AIそのものをこの仕分けに使えるようになるかもしれません。すべてのファイルのメタデータを一人ひとりが眺めるなどということを、私は誰にも期待していません。けれども5年後には、AIエージェントが「100件の情報の99件は気にしなくていいですよ、でもこの1件は怪しいです、その理由を説明します」と教えてくれるようになっていてほしいと願っています。
こうした仕組みを整えることができれば、私たちは信頼の足場を取り戻していけると思います。ただし、人々が見るものを素朴にそのまま信じ込んでよい、と言っているのではありません。一方で、視覚的な証拠に依存している人権専門家として、私が世界の中で最も避けたいと思っていることがあります。それは、人々があらゆるものに対して懐疑的になってしまうことです。なぜなら、その態度はあらゆるものを腐食させてしまいますし、そして権力を持つ者たちによって悪用されることになるからです。本物の証拠まで「どうせ偽物だろう」と片付けられてしまう世界こそが、最も危険なのです。
9.2 Michaela Ternasky-Hollandの見通し:言語の拡張、核軍拡アナロジー、ライセンシングと検出技術への提言
Moderator: その通りですね。それではMichaelaさん、お願いします。5年後、私たちはオンラインで見るものを信頼できるようになっているでしょうか。
Michaela: まずは、こうしたものについて私たちがどう語るのか、その語り方そのものから始まるのではないかと思います。私たちは「真実」「フィクション」「ノンフィクション」といった言葉を使って物事を考えてきました。けれども現実には、合成メディアによって、それらすべてがブレンダーにかけられたうえで、私たちのところに送り出されてくる、そういう時代になっていくのではないかと思っています。
舞台裏で話していたことなのですが、私たちはかつて「ランドライン」と呼んでいたものを、今は「モバイル」と呼ぶようになり、さらに「セルフォン」と呼ぶようにもなりました。ですから私の希望は、「真実」をめぐる私たちの語彙も同じように拡張していってほしい、ということです。たとえば「人間によって検証されたコンテンツ」、あるいは「人間が捉えたものとして検証されたアセットで、改ざんの形跡が一切ないもの」と、「合成メディア」とを、区別して呼べるようになる、というように。そして、そうした区別をヒートマップのような形で可視化できるようになれば、なお良いと思います。
そして、これは核兵器の軍拡競争と似た構図だとも思っています。私たちは世界に多くの害をもたらしうる技術を作り出してきましたが、それと同時に、その兵器を無力化するための素晴らしい技術もまた作り出すことができるのです。ディープフェイク技術についても同じことが言えると思います。私たちは世界に多くの害をもたらしうるこれらの技術を急速に生み出していますが、それと同時に、そうした害と戦い始め、偽情報を生み出す力や、「オンラインで見るものを何ひとつ信頼できない」という絶望感を生み出す力を、無力化するための技術もまた、急速に作り出していくことができるのです。
そしてこのことは、この領域における公平性、そしてお金の流れ方とも深く結びついています。少しビジネスモデルの話に戻りますが、私たちはトレーニングデータをすべてライセンス化していくべきだと思っています。生成AIに何かが引き込まれ、それがアウトプットとして書き出されるとき、引き込まれた組織や創造的なアーティストたちのもとに、その使用に伴って少しずつでもお金が戻っていく必要があります。あなたの知的財産が生成AIによって完全には守られなかったとしても、もしそれがトレーニングデータの中で、書き出しのプロセスの中で、そして受け取られる回答の中で使われているのであれば、そのお金があなたのもとに戻ってくる仕組みが必要なのです。お金の流れる仕組みをより良いものにできれば、私たちは、こうした問題に立ち向かう技術を作り出すための、より良い仕組みを作っていくことができます。
そしてこの領域で私自身が警告を受けてきたことの一つに、「生成AIに対抗するために生成AIを使ってはいけない」というものがあります。他の仕組み、他の方法論、他の技術を試すべきだ、ということです。ですから、もしどなたかが「素晴らしい検出器を見つけた」と思ったとしたら、ぜひバックエンドを覗いてみてください。それがAIでAIを検出する仕組みになっていないか、確認してみてほしいのです。もしそうであれば、それは今後2か月の間に最も信頼できる仕組みであるとは限りません。たった一回のアップデートでシステム全体が壊れてしまう可能性があるからです。だからこそ、別の種類の技術、たとえば数学的な技術やブロックチェーンの技術といった、私たちが今目にしているような急速なソフトウェアやハードウェア、プラットフォームのアップデートの中で過渡的に変化しないものを、ぜひ探してみてほしいのです。
10. クロージング:聴衆へのエージェンシーの呼びかけ
Moderator: お二人とも、このように思慮深く、そして本当に貴重なお話をしてくださって、心から感謝しています。私がこの対話の中で特に良かったと感じているのは、お二人がそれぞれ、私たちが前進していくための非常に明確で、実用的で、具体的な道筋を示してくださった、ということです。Samさんは、責任のパイプライン、プロビナンスのシステム、検出技術への資源投下、そしてレッドラインの設定という、政策面での4つの不足要素を整理してくださいました。そしてMichaelaさんは、クリエイターとしての実感からトレーニングデータのライセンシングの必要性を訴え、さらに「生成AIで生成AIを検出するな」という、技術選択における具体的な警告まで踏み込んで提示してくださいました。いずれも、抽象的な理念にとどまらず、明日からどう動いていけばよいのかという問いに対する、はっきりとした手がかりだったと思います。
そして締めくくりとして、皆さんにお伝えしたいことがあります。それは、この会場にいらっしゃる一人ひとりが、エージェンシー、つまり自分自身の働きかけによって状況を動かしていく力を持っているのだ、ということです。私たちがこのテクノロジーをどう使っていくのかを定めるルールは、まさにこの瞬間に決められつつあります。本日Samさんが触れてくださったソーシャルメディア規制の歴史を思い返してみてください。あのときの意思決定から、最も影響を受ける人々が完全に締め出されてしまった、という反省があります。同じことを、AIとディープフェイクをめぐる議論において繰り返してはいけないのです。
ですからどうか、皆さん自身が議論に参加してください。そして、ここでSamさんとMichaelaさんがしてくださっているような対話を、ぜひこれからも追いかけ続けていただければと思います。本当にありがとうございました。
Sam: ありがとうございました。
Michaela: ありがとうございました。
Moderator: お二人とも、本当にありがとうございました。