※本記事は、The ACM Web Conference 2026におけるKatrina Ligett氏(ヘブライ大学エルサレム校)によるキーノート講演「Data Degrades with Use」の内容を基に作成されています。Ligett氏はヘブライ大学エルサレム校のコンピュータサイエンス教授であり、学際的なFederman Center for the Study of Rationalityのディレクターを務めています。データプライバシーとアルゴリズミックフェアネスの分野において理論的基盤と可能性についての理解を前進させてきた研究者であり、ヘブライ大学着任以前はCaltechで教鞭を執り、Carnegie Mellon Universityで博士号を取得、Cornell Universityでポスドクフェローシップを修了しています。動画の詳細情報は https://www.youtube.com/watch?v=uNmbJeScMiM でご覧いただけます。本記事では、講演および質疑応答の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演映像をご視聴いただくことをお勧めいたします。
1. 導入:データについての通念と本講演の問い
1.1 データファイアホースという通念
司会者： 本会議最初のキーノートスピーカーとして、Katrina Ligett氏をご紹介できることを大変嬉しく思います。Ligettさんはヘブライ大学エルサレム校のコンピュータサイエンス教授であり、学際的なFederman Center for the Study of Rationalityのディレクターも務めていらっしゃいます。彼女の研究は、コンピュータサイエンスに経済学や法学の知見を組み合わせながら、データの良い責任ある使い方を探求するものです。データプライバシーとアルゴリズミックフェアネスという両分野において、理論的基盤と可能性についての理解を大きく前進させてこられました。経歴について少しお話ししますと、ヘブライ大学に着任される前はCaltechで教鞭を執られ、博士号はCarnegie Mellon Universityで取得、Cornell Universityでポスドクフェローシップを修了されています。最近ではERC Consolidator Grantを含む数々の栄誉を受けておられます。それでは、「Data Degrades with Use」と題されたキーノートを、Ligettさんにお願いしたいと思います。
Ligett： ありがとうございます、素晴らしいご紹介をいただきました。本来であればドバイで直接皆さんとお会いできるはずでしたが、それが叶わなかったことを残念に思っています。それでも、オンラインへの移行を見事にやり遂げてくださった運営の皆さんには、心から感謝と敬意を表したいと思います。皆さんの努力は本当によく伝わってきます。
さて、今日私は少し挑発的な主張を皆さんと共有したいと思います。私たちは、私自身も含めてですが、データについての考え方を間違えてきたのではないかと思うのです。そして、この誤った考え方には様々な帰結があると主張したいと思います。その上で、何が間違っているのかを説明し、データについての別の考え方をいくつか提示したいと思います。
今日探求する動機となる文脈は二つあります。一つ目はプライバシー、二つ目は統計的妥当性です。ただし、これらの視点を形作るために用いる道具立ては非常に多様で、経済学から法学、そしてもちろんコンピュータサイエンスにまで及びます。そして、そこから導かれる帰結も同じくらい広範囲に及ぶと考えています。
私たちは長年、「データファイアホース」という言葉を耳にしてきました。データを、無限に再利用可能な資源であるかのように扱う傾向があります。一つのデータセットが、非常に多くの異なる分析を支えることができると考えていますし、同じデータを使って複数のモデルを訓練し、コストをかけずに広く共有できる何かとしてデータを捉えているのです。
経済学者たちがデータについて語るとき、しばしばデータが従来の財、たとえばリンゴや靴といったものとどう異なるかを強調します。彼らは、データは靴とは違ってほぼ無料でコピーできると言いますし、劣化することなく、また将来の利用に何の悪影響も及ぼすことなく、何度でも使用・再利用できると強調します。データが持つこうした経済的特性は、私たちがデータをどう考え、どう使い、どう統治すべきかに大きな影響を与えてきました。
こうした発想の根底にあるのは、データはリンゴよりもむしろデジタル音楽に近いという直感です。そして、データは広く共有されるべきであり、共有され得るという希望があります。データは価値ある集合的資源であり、共有すればするほど、使えば使うほど、より多くの発見がなされ、より多くの問題が解決されるという考え方です。さらに、データへのアクセスを広げることが独占禁止上の懸念に対する鍵であると見なす、非常に有力なアプローチも存在します。その論理はこうです。もしデータが特定の市場、たとえばウェブ検索において非常に価値が高く市場優位性をもたらすのであれば、競争を促し新規参入者を可能にするために、支配的なプレイヤーにデータの共有を義務付けるべきではないか、そしてそれは一般の人々にとって良い結果しかもたらさないはずだ、というものです。
私はデータ共有そのものに全面的に反対しているわけではありませんが、今日は少し慎重になるべき理由についてお話ししたいと思います。
1.2 本講演の構成とデータの定義
Ligett： 本題に入る前に、この講演で私が「データ」という言葉で何を意味しているのかを明確にしておきたいと思います。私の使う言葉は非常に一般的なものです。私にとってデータとは、構造化されているか、半構造化されているか、非構造化されているかを問わず、あらゆる形態の情報を指します。動画であれ、テキストであれ、その他様々な測定値であれ、あらゆる形を取り得るものです。データは個人について、社会全体について、世界について、自然について、ビジネスの機会について、科学的発見について、様々な洞察を符号化していると考えることができます。このように、私にとってデータという概念は極めて広範なものです。
今日皆さんと共有したいのは、データが劣化しないという発想、つまり「使いたいだけ自由に使ってよい」というモデルがなぜ問題を含むのかについて、二つの異なる視点から慎重になるべき理由を提示することです。まずはプライバシーの観点からお話しし、その後、講演の後半では統計と統計的妥当性、つまりデータに基づいて良い科学を行うということについてお話ししたいと思います。
2. プライバシーの観点から見たデータの劣化
2.1 差分プライバシーの基礎と応用
Ligett： プライバシーの話に入る前提として、この部分では、プライバシーが私たちにとって重要な関心事である、あるいは少なくとも規制当局からそう装うことを求められている、という前提で進めさせてください。仮に皆さんがプライバシーそのものにそれほど関心がなかったとしても、いずれは何らかのプライバシー上の懸念を伴うデータを扱わざるを得なくなるはずです。それに、プライバシーを尊重しながらデータを考え、使うための道具立ては、他の目的にとっても非常に有用なものになりますので、専門のプライバシー研究者でない方も、ぜひこのまま話を聞いていただければと思います。
このプライバシーの議論の背景には、過去二十年ほどの間に私たちのプライバシーに関する形式的・数学的理解において起きた、本当に大きな革命があります。Dwork氏、Nissim氏、McSherry氏、Smith氏らの基礎的な研究に端を発する「差分プライバシー」という概念は、統計であれ機械学習モデルであれ合成データであれ、様々な集計値の意図的な公開をいつどのように保護できるかを探求するための、厳密で形式的な数学的語彙を私たちに与えてくれます。そして、そうした意図的な公開を、基となる個人データについて偶発的に多くを明かしてしまうことを避けながら行える方法を教えてくれるのです。差分プライバシーのモデルそのものについて、あまり技術的な詳細には立ち入りませんが、このモデル自体が私たちの思考に有用な指針を与えてくれますし、プライバシー分野における並行した研究も、今日の議論にとって重要になってきます。
差分プライバシーは過去二十年の間に大きく発展し、現在では非常に多様な計算を形式的なプライバシー保証のもとで行うための、数多くの異なるモデルが文献の中に存在しています。私たちは、機密データに基づいて様々な集計統計を公開する方法も知っていますし、機密データに基づいて機械学習を行い、出力されるモデルが訓練データを微妙な形で符号化してしまわないというプライバシー保護の保証を与える方法も知っています。時間の経過とともに複数の主体、場合によっては互いに結託しているかもしれない主体から発せられる要求に、オンラインで応答する方法も知られています。さらに、機密データセットを基に、その主要な集計値を尊重した合成データを作成する方法も分かっています。合成データの魔法は、ひとたびそれを形式的な数学的保証のもとでプライバシーを保護した形で作成してしまえば、それを公開し、誰でも自由に何にでも使うことができ、しかもプライバシー上の懸念がそれ以上悪化しないという点にあります。プライバシーのために支払うべきコストは、そのデータを作成する時点ですでに支払われており、それ以降のあらゆる計算は、プライバシーの観点からは基本的に無料になるのです。また、個々のデータ提供者が中央の管理者を信頼せず、自分自身のデバイス上でプライバシーを確保するというモデルの下で差分プライバシーを扱う方法も分かっています。これはたとえば、皆さんのスマートフォン上で実装されている差分プライバシーのモデルで、皆さんがメッセージに打ち込んでいる具体的な内容を保護しながら、大企業がどの絵文字が人気かといった傾向を学習し、次に入力しそうな単語を予測して便利な候補を提示できるようにするものです。
差分プライバシーが直感的に保証していることは何かというと、似た二つのデータベースは似た出力を生むべきだという考え方です。つまり差分プライバシーとは、機密データを取り込むアルゴリズムの振る舞いに対する制約であり、似たデータが入力されたときには似た出力を生成しなければならないという制約なのです。もう少し具体的に言えば、ここで用いる「データベースの類似性」とは、二つのデータベースが一人分のデータの追加または削除によってのみ異なる、という関係を指します。この類似性についての保証は、数値であれ、大規模な統計の集合であれ、訓練済みの機械学習モデルであれ、合成データであれ、あらゆる種類のアルゴリズムの出力に対して機能する、非常に一般的なものである必要があります。
このような類似性の概念を見出すことができれば、そこから得られるのは基本的に、差分プライバシーが計算の頑健性、安定性の保証として捉えられるということです。つまり、私たちの計算が、基となるデータのわずかな変化に対してそれほど敏感ではないということを意味します。個人の立場から直感的に言えば、自分のデータを差分プライバシーを満たす計算に提供するかどうかを考えている人へのメッセージは、「あなたのデータが結果にそれほど影響を与えることはありません」というものであり、これがプライバシー保証として解釈できるわけです。同時に、差分プライバシーから得られる保証は、こうしたアルゴリズムの結果を観察する攻撃者や第三者が、ある一人の人物のデータの中身についてほとんど情報を得られない、ということも要求します。もしその人のデータが入力に含まれていたとしても、その人がデータセットに含まれていたのかいなかったのかについて、攻撃者はほとんど情報を得られないのです。目標は、こうした強い頑健性・安定性の保証を得ながら、同時にデータから引き出したかった興味深い中身、相関やトレンド、集計値、あるいは正確なモデルを訓練する能力を維持することにあります。
もう少し形式的に言うと、これは差分プライバシーのいくつかある関連概念のうちの一つのバージョンですが、二つのデータベースDとD'が、一人分のデータの追加または削除を除いて完全に同一である場合、私たちのアルゴリズムの振る舞いを、そのアルゴリズムのどのような出力についても、データベースDのもとでその出力が得られる確率が、隣接するデータベースD'のもとでその出力が得られる確率とほぼ完全に等しくなるように制約したい、ということです。ここで注目すべきは、この「ほぼ完全に等しい」という部分がεというパラメータによって特徴づけられている点です。つまり、プライバシーを制御するεというつまみが存在します。このεを非常に小さく設定すると、二つの確率は互いに非常に似た値になることを強制されます。異なるデータセットに対して大きく異なる振る舞いをすることが許されなくなるのです。逆にεを高く設定すると、確率の差はより大きく許容され、データセットが異なれば、より大きく異なる振る舞いをすることが許されます。これはアルゴリズムの精度を高める可能性がある一方で、プライバシーは悪化します。つまり、より多くのプライバシーとより少ないプライバシーのどちらを取るかを理解するためのつまみが、ここに存在するわけです。
先ほど申し上げたとおり、この分野の文献は過去二十年で大きく発展し、差分プライバシーを達成するための非常に多くの異なるアルゴリズムが存在します。それらは実に多様な方法で機能しますが、技術的な詳細には立ち入らず、直感的に申し上げると、あるときはデータそのものにノイズを加えることで、あるときは勾配降下法を行う際の勾配にノイズを加えるといったようにアルゴリズムの振る舞いにノイズを加えることで、またあるときは非プライベートな標準的アルゴリズムをそのまま実行してその出力にノイズを加えることで、差分プライバシーを達成します。そして、これらとはまったく異なって見える手法で達成される場合もあります。このように、差分プライバシーを達成するための、非常に豊かで多様な道具立てが存在し、それらの道具を組み合わせることで、こうした安定性の保証を与えるより複雑なアルゴリズムを構築することができるのです。
2.2 プライバシー被害が蓄積するという知見
Ligett： ここまでが差分プライバシーについてお話ししたかった背景ですが、私が本当にお話ししたかったのは、ある意味で「非プライバシー」についてです。差分プライバシーに関するアルゴリズムの文献が過去二十年間発展し、豊かなアルゴリズムの道具立てを私たちに与えてくれた一方で、それと並行して、下限に関する文献も発展してきました。この下限の文献は、差分プライバシーに限らずどのような合理的なプライバシーの概念のもとでも、何が可能で何が根本的に不可能かについて、私たちに多くを教えてくれます。
もし差分プライバシーという概念の細部に何か異議があったとしても、それは構いません。重要なのは、この文献が長年にわたって私たちに与えてきた、根本的な教訓があるという点です。その一つは、ある意味でデータからは集計情報しか得られないという教訓ですが、ここで私が焦点を当てたいのは、プライバシー被害は必然的に蓄積するという教訓です。
これはどういう意味でしょうか。私たちが機密性の高い私的なデータセットに対して何らかの計算、何らかの集計統計、何らかの公開、そのデータに基づく何らかの意思決定を行うたびに、その計算の出力は、基となるデータが何であり得たかについての制約を形成します。たとえ私が行うのが、あるデータセットの中で49%の人が男性であると識別したと計算するだけであったとしても、私はすでに基となるデータについて多くのことを学んでしまっています。たとえその49%という数字にいくらかノイズが加わっていたとしても、23%が男性であるようなデータセットがその統計を生成したとは、もはや極めて考えにくくなりますし、同様に90%が男性であるようなデータセットがこの統計を生成したとも考えにくくなります。つまり、あるデータセットに基づいて行われ、何らかの意味で有用であり、何らかの意味で興味深いすべての統計、すべての計算は、ノイズを一切加えなくとも、そのデータセットが何であり得たかについての制約を与えてしまうのです。
もしあるデータセットについて一連の集計統計を出力していくと考えるならば、基本的な観察として、データセットのサイズがnであるとき、約n個の統計が、基となるデータが何であり得たかについて十分に強い制約を与え、それらを組み合わせることで基となるデータを実質的に再構築できてしまう、ということが言えます。そして、これらの統計にノイズを加えたとしても、私たちに何か新しいことを教えてくれる統計は、たとえノイズの入った制約であっても、依然として制約であることに変わりはありません。こうした統計は積み重なっていきます。プライバシー被害は避けようもなく蓄積していくのです。ですから、一見無害に見える一連の集計統計であっても、基となるデータについて何かを明らかにしてしまい、明らかにされた情報はかなり急速に積み重なって、基となるデータをかなり良い精度で復元することを可能にしてしまうのです。
こうした、差分プライバシー特有ではないネガティブな結果についての教訓は、私が差分プライバシーの「マインドセット」と呼ぶものに、実際に反映されています。このマインドセットは、プライバシー被害がデータの利用者やデータセットを横断して避けようもなく必然的に蓄積するという事実を織り込んでいます。機密性の高いデータセットに基づいて有用で興味深いことを行うたびに、たとえプライバシー保護を加えていても、たとえノイズを加えていても、そうした被害は蓄積し、基となるデータについてますます多くのことを教えてしまうのです。
このことから、私たちは機密データの利用について、ある種の「プライバシー予算」という考え方に基づいて捉え直す必要が出てきます。もしプライバシー被害が必然的に蓄積するのであれば、再構築のリスクやプライバシー被害のリスクが受け入れがたいほど大きくなる前に、あるデータセットに対して実際に行える有用な計算の回数には限りがある、ということになります。つまり、プライバシーを気にかけるならば、あるデータセットをどれだけ使えるかには限界があるのです。そしてこれは、プライバシーをどのように定義しようとも、本当に根本的で避けようのない、基本的には数学的な事実だと言えます。
プライバシー被害が蓄積する、より正確に言えば、あるデータセットについての複数の観察が組み合わさって、それぞれの部分の総和以上のものをもたらすという考え方自体は、新しいものではありません。皆さんの中には、「モザイク効果」という用語を耳にしたことがある方もいらっしゃるかもしれません。これは、一部インテリジェンス・コミュニティで使われ、また米国の法律のいくつかの場面でも登場する用語で、個別には無意味に見える情報の断片が、組み合わさることで詳細かつ有用な全体像を作り出してしまう現象を指すものです。モザイク効果は、たとえば情報公開請求への対応において、国家安全保障の保護と市民の情報アクセス権とのバランスを取る文脈で、情報の開示を差し控える根拠として使われることがあります。また、米国憲法修正第四条の文脈でも、法執行のために政府が市民データにアクセスする必要性と、市民のプライバシーに対する合理的な期待とのバランスを取るために言及されてきました。モザイク効果の議論の要点は、それぞれ単独では完全に無害に見えるような小さなデータ公開が、積み重なることであまりにも明瞭な全体像を与えてしまうことがあり、その明瞭すぎる全体像が国家安全保障を脅かしたり、個人のプライバシーを侵害したりし得るため、それが小さな一見無害なデータ公開を制限する理由になり得る、というものです。実際、米国政府による政府外への データ共有に関する二つの覚書は、いずれもこのモザイク効果に明示的に言及しており、個々のデータセットの公開単独ではプライベートな情報の開示リスクをもたらさなくとも、他のデータ公開や公に入手可能な情報と組み合わされたり、その背景に照らして見られたりすることで、開示につながり得る場合について論じています。こうした政策は、プライバシー被害が積み重なるという事実を明示的に認め、それがどのように積み重なるかを真剣に考える義務を課すものだと言えます。
ただし、差分プライバシーの視点がもたらすものは、モザイク効果が通常捉えてきたものとは少し異なると私は言いたいと思います。モザイク効果のアプローチに欠けているのは、それが「データの公開」から生じる蓄積した被害についてしか語っていない点です。モザイク効果の典型的な語り方は、あるデータや事実、測定値を公開すれば、それ単独では無害に見えても、他の事実や測定値を背景にすると有害になり得る、というものです。しかし差分プライバシーが私たちに教えてくれることの一つは、単なるデータの公開だけでなく、「データの利用」全般がどのように蓄積していくかについても懸念すべきだということです。ここで私が言う「データの利用」とは、データセットが異なれば出力も異なるであろうような、データに基づく公開全般を指します。これは、あるデータセットに基づいて訓練したモデルであったり、そのデータセットに基づいて公表する一連の統計であったり、私たちが生成する洞察や、政策や行動に反映させるために抽出するトレンドであったりします。これらはすべてデータの利用であり、これらもまた基となるデータについての情報を構成し、プライバシー被害を構成し、より伝統的なデータ公開と同じように積み重なっていくのです。ですから私は、こうした考え方を端的に表す言葉として「データは使用によって劣化する」と述べたいと思いますが、その真意は、データセットの参加者のプライバシーを尊重しながらそのデータセットを有用に使える回数には、限りがあるということです。
ここに、プライバシーについての結論があります。プライバシー上の懸念があるとき、データは使用によって劣化します。下流に目に見える帰結をもたらすデータセットへの計算はすべて、例外なくプライバシーの漏洩なのです。どれほど優れた技術で、どれほど優れた保護策を講じたとしても、その計算に何らかの意味があるならば、それはプライバシーを害します。そうした被害は避けようもなく蓄積していきます。ですから、個人に意味のある包括的なプライバシー保証を与えたいのであれば、あらゆる計算は、ある意味で断念せざるを得ない代替の計算として捉えられるべきです。なぜなら、私たちには予算があり、行える計算の回数には限りがあるからです。そして、あなたがそのデータセットを使うことは、今や私がそれを使う能力を害する可能性があります。私たちは同じ予算から支出しているのであり、もし私たちの計算結果が何らかの形で目に見えるようになるのであれば、なおさらそうなのです。
2.3 ライバル財としてのデータという提案
Ligett： プライバシーが考慮事項となる場合、規制はデータの利用を「ライバル財」、つまり競合財にすべきだと私は主張します。競合財とは何かというと、経済学における概念で1970年代にさかのぼるものです。その考え方は、ある消費者による所有や消費が、他の消費者による所有や享受を妨げるような財を指します。競合財について語るとき、私たちは通常、リンゴを食べていれば他の人は同時にそれを食べられない、スカーフを着ていれば他の人が同時に着るのは気まずい、飛行機の座席に座っていれば同時に他人がそこに座らないでほしい、といった例を挙げます。これらは競合財であり、複数の消費者が同時に享受することはできません。
ここで私が主張したいのは、私たちが先ほど述べたプライバシー予算という感覚、つまりデータを使える量には限りがあるという感覚を尊重するために、いくつかの場合においてデータを競合財にしたい、ということです。私がデータを使っていることが、あなたがそれを使うことを妨げるようにしたいのです。ただし、これは自然に起こることではありません。それは私たちが課さなければならないものです。座席の場合であれば、あなたがそこに座っているから物理的に私は座れないわけですが、データの場合、あなたがそれを使っていても、私が使えなくなる理由は何もありません。ですから、何らかのインフラを構築することで、この競合性を可視化し、それを私たちが実際に経験できるようにする必要があるのです。これは、データを明示的に非競合的なものとして語る多くの文献とは、まったく対照的な立場です。
このライバル性についてもう少し掘り下げたいと思います。私がここで言いたいのは、私がデータを使うことが時として他の人を悪くさせる、という単純な話ではありません。それは負の外部性についてのよくある指摘であり、それほど驚くようなことではありません。私が言いたいのは、私のデータの利用が、少なくとも時として、非常に特定の形で他の人を悪くさせるべきだということです。つまり、私が集合的なデータ利用の予算から支出し、それが消費されてしまうことによって、そのデータや関連するデータが他の人にとって有用性を失う、という形で悪くさせるべきなのです。機密データを扱う文脈でこうした競合性が必要になることは、新しい技術を必要とし、多くの問いを提起します。プライバシー被害が避けようもなく蓄積するのであれば、誰かがそれを追跡しなければなりません。それは誰が、どのように、どのようなインフラのもとで行うのでしょうか。このことは、私たちがいつデータを使うか、どのようにデータを使うか、どれだけのデータを使うか、結果にどれだけの精度が本当に必要かを、より戦略的に考えるように学習インフラを再設計するよう促します。なぜなら、あらゆる計算が新しい形で何かしらのコストを伴うようになり、私たちはデータの利用において慎重にならざるを得なくなるからです。
これは非常に難しい問いも提起します。もし一つのデータセットに複数の潜在的な用途や利用者が存在するならば、彼らは今や同じプライバシー予算をめぐって競合することになります。そうなると、どの計算が優先され、どの計算が実行されるべきかを決めるための言語と仕組みが必要になります。また、より高い精度を得られるのは誰か、という問いも生じます。なぜなら、より高い精度を求めることは、差分プライバシーの文脈で見たあのプライバシーのつまみを、より速く消費することを意味するからです。そうなると突然、機密データに対してどの計算を行うかをめぐって、何らかの競争、何らかの争い、何らかの交渉が必要になり、そのデータセットの特定の利用の価値について語り、判断することが求められるようになります。これを単なる価格設定の問題として捉え、市場さえあれば解決できると考える人もいるかもしれません。しかし私は、慎重さが必要だと申し上げたいと思います。私たちの機密データに対してどのような計算が行われるかを、お金だけが決める世界に、私たちは住みたくないかもしれないのです。
3. 統計的妥当性の観点から見たデータの劣化
3.1 科学における適応性の必要性と再現性の危機
Ligett： さて、ここでいったんプライバシーのことは忘れてください。もう皆さんはプライバシーを気にしないとします。今度は、データに基づいて良い科学を行うということだけを考えてみましょう。私が主張したいのは、科学というものは本質的に、必然的に、そして望ましい形で、極めて適応的だということです。ここで言う適応性とは何かというと、私が今日探求する仮説や、今日問う質問、今日行う測定が、しばしば過去に学んだことに基づいて決まる、ということです。私はあるデータの中にパターンに気づき、それをさらに掘り下げていくかもしれません。多くの研究グループが利用している共有のゲノミクスのデータセットがあったとして、私はある研究グループの論文を読み、そこから着想を得て、そのデータセットに対して新しい研究を行いたいと思うかもしれません。あるいは、非常に多くの候補変数があったとして、まず有望な変数を特定し、それらを活用して評価する、ということもあるでしょう。これらはすべて、科学における適応性の具体例です。これから適応性についての警告をいくつかお話ししますが、その前に申し上げておきたいのは、適応性は素晴らしいものであり、望ましいものであり、良い科学を行う上で必要不可欠なものだということです。もし適応性がなければ、私たちは問いたいと思うすべての科学的な問いをあらかじめ書き出しておき、そこに何か見込みがないと分かったことや、逆に何か興味深い現象が見つかったことを活用することなく、一つずつ順番に問うていかなければなりません。適応性は、意味のある科学的な進歩を遂げる上で本当に決定的に重要なのです。とはいえ、適応性は私たちを困った状況に陥れることもあり、特に同じデータセットの適応的な再利用は、その典型です。
こうした事態は、実に多くの分野で、実に多くの形で見られます。データ駆動型の社会科学のいくつかの分野において、過去十数年の間に再現性の危機と呼ばれる状況が指摘されてきたことをご存知の方もいらっしゃるでしょう。些細なものだけでなく、本当に重要な画期的な、そしてよく引用されてきた結果を再現しようと試みた大規模な研究が行われ、それらの多くが再現しないことが分かりました。そして、その原因の一つとして、唯一の原因ではありませんが、データの適応的な再利用が挙げられています。これは統計における危機と呼ばれることもあり、データに基づいて発表される結果の多くが、意味のある統計的保証を伴っておらず、新しいサンプルでは再現しない、あるいは基となるデータの真の振る舞いを反映していない可能性がある、というものです。これは「あちらの社会科学者たちの問題だ」と片付けたくなるかもしれませんが、実はもっと身近なところでも同様の現象が見られます。
たとえば、Kaggleコンペティションという仕組みをご存知の方もいらっしゃるでしょう。これは、特定の種類のデータに対して、たとえば何らかの予測タスクのために、優れた新しいモデルの発見を外部に委ねるという考え方です。まず大きなデータセットを用意し、それを三つに分割します。一つ目の部分は基本的に公開され、コンペティションに参加した誰もが、そのデータに対して好きなことを行うことができます。モデルを試したり、探索したり、自由にやってよいのです。二つ目の部分は非公開に保たれ、リーダーボードを運営するために使われます。参加者が興味深いモデルができたと思えば、それを提出し、この見たことのない二つ目のデータセットに基づいて採点され、コンペティション進行中のリーダーボードの順位に反映されます。そして最終的に、コンペティションが締め切られると、これまで誰も触れていない三つ目のデータセットを取り出し、それを使って最終的な勝者を採点し決定します。ここで興味深い事実は、参加者がこの二つ目のデータセットに対して過学習してしまうという証拠が見られることです。しかもこの二つ目のデータセットは、参加者が手元に持っていたわけではなく、モデルを提出してスコアを受け取るというインターフェースを通じてしかアクセスできず、そのデータセットに過学習する動機は何一つなかったにもかかわらず、です。過学習したところで二つ目のデータセットに対して何の得にもならないのです。それにもかかわらず、参加者はこの二つ目のデータセットに対して過学習してしまい、そのために最終的に三つ目のデータセット、つまりまったく接触のなかったデータセットで勝者を採点する段階になると、リーダーボードの順位が入れ替わってしまうという証拠が見られるのです。これは、まったく直接手を触れていないデータに対してさえ、私たちが過学習してしまう傾向があることを示す、身近な例だと言えます。
では、これらすべての背後にある問題は何でしょうか。それは、同じデータの繰り返しの適応的な利用が、私たちを誤らせ得るということです。それは意図的に誤らせることもあれば、意図せずに誤らせることもあります。それがもたらし得るのは、基となるデータの分布には実際には現れないような、データサンプル特有の偶然の癖に注目してしまうことです。あるデータセットの中に興味深いものを見つけたとき、それが新鮮なサンプルでも実際に現れる現象なのかどうかを見極めるのは、難しいことがあります。
ただし、適応性の話をいったん脇に置くと、サンプルに対して行う科学というものが驚くほどうまく機能するという点は、指摘しておきたいと思います。基となる分布から一つのサンプルを取り出し、それに対して科学を行い、基となる分布にとって意味のある結論を得られるという私たちの能力は、非常に大きなものであり、素晴らしいものです。適応的でさえなければ、つまり、問いたい科学的な質問や仮説、測定をすべてあらかじめ決めて固定し、それを巻物に書き記してから実行するのであれば、単純なチェルノフ限界と和集合限界によって、サンプルサイズに対して指数的に増加する数の非適応的に選ばれたクエリに答えられることが分かります。つまり、非適応的なデータに対しては膨大な量の科学を行うことができ、発せられたすべてのクエリへのすべての回答が、高い確率で基となる分布に関して正確であるという素晴らしい保証を得られるのです。これは本当に驚くべきことで、少し立ち止まって評価に値することだと思います。サンプルに対しては膨大な量の科学を行うことができるのです。問題は、適応性が入ってきた途端に、そのすべてが崩れ去ってしまうということです。クエリが適応的に選ばれるようになると、最悪の場合、二つ目のクエリの時点ですでにひどく過学習してしまうことがあります。指数的な数のクエリに答えられるはずが、たった一つ答えたら、もう過学習してしまうのです。
3.2 適応性問題の形式化と基本定理
Ligett： これは科学にとって由々しき事態です。私たちは適応性を必要としているからです。ここで、サンプルに対してどのように科学を行うべきかという問いが浮かび上がります。一つの解決策は、適応性を諦めてしまい、データを再利用しないというものです。しかし、データは高価であり、価値があるものです。手作業でラベル付けされたものであったり、量が限られていたりと理由は様々ですが、多くの場合、データベースのサイズを適応の回数に比例して線形に増やしていくことは望ましくありません。私たちは考え、学び、そして再利用したいのです。
そこで、この適応性の問題を少しモデル化して、何が可能なのかについての洞察を得てみたいと思います。設定は基本的に次のようなものです。あるデータの領域があり、その領域から取り出されたサイズnの特定のデータセットにアクセスできるとします。私たちはアルゴリズム、これをメカニズムMと呼びますが、これを設計したいと考えています。このメカニズムはデータベースを受け取り、クエリの列を受け取ります。クエリとはそのデータベースについての質問です。そして、それに応じて応答の列、つまりクエリに対する回答Rの列を返します。では、これらのクエリはどこから来るのでしょうか。私たちが想定している適応的な設定では、これらはあるアナリスト、あるいは敵対者から生成されます。Aという文字を使うのが便利ですが、このアナリストはクエリをあらかじめ固定して選ぶのではなく、少なくとも部分的には、それまでのクエリと応答のペアに基づいて選ぶことができます。つまり、将来のクエリを生成する際に、過去の応答の履歴にアクセスできるということです。ですから私たちには今、質問に答えるメカニズムと、その質問を提供するアナリストとの間の相互作用があり、その質問は適応的に生成される可能性があるわけです。
私たちが求めているのは何かというと、この相互作用の周りに、いわば箱を置けるようにすることです。データベースを入れ、メカニズムを入れ、任意の適応的なアナリストを入れれば、この箱が良い性質を持つクエリと回答の列を出力するという保証が得られる、という意味です。良い性質とは何を意味するかというと、それらの回答が、手元にあるデータセットに関してだけでなく、そのデータセットが何らかの基となる分布から抽出されたものであるならば、その基となる分布に関しても良いものであってほしい、ということです。これが適応性の問題です。
この問題を定式化し理解する上で本当に助けになる素晴らしい一連の研究があり、その始まりはおよそ十年前のDwork、Feldman、Hardt、Pitassi、Reingold、Rothによる論文です。そして私の博士課程の学生であるMoshe Shenfeldとの共同研究のより最近の成果の一つとして、適応性がどのように私たちを困らせるかを特徴づける、非常にシンプルな基本定理を示しました。ここでは言葉で説明しますが、実際の数学的な定理はこれよりそれほど複雑なものではありません。基本的にこの定理は、皆さんの科学的パイプラインの中で適応性によって誤らされるためには、二つのことが同時にうまくいかなくなる必要がある、と述べています。一つ目は、それまでのクエリへの回答が、基となる分布についてではなく、手元のデータサンプルについての情報を大量に符号化してしまっていることです。二つ目は、それに続くクエリが、過学習するためにその情報を実際に活用してしまうことです。
私たちはこの、適応性がどのように私たちを誤らせ得るかについての特徴づけを用いて、適応性の害から守るための改良されたアルゴリズムを与え、適応的なクエリを発することを可能にしながらも、得られる回答について形式的で厳密な統計的妥当性の保証を与えられるような、科学的パイプラインの新しい設計方法を開発しました。それは手元にあるデータについてだけでなく、私たちが関心を持つ基となる分布についての保証でもあります。
もう少し直感的に、この推論がどのように働くかをお話ししましょう。この世界での目標は何かというと、私たちのメカニズムがクエリに対して与える回答、これを図の左下の隅に置くとして、それが真の基となる分布に対するそのクエリへの回答、これを図の上の箱に置くとして、そこからあまり離れていないようにすることです。この二つが互いに近いという関係を、私たちは「分布正確性」と呼びます。これが私たちの求めるものです。基となる分布に対する回答に、私たちの回答が近くあってほしいのです。
では、どうすればこのような保証を得られるでしょうか。ある種の三角不等式によってこの関係を主張しようとする人もいるかもしれません。最初に思いつく自然な方向性として、たとえば、発せられるクエリが、サンプルに対する回答が基となる分布に対する真の回答に近いようなクエリだけである、ということを何とか保証できないか、というものがあります。それは、そうしたクエリが何らかの意味で汎化する、つまり三角形の右辺にあたる部分を意味します。そして、私たちのメカニズムがサンプルに対する回答に近い回答を与えるように設計されていれば、それで完了です。サンプルに対する回答が基となる分布に対する真の回答に近いようなクエリしか発せられないようにし、あとはサンプルに関して良い回答を与えさえすればよいことになります。しかし、この種の三角不等式による議論を用いてこの保証をアルゴリズム的にどう達成すればよいのかは、明確ではありません。
そこで、この文献では代わりに、別の一連の推論、別の三角不等式が発展してきました。これは、分布正確性という目標を達成する方法を示すものです。ここでは、三角形の右下の頂点を入れ替えます。それはもはやデータサンプルに対するクエリの値ではなく、それまでのクエリへの回答によって誘導されるベイズ的な事後信念に対する値になります。細かい点はあまり気にしなくて結構です。要するに、サンプルに対してあまりノイズの多くない回答を与えることは、サンプル正確性だけでなく、この三角形の下辺、つまり事後正確性と呼ぶべきものも保っているということが分かるのです。
3.3 差分プライバシーと統計的妥当性の意外な接続
Ligett： そして、この講演の中で再び登場する意外な展開が訪れます。この三角形の右辺に必要な事後不感性を得るための道具として、差分プライバシーが役立つことが分かるのです。というのも、差分プライバシーは安定性の概念、頑健性の概念として、クエリへの回答がデータサンプルについて過剰な情報を符号化してしまうことを防ぐからです。それによって、後続で過学習するようなクエリを選んでしまうことを防ぐことができるのです。つまり、データセットとのやり取り、クエリへの回答、訓練するモデルなどに、少しの差分プライバシーのノイズを注入することで、過学習を防がれるという形式的な保証を実際に得られるということです。そしてこれによって、このノイズなしでは、この差分プライバシーなしでは得られなかったであろう、より多くの繰り返しの適応的なデータ利用が可能になるのです。
ここにはさらに多くお話しすべきことがあります。差分プライバシーによって導かれるノイズの水準は、ある種の最悪ケースの状況においては必要なものですが、それ以外の状況ではやり過ぎである場合があります。この点について、私の博士課程の学生であるMoshe Shenfeldとの取り組みでは、初期の進展が得られていますが、まだ探求すべきことは数多く残っています。ここで私が申し上げたい点は、適応性はデータの利用をより競合的にする、ということです。人間の科学者による適応性であれ、私たちが設定した目標に対して猛烈な速度で最適化を行っているであろうAIの科学者による適応性であれ、それは変わりません。私たちの科学的パイプラインにおける適応性は、私たちが望むものであり、必要なものであり、データから絞り出せるものを豊かにしてくれるものですが、リスクを伴います。なぜなら、たとえノイズを加えたとしても、あらゆる計算は必然的に、基となる分布についてではなくデータセットに特有の情報をより多く明らかにしてしまい、そしてそうした開示は積み重なっていくからです。ですから、もし世界がオーバーフィッティングを引き起こすようなクエリを発することができないように守りたいのであれば、そしてもし適応性を用い、データから絞り出せるものを最大化するような厳密な科学的パイプラインを構築したいのであれば、私たちはある意味で、データセットを使うたびに消費されていく統計的妥当性の予算というものについて、少し考える必要があるのです。あなたによるそのデータセットの利用は私を誤らせる可能性があり、それはある意味でこの共通の予算を劣化させるのです。
4. まとめと今後の研究課題
4.1 データ観の転換:非競合財から減耗する資源へ
Ligett： ここまで、二つの異なる視点をお話ししてきましたが、いずれも、私たちが好きなだけデータを使い、それを好きなだけ共有しても何の帰結もない、という「データファイアホース」の世界に、必ずしも常に生きているわけではないことを示唆しています。データが依然として潤沢であり、自由に使われ共有されるべき場合ももちろんあります。しかし、状況は変わりつつあり、今日私たちが持ち込むべき視点は、以前よりも少し繊細なものである必要があります。その理由や正当化の根拠は数多くありますが、今では「データが突然希少になった」「データが使い尽くされている」といった見出しを目にする世界に、私たちはより多くいるのかもしれません。AIがすべてのデータを使い尽くしているという理由は、この講演で探求してきた問題とは多少異なるものですが、そこから生じるテーマや帰結、そして提起される問いは、今日お話ししたものと非常に近いものだと私は考えています。
一般的な教訓として、私たちがデータについて抱くモデルや前提は重要であり、それらは普遍的に固定されたものではない、ということが言えます。そして、少なくとも時として、データは使用とともに減耗していく資源として捉えるのが最も適切なのではないかと思います。これは私たちの考え方における大きな転換です。データが使用とともに崩壊していくものだと考えることは、非常に大きな発想の転換なのです。そして、この視点が適用される場面では、様々なイノベーションが求められ、あらゆる種類の問いが提起されることになります。ここで提起される問いの範囲は、実に豊かで広範なものです。
4.2 今後問われるべき論点
Ligett： ごく簡単に例を挙げてみたいと思います。まず、データの利用を削減する、あるいはより慎重に、より賢明にデータを利用するということをめぐって、数多くの問いが提起されます。おそらく私たちは、本当に必要なものだけを使い、必要なものだけに触れ、拡散を最小化し、共有を最小化し、データの拡散と共有を追跡するようなアルゴリズムへと移行する必要があるかもしれません。また、いくつかの場面では、合成データのより本格的な利用への移行を示唆するかもしれませんが、そのためには、合成データとは何か、それをどう作るのか、それに何ができて何ができないのか、それについてどのような保証を与えられるのか、そしてそれがどのように私たちのニーズに応え、限られたデータ資源から絞り出す能力を促進しているのかについて、はるかに豊かな語彙と道具立て、理解が必要になります。
私の利用があなたにとってのデータを劣化させてしまうというこの厄介な問題は、あらゆる種類の調整の問い、調整上の問題を提起します。これは突然、他者による同じデータ、あるいは関連するデータの利用について、深い意識を持つことを要求するようになります。その他者は、私が所属する組織の内部にいるとは限らず、まったく別のどこかにいるかもしれません。このことは、データ利用のより明示的な追跡と調整が必要になる場合があることを示唆していますし、ある種の予算とその予算をめぐる交渉を可能にする仕組みを構築する必要があるかもしれないことも示唆しています。しかし、そこでは、その予算に対する権利を誰が持つのか、私たちの集合的なデータや特定のグループのデータに対する権利を誰が持つのか、その権利はどのようなものであるべきか、そのデータがどのように使われるかを誰が決めるのかといった、多くの問いが生じます。それは私たちが支出するものであり、予算化されるものであり、限られたものだからです。どの計算に精度や実行の優先順位を与え、どの計算を脇に置くのかを誰が決めるのか。これもまた、あらゆる種類の難しい問いを提起します。
科学的パイプラインの文脈では、より良い科学的成果を生み出すために、どのような共有された再現インフラが必要になるのかという新しい問いが生まれます。科学は、先人たちの肩の上に、そして先人たちの成果の上に築かれるものだからです。もしその成果が信頼できないもの、再現されないものであるならば、私たちには深刻な問題があることになります。ですから、限られたデータ資源を最大限に活用できるような再現インフラを、どのように構築すればよいのでしょうか。
ここではまた、インセンティブをめぐる大きな問いも提起されます。科学の文脈では、たとえば出版のインセンティブを変える必要があるのかどうか、著者に何を求めるべきなのかという問いです。多くの分野の学術誌が、明示的なデータの公開とデータ共有を著者に義務付けるようになっていますが、それは実際に科学にとって良いことなのでしょうか。どのような場合に良いことなのでしょうか。こうしたアプローチの長所と短所は何でしょうか。私たちは出版において何に報いているのでしょうか。否定的な結果に十分な重きを置いていないのではないでしょうか。私たちは何らかの形で、著者に悪いインセンティブを与えてしまい、下流での再現の失敗に加担してしまっているのではないでしょうか。
プライバシーの文脈やそれ以外の文脈で、何らかの形で罰則を科すことを考える方もいるかもしれません。しかし、その罰則はどこから来るのでしょうか。学術機関からでしょうか。プライバシーについて考えるならば、政府からでしょうか。プライバシーに対する無責任さへの罰則というのは、ある意味で共有資源を無駄にしていることになるからです。それは、あまり有用でも重要でもない問いを立てることであったり、データセットのプライバシーを何か別の形で劣化させることであったりします。過学習を引き起こすようなクエリを発する科学者を、科学的な景観を汚染しているという理由で、何らかの形で罰するべきなのでしょうか。イノベーションと競争を支えるインフラを、私たちはどう構築すればよいのでしょうか。これは非常に重要な問いの集合だと思います。なぜなら、私は今、データを自由に共有することがイノベーションや競争のために常にできるわけではない、という問題を提起しているからです。しかし、データはこれまで、イノベーションと競争にとっての重要な原動力として見なされてきました。ですから、私たちはどのように優先順位を設定し、どのように意思決定を行えばよいのでしょうか。
そして最後に、データ創出と提供のインセンティブをめぐる大きな問いがあります。もしデータが使用とともに劣化していく限られた資源であり、それが価値ある資源であるならば、私たちは良質なデータの供給をどう確保するかを考える必要があります。誰がそのデータを生成しているのか、そしてそれが高品質なデータであることをどう確保するのか。私は、この講演がいくつかの挑戦的な方向性と、皆さん自身の研究に持ち帰っていただける考える材料を提供できたことを願っていますし、これから先、皆さんがデータを少し違った目で見てくださることを願っています。
5. 質疑応答
5.1 差分プライバシーが担う二重の役割
司会者： 素晴らしく興味深いお話で、大変刺激を受けました。ありがとうございます、Katrina。では、聴衆の皆さんからの質問はありますでしょうか。まず私から始めさせてください。今回のお話は、大きく二つの部分に分かれていたと理解しています。最後の部分では多くの問いを提起されていましたが、それを除くと、前半ではプライバシーを扱い、後半では統計的・科学的妥当性を扱っていらっしゃいました。私の質問は二つに分けられます。まず一つ目ですが、差分プライバシーが両方の問題に対する解決策になっているというのは驚きでした。これは、あなたが最初から意図して考えていたことなのでしょうか。それとも、機械学習などの手法に適応させるべき一種のツールボックスのようなものとして捉えていらっしゃるのでしょうか。両者の間に、非常に緊密なつながりがあるように感じられ、正直なところ驚きました。
Ligett： それは本当に良いご指摘だと思います。ここで起きていることの一つは、差分プライバシーという概念が、単なるプライバシーの概念としてだけでなく、ある種の安定性・頑健性の概念としても解釈できるという点です。そのように言い換えてみると、私たちの計算結果が基となるデータのわずかな変化に対して頑健であることを保証するのは、それもまた一種の保護であることが、それほど驚くべきことではなくなります。それは、個人の詳細を明かしてしまうことへの保護、つまりプライバシーとしての解釈だけでなく、そのデータサンプルの詳細を、過学習という形で私たちに害をなす形で符号化してしまうことへの保護でもあるのです。小さな変化に対して頑健であるということは、ある意味で、データセットが提供してくれる全体的な傾向、重要なメッセージを学び取っているのであって、細部に固執していないということを意味します。ですから、その意味では驚くべきことではないのですが、それでも、プライバシーのために必要なものと統計的妥当性のために必要なものが、まったく同じというわけではないというのも事実です。プライバシーは本質的に、非常に慎重で最悪ケースを想定する必要がある設定です。なぜなら、私たちが求めるプライバシーは、自分のデータセットに現れることは決してないだろうと思っているような、変わり者や外れ値のためのものだからです。彼らを保護したいのです。一方で、統計的妥当性を気にかける場合、私たちが気にかけるのは手元にあるデータセットです。そして、最悪ケースの計算だけでなく、実際に手元にある計算そのものを気にかけます。実際には現れそうもない最悪ケースの中の最悪ケースの中の最悪ケースに対して成り立つ保証は必ずしも必要なく、実際に私たちが直面している状況において、妥当な確率で成り立つ保証があればよいのかもしれません。ですから、差分プライバシーの頑健性のための道具立て、その数学的な枠組みは非常に有用で応用範囲が広く、統計的妥当性の問題にも大きな洞察を与えてくれるのですが、時としてそれはやり過ぎになります。差分プライバシーが指示するとおりにノイズを加えると、統計的な妥当性という保証だけを気にかけている場合には、本来必要ないような最悪ケースまで保護しようとしてしまうため、必要以上のノイズを加えてしまうことがあるのです。
司会者： なるほど、興味深いコメントですね。私はこれまで、プライバシーと科学的妥当性は競合する概念だと捉えていました。つまり、隠せば隠すほど分からなくなる、という関係です。しかしここでは、むしろ逆で、両者が整合しているというのが興味深い点です。もう一つ質問させてください。お話しされなかった実用的な応用についてなのですが、これに対応する実用的な解決策や、よく知られたデータセットで実際に使われた例はあるのでしょうか。
Ligett： 統計的妥当性のための道具立ては、ある意味でまだ、実用的に展開できる段階から数歩手前にあると私は考えています。今ある理論は、非常に理論家のための理論であり、定数を絞り込むための実務的な作業や、こうした非最悪ケースのシナリオについての検討が、まだあまりなされていません。ですから、これが本当に高く有用で実際に展開されるものになるためには、実務側からも理論側からも埋めるべきギャップがあります。しかし、AI駆動型の科学は、こうした道具立てについて考える上で重要な舞台になると思います。なぜなら、私たちの科学は突然、新しい規模、新しい速度で行われるようになっているからです。私たちは巨大なデータセットを扱っていますし、潜在的には非常に急速で、ある意味で予測不可能なレベルの適応性を扱うことになります。ですから、これまでの理論からの洞察を活用しつつ、それをより明示的に実用的なものへと構築していく機会が、そこにはあると思います。
5.2 実用化の現状とcensusの再構築攻撃事例
司会者： ありがとうございます。Dick Bermanさんからも質問が届いています。お送りいただけますか。質問はこうです。「Katrina、素晴らしいお話をありがとうございました。データが実際にどのように劣化するのか、もう少し具体例を伺いたいです。」
Ligett： そうですね。では、米国のセンサスから得られる例をご紹介しましょう。米国は10年ごとに、米国に居住するすべての人についての情報を収集する義務を負っています。同時に、センサスは非常に価値の高い資源でもあります。収集されたセンサスのデータは、あらゆる種類の資源配分の意思決定に使われますし、米国の人口についてのほぼすべての科学的・社会科学的理解の基盤になっています。これは本当に基盤となるデータです。センサス局はこの基盤となるデータを収集する義務がある一方で、そのセンサスデータに含まれる個人が再識別されることのないようにする義務も負っています。つまり、プライバシーの義務とデータ収集・共有の義務の両方を抱えているのです。そして、センサスのたびに、そのデータに基づいて数十億もの統計が公開されます。非常に膨大な数の統計が公開されているのです。
2010年のセンサスの後、センサス局は、自分たちが導入していたプライバシー保護策が、たとえ最先端のものであったとしても、不十分だったのではないかと懸念するようになりました。そこで彼らは実際に、自分たち自身に対する攻撃を実行しました。2010年のセンサスに基づいて公開された統計から、基となるセンサスデータをどれだけ復元できるかを試したのです。そしてその結果、残念ながら、非常に成功した攻撃になってしまいました。彼らが気づいたのは、たとえば「アラバマ州に住む何歳から何歳までの男性が何人いるか」といった、一見まったく無害に見える統計であっても、そうした集計統計を十分な数集めることで、基となるデータに対して非常に強い制約をかけることができ、米国人口の大多数について、驚くほど正確な再構築を行うことができてしまう、ということでした。これはまさに惨事と呼ぶべきもので、こうした個々の無害な統計が実際にどのように積み重なっていくのかを、非常によく示す事例だと思います。
司会者： 非常に興味深いですね。この話題については、いくらでも語り続けられそうです。他にご質問はありますか。ちょうど時間になりましたので、このあたりで締めくくらせていただければと思います。Katrina、本当にありがとうございました。素晴らしいお話でした。そして、最後の質問をお送りくださったDickさん、ありがとうございました。まさに衝撃的な内容でした。皆さん、本当にありがとうございました。これから約30分間の休憩に入ります。またプラットフォーム上でお会いできることを楽しみにしています。改めて、素晴らしいご講演をありがとうございました。