※本記事は、2024年12月6日にStanfordで行われた「Stanford Seminar - Responsible AI (h)as a Learning and Design Problem」セミナーの内容を基に作成されています。セミナーの詳細情報はhttps://hci.stanford.edu/seminar/ でご覧いただけます。本記事では、セミナーの内容を要約しております。なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの録画をご覧いただくことをお勧めいたします。

登壇者紹介： Michael Madaioは、Google Researchのシニアリサーチサイエンティストです。現在の研究は、人間とコンピュータの相互作用の手法を活用し、AI実務者が責任を持ってAIシステムを設計できるよう支援することに焦点を当てています。Googleに入社する前は、Microsoft ResearchのFATE（fairness, accountability, transparency, and ethics in AI）研究グループでポストドクターを務めました。Carnegie Mellon UniversityでHuman-Computer Interactionの博士号を取得し、在学中は教育科学研究所の学際的教育研究プログラム（PIER）のフェローでした。ACM Conference on Fairness, Accountability, and Transparency (FAccT)、ACM Conference on Human Factors in Computing Systems (CHI)、International Conference of the Learning Sciences (ICLS)など、複数の学会で最優秀論文賞を受賞しています。

1. 研究の背景と動機

1.1. AIシステムによる潜在的な害の問題

生成AIがもたらす様々な害については、最近の新聞見出しからも明らかです。たとえば、ニューヨーク市のチャットボットが企業に違法行為を促したり、チャットボットが女王の暗殺を扇動したりするような事件が報告されています。

しかし、これは生成AIに特有の問題ではありません。Sophia Noble、Safiya Noble、Joy Buolamwini、Timnit Gebruらの研究者が長年指摘してきたように、アルゴリズムは社会におけるバイアスを増幅したり、新たなバイアスを生み出したりする可能性があります。

さらに、このような問題は現代の機械学習に限った話ではありません。1990年代にBatya FriedmanとHelen Nisenbaumが行ったコンピューティングシステムにおけるバイアスの研究にまで遡ることができます。彼らの研究は、技術システムに内在するバイアスの問題を早くから指摘していました。

これらの問題に対処するため、様々な責任あるAI（RAI）リソースが開発されてきました。しかし、これらのリソースだけでは十分ではありません。なぜなら、特に事前学習済みAIモデルの普及により、より多くの人々がAIベースのアプリケーションを構築できるようになった現在、AI実務者がこれらのリソースを効果的に活用するために必要なスキルや知識を持っていない可能性があるからです。

この状況は、AIシステムによる潜在的な害を防ぐための包括的なアプローチの必要性を示しています。技術的な解決策だけでなく、開発者の教育や、設計段階からの責任ある開発プロセスの確立が求められています。

1.2. 既存の責任あるAI (RAI) リソースの現状

これらの問題に対処するため、様々な種類の責任あるAIリソースが開発されてきました。具体的には、フェアネス分析のためのソフトウェアツールキットや、透明性を確保するためのモデルカードやデータシートなどのリソースが作られています。

大手テクノロジー企業も独自の取り組みを進めています。例えば、Microsoftは責任あるAI標準（Responsible AI Standard）を開発し、フェアネスやその他の原則に関する具体的な目標を設定しています。

また、テクノロジー企業だけでなく、公的機関も責任あるAIのプロセス開発に取り組んでいます。米国国立標準技術研究所（NIST）は、AI開発における様々なリスクを管理、測定、マッピングするためのAIリスク管理フレームワークを開発しました。

私の以前の研究では、これらのRAIツールやプロセスの一部を開発し、AI実務者（開発者やAI開発に関わる他の関係者を含む）がこれらのツールを開発プラクティスの一部としてどのように使用しているかを研究してきました。これには、フェアネスへの取り組みに影響を与える組織的な緊張関係の分析も含まれています。

しかし、これらのリソースは主にダウンストリームの開発フェーズ（モデルのトレーニング、テスト、デプロイメント、モニタリング）に焦点を当てており、設計フェーズでの介入を支援するリソースは比較的少ないことが分かっています。また、AIの倫理に関するリソースは存在しますが、AI特有の課題に対応したものは限られているのが現状です。

1.3. AI実務者の知識・スキルギャップの発見

私たちの2022年の研究で、AI開発者のフェアネスに関する知識とスキルにおける重要なギャップを発見しました。この研究では、10の異なるAIプロダクトチームに対して、私たちのチームが開発したプロセスとツールを使用して、比較的straightforwardだと考えていたフェアネス評価のプロセスを実施してもらいました。

しかし、驚くべきことに、ほぼすべてのチームが、このプロセスの最初の段階でつまずきました。特に顕著だったのは、「誰に対してフェアネスを評価すべきか」という基本的な問いに対する困難でした。つまり、どのユーザーグループに対してモデルのパフォーマンスが悪化する可能性があるかを特定する段階で、多くのチームが行き詰まりました。

ある参加者は「誰に対してフェアネスやバイアスを考慮すべきか、単に教えてほしい」と述べました。しかし、Microsoftのような大規模なテクノロジー企業で、数十から数百の国々や文化的背景の異なる地域にシステムを展開している場合、この質問に中央で一律に答えることは非常に困難です。にもかかわらず、開発者たち自身がこの質問に答える、あるいはそもそもこの質問を投げかけること自体に対して、準備が十分でないと感じていることが明らかになりました。

このような発見は、AI開発者が責任あるAIや公平性、バイアスについて学ぶ必要性を示唆しています。特に、事前学習済みAIモデルの普及により、より多くの人々がAIベースのアプリケーションを構築できるようになった現在、この課題はより一層重要になっています。

これらの発見は、私たちをAI実務者が職場でどのように責任あるAIについて学んでいるかを探求する最初の研究へと導きました。

2. 第1研究: AI実務者のRAI学習実態調査

2.1. 研究設計と方法

この研究では、AI実務者が職場で責任あるAIについてどのように学んでいるかを理解するために、包括的な調査を実施しました。この調査は、FACT（ACM Conference on Fairness, Accountability, and Transparency）で発表した研究の一部で、Google Researchの同僚やCarnegie Mellon大学のShani Kapaniaらと共同で実施しました。

調査では、16の企業から40名の参加者に対して半構造化インタビューを実施しました。参加者は大きく2つのグループに分かれています：

1. AI実務者：ソフトウェアエンジニア、プログラムマネージャー、UXリサーチャーなど、直接AIの開発に関わる役割の人々
2. 責任あるAI教育者：この中には、明確にカリキュラムリードやテクニカルライターという肩書きを持つ人々もいれば、ソフトウェアエンジニアやプログラムマネージャーとしての本来の役割に加えて、非公式にこの教育的役割を担っている人々も含まれています。

インタビューでは以下の主要な質問項目について探求しました：

• どのような設定で、どのような理由でRAIについて学び、教えているか
• どのような内容やスキルが効果的に、あるいは非効果的に伝達されているか
• 教育者の場合、どのように学習目標を設定し、評価を行っているか
• 将来のRAIの学習と教育に関する願望や期待は何か

なお、この研究の対象者はAI実務者に焦点を当てていますが、RAIの学習に関しては、マーケティング、PR、企業リーダーシップ、市民社会、公共セクター、政策立案者など、より広範な潜在的な対象者が存在することも認識しています。ただし、これらの広範な対象者は今回の研究スコープには含まれていません。

2.2. AI実務者の学習内容の分析

私たちの分析から、AI実務者が学んでいる責任あるAIの内容は、主に2つのレベルに分類できることが分かりました。

第一に、高レベルな概念の理解です。これには企業の責任あるAI原則の理解や、フェアネスなどの様々な次元の定義を理解することが含まれます。

第二に、手続的知識です。これには特定のユースケース（テキスト分類など）に対するフェアネス指標の計算方法や、データカードやモデルカードの作成方法などが含まれます。

教育科学の背景を持つ方々は、この分析から2つの重要な問題点に気付くでしょう。まず、既存のリソースは、フェアネス指標の計算など、明確に定義されたRAIプロセスの学習に役立っていますが、新しいユースケースに対する潜在的な害を特定したり、理想的には生成AIがそれらの害を回避するように事前に設計したりするスキルの開発を支援するリソースは非常に少ないことが分かりました。

さらに、Bloomの認知分類法の観点から見ると、多くの学習目標が「理解」や「記憶」といった基本的なレベルに焦点を当てており、新しいスキルやユースケースへの「応用」といった高次の認知スキルの開発が不足していることが明らかになりました。たしかに、原則を暗記したり定義を理解したりすることは重要ですが、それらを新しい状況に適用し、分析し、評価する能力の開発が必要です。

この分析結果は、後半で説明する第2研究のプロアクティブな設計の部分に関連しており、より実践的で応用可能なスキル開発の必要性を示唆しています。

2.3. 学習経路の発見

私たちの研究から、AI実務者が責任あるAIについて学ぶ際の主要な3つの経路が明らかになりました。

第一の経路は、他の分野からの知識の適用です。多くの参加者が、コンピュータサイエンス以外の分野で倫理について学んだ経験を持っていました。ある参加者は「私は健康・社会心理学の出身で、そこで倫理について学びました。それが責任あるAIについて考えるきっかけとなり、現在の役割にその知識を活かしています」と語りました。同様の経験は、市政府や教育分野出身の参加者からも聞かれました。ただし、この方法は、学習者が教育や医療、行政などの分野で学んだことをAI開発に翻訳して適用できるスキルを持っていることが前提となります。多くの開発者にとって、この応用スキルの育成が必要となります。

第二の経路は、RAIリソースの「情報収集（フォレージング）」です。実務者は自社の社内リポジトリやソーシャルメディアで情報を検索し、自分なりのカリキュラムを組み立てています。多くの参加者が「内部の正式なコースはなく、オンラインリソースの自己学習です。草の根的に自分で見つけなければなりません」と述べました。興味深いことに、実際には社内にトレーニングが存在する企業でも、キーワード検索の難しさや必須でないことなどから、それらを見つけられない実務者が多くいました。また、ソーシャルメディアで情報を得る際、多くのAIインフルエンサーの発信内容が研究や事実に基づいているのか判断が難しいという懸念も聞かれました。

第三の経路は、同僚からの学習です。構造化された設定や非構造化された会話を通じて学習が行われています。私たちのフォローアップ研究では、コードレビューの場面でソフトウェアエンジニアが互いに質問を投げかけ、教え合い、協働で学ぶ様子が観察されました。また、読書会などのインフォーマルな学習の場も重要な役割を果たしています。ある参加者は、LenzaというAI画像生成モデルに関するInstagramでのストライキについて家族から聞き、それがAIのリスクに対する認識を高めるきっかけとなったと語りました。

これらの発見は、責任あるAIの学習が様々な経路で行われており、正式なトレーニングプログラム以外の学習機会も重要な役割を果たしていることを示しています。

2.4. 学習に対する願望と課題

私たちの研究から、AI実務者の学習に対する2つの主要な願望が明らかになりました。

第一の願望は、技術的アプローチを超えた理解の獲得です。多くの参加者が、より社会的・文化的な要素に焦点を当てた学習を望んでいました。これは「社会学的・人類学的な視点」と表現する参加者もいましたが、これらは多くのAI開発者が通常受けてきた訓練を超えた領域です。ここで、データ＆ソサエティ研究所とセンター・フォー・デモクラシー・アンド・テクノロジーによる最近の2つの報告書が、なぜAIガバナンスに社会技術的な専門知識が必要かを詳しく説明していることは注目に値します。

もう一つの重要な側面は、コミュニティとの関わり方です。参加者たちは、潜在的な危害を特定し、それらの意味をコミュニティの視点から理解し、理想的にはAIシステムをコミュニティと共同で設計する方法を学びたいと考えていました。ある参加者は「リスク評価で、これらのグループに対する潜在的な危害を特定していますが、実際にそれらのグループの人々を招いて、共同設計や評価を行い、日記調査なども実施すべきです」と述べています。

文化的コンテキストに応じたトレーニングへのニーズも顕著でした。特に、技術企業のAI原則は非常に高レベルな内容であり、教育分野と医療分野では異なる意味を持ち、文化的コンテキストによっても解釈が大きく異なります。実務者は、自分たちの特定の製品が様々な文化的コンテキストで使用される際に、これらの高レベルな原則を適用するスキルが不足していると感じていました。カスタマイズされたトレーニングへの要望は強く、特に南アジアやラテンアメリカのコンテキストでの責任あるAIやフェアネスの意味を理解したいという声が聞かれました。

しかし、これらの願望を実現する上で、組織的な制約が大きな課題となっています。教育者は、組織内での学習のスケーリングを重視するプレッシャーを感じています。一人の教育者は「性別による差別などの社会技術的な概念は、ソフトウェアライブラリのドキュメントを読むよりも、ソクラテス的な対話を通じて対面で学ぶ方が効果的です」と述べましたが、大規模な技術企業では、効果的でなくても自己学習コースが好まれる傾向にありました。

同様に、教育者は深さを増していく長期的なカリキュラムの開発を望んでいましたが、学習者は製品の迅速な出荷に追われ、5分程度のテックトークで吸収できる内容を求める傾向がありました。教育者はマインドセットを育成したいと考えていましたが、組織的なプレッシャーにより、学習者からは「AIレビュープロセスを通過するために必要なことを教えてください」という規範的なガイダンスへの要求が強くなっていました。

3. 第2研究: プロトタイピング段階でのRAIサポート

3.1. Farsightツールの開発

第一の研究から得られた知見を基に、プロトタイピングプロセス中に責任あるAIの学習を支援するツール「Farsight」の開発に着手しました。この研究は、元インターンのJay Wangが主導し、昨年のCHI会議で発表したものです。

現在、LLMsを使用したAIアプリケーションの開発は容易になっています。AIプラクティショナーの定義自体が変化しつつあり、AI StudioやGPTプレイグラウンドを使用してAPIでLLMを自分のツールやアプリケーションに組み込む人々も含まれるようになっています。しかし、これらを責任を持って開発することは、むしろ難しくなっています。

この課題に対応するため、私たちはまずAIプロトタイパーとのコデザイン研究を実施し、潜在的な危害に関するプロアクティブな考察を促すための様々なデザインアイデアを生成・批評しました。

次に、AIインシデントデータベースのAPIを活用しました。このデータベースには当時約3,000件のAIインシデントに関するニュース記事が収録されていました。これらの記事からエンベッディングを抽出し、プロンプトとニュース記事見出しとのコサイン類似度を計算することで、関連するインシデントを特定できるようにしました。

例えば、ユーザーが翻訳アプリのアイデアを持ってプロトタイピングツールを使用する場合、システムプロンプトとして「あなたは優れた翻訳者です」と入力すると、Farsightは翻訳の失敗に関連するニュース記事をAIインシデントデータベースから抽出し、このツールの潜在的な誤用事例を提案します。

さらに、それらのエンベディングに基づいて、潜在的なユースケース、影響を受ける可能性のあるステークホルダーグループ、潜在的な危害を提案する機能を実装しました。危害の分類には、Renee Shelbyらによる社会技術的なアルゴリズムの危害に関する体系的レビューから得られた分類法を使用しています。

このように、Farsightは単なる危害の特定ツールではなく、開発の早期段階で危害を予見し、それを避けるための設計的思考を促進することを目指しています。重要なのは、このツールが危害の特定を代替するのではなく、補強することを意図している点です。学習の観点から、開発の初期段階で危害を予見する能力を育成することを目的としています。

3.2. 実験設計と評価

Farsightの効果を評価するため、責任あるAIと言語モデルのプロトタイピングに関する異なる習熟度を持つ42名の参加者を対象に、包括的な実験を設計しました。この実験では、ツールが危害の特定能力とアプローチにどのように影響するかを評価することを目的としました。

実験は被験者間比較と被験者内比較の両方の要素を含む設計としました。3つの条件を設定しました：

1. 完全版Farsight：すべての機能を含むバージョン
2. Farsight Light：関連ニュース記事の表示のみに機能を制限したバージョン
3. Envisioning Guide：従来型の対照群として、危害の分類法をPDFで提供

実験の構造は学習タスクを模して設計し、以下の手順で実施しました：

1. 事前タスク：与えられたアプリケーションに対して、独立して様々なステークホルダーグループへの潜在的な危害を特定
2. 介入：3つの条件のいずれかを使用
3. 事後タスク：事前タスクと同様の（同型の）タスクを独立して実施
4. インタビュー：ツールの使用体験について詳細な聞き取り

被験者内比較のため、一部のグループには異なる条件での追加実験も実施し、最後に再度インタビューを行いました。

評価の難しさとして特筆すべきは、参加者が記述した潜在的な危害のリストを評価する際の課題です。9-10名の評価者（実験条件や仮説を知らない）に評価を依頼しましたが、危害の可能性や深刻度の評価において評価者間の一致度が非常に低いことが分かりました。これは、各評価者の主観性、生活経験、専門知識などが評価に大きく影響することを示唆しています。このことは、コミュニティの参加型設計やコデザインの重要性を裏付ける結果となりました。

3.3. 主要な発見

Farsightの評価実験から、以下の重要な発見が得られました。

まず、Farsightを使用した後の事後タスクでは、ユーザーが独立して害を想定する能力が向上したことが確認されました。対照群と比較して、Farsightを使用したグループは、より多様な潜在的な害を特定することができました。

特に注目すべき点は、ユーザーと使用ケースへの注目度の変化です。対照群がモデルレベルの問題に焦点を当てる傾向があったのに対し、Farsightを使用したグループは、実際のユーザーや具体的なユースケースにより注目して分析を行いました。

また、ツールの使用は参加者の長期的・二次的な害への考慮にも影響を与えました。参加者はカスケード的な影響、つまり「もしこれが起こったら、それが次にこのような結果をもたらす可能性がある」といった連鎖的な影響をより多く考慮するようになりました。

興味深いことに、ツールは直接的な害の緩和策は提供していませんでしたが、Farsightを使用した条件の参加者は、プロトタイピング段階でより多くの潜在的な緩和策を検討するようになりました。

ツールの使用性と有用性に関しては、参加者から肯定的な評価を得ました。ただし、私の同僚と私がCHIで発表した論文で指摘したように、RAIツールの評価では、開発者がツールを使用できるかという使用性の評価と、そのツールが開発プラクティスや成果をどの程度改善したかという有効性の評価は、まったく異なる問題です。

この点を踏まえると、実際の開発プロセス全体を通じた生態学的に妥当な研究において、このツールがどの程度プラクティスを変更できるかについて、さらなる研究が必要です。論文ではこの点についてより詳しく議論していますので、ご興味のある方はそちらをご参照ください。

このように、Farsightは開発者の害の特定能力を向上させ、より包括的な視点での分析を促進する可能性を示しましたが、実際の開発環境での長期的な効果については、さらなる検証が必要です。

4. 今後の課題と展望

4.1. 学習環境の改善方向性

私たちの研究から、責任あるAIの学習環境改善に向けて、いくつかの重要な方向性が明らかになりました。

まず、社会的要素と技術的要素の統合方法について考える必要があります。RAIの学習において、これらの要素を別々のものとして扱うのではなく、学習目標、習熟度の実証方法、教育的アプローチの全てにおいて統合していく必要があります。特にエンジニアにとって、これは自身の訓練を受けた分野を超えた領域での作業となりますが、この統合は不可欠です。

高次の認知能力の育成も重要な課題です。現状の責任あるAIの学習は、定義の理解や事実の記憶といった基本的なレベルに留まっています。今後は、応用、分析、評価、創造といったより高次の認知スキルの育成に焦点を当てる必要があります。ただし、この種のスキルの評価方法については、まだ多くの課題が残されています。

さらに、スケーラビリティと協調学習のバランスをどう取るかという課題があります。大規模な技術企業では、効率性の観点から自己学習型のコースが好まれる傾向にありますが、参加者の多くが対面での議論や協働学習の重要性を指摘しています。たとえば、性差別のような社会技術的な概念は、ソフトウェアライブラリのドキュメントを読むよりも、ソクラテス的な対話を通じて学ぶ方が効果的です。

また、開発者が独自に学習リソースを探さなければならない現状から、より構造化された学習パスウェイの必要性も明らかになっています。これは、短時間の入門的なコンテンツから始まり、より深い学習へと導く「低い床、高い天井」のようなアプローチが有効かもしれません。

これらの改善に向けては、学習が行われる場所（大規模テクノロジー企業内か、オープンソースプラットフォーム上か、コミュニティベースか）によって、何が学ばれ、どのように学ばれるかが異なることも考慮に入れる必要があります。

4.2. 設計プロセスの改善

責任あるAIの取り組みを、単なる事前レビューやテストの段階から、より早期の問題形成や設計段階へと移行させる必要があります。これには、リソースやツールの開発だけでなく、プロセス自体の見直しも含まれます。

この点について、私たちは参加型AI（Participatory AI）に関する80本の論文を分析した研究を行いました。その結果、ほぼすべての論文がシステムのユーザーインターフェースに焦点を当てており、より広範な設計上の問題（そもそもそれを構築すべきか、AIを使用すべきか、どのような問題を解決しようとしているのか）に取り組んだものはごくわずかでした。

特に、現在の事前学習済み基盤モデルのパラダイムは、責任あるAIの文脈依存的な性質と潜在的に対立する可能性があります。フェアネスの意味は使用事例や文化的コンテキストによって大きく異なりますが、事前学習済みモデルを開発する側は、その潜在的な使用事例の膨大な範囲の害を予測することが求められます。

この課題に対して、参加型設計や価値感応型設計といった手法は、現在の事前学習済みモデルのパラダイムに合わせた適応が必要かもしれません。これは特に、モデルの歴史的な遺産を考慮する必要があります。この点については、私たちのEMOでの論文や、Harini SeshらのFACT2024での参加型AIと基盤モデルに関する研究で詳しく議論されています。

また、EUのAI法やアメリカのNISTフレームワークなどの新しい政策や規制の枠組みでは、リスク管理における人的要因の重要性が指摘されていますが、それをどのように実践するかについては、まだ多くの課題が残されています。

これらの課題に対処するためには、技術的なツールや手法の開発だけでなく、組織的なプロセスの変更や、開発者の意識改革も必要となります。特に、早期段階からの多様なステークホルダーの参加を促進し、技術的な実現可能性だけでなく、社会的な望ましさも考慮に入れた設計プロセスの確立が求められています。

5. 結論と示唆

5.1. RAIの学習・設計問題としての再概念化

私は冒頭で、責任あるAIの分野には学習と設計の問題があると述べました。この研究を通じて、その認識がより強固なものとなりました。

責任あるAIは単なる技術的な問題ではありません。現在、多くの組織で責任あるAIは技術的なチェックリストや評価指標の問題として扱われていますが、これは本質的な解決にはなりません。参加者の一人が「フェアネスについて、チェックリストの6項目をチェックすれば、モデルが公平になるというわけではない」と述べたように、より包括的なアプローチが必要です。

むしろ、責任あるAIは学習と設計の問題として再概念化する必要があります。これは、開発者が必要なスキルと知識を獲得し、それを効果的に適用できるようになるプロセスとして捉える必要があります。特に、技術的な側面だけでなく、社会的、文化的、倫理的な側面を含めた包括的な理解が重要です。

また、組織的・文化的要因の重要性も見逃せません。Tim Gebuらが指摘する「知識の階層性」を避け、AI開発の職業規範やアイデンティティ、認識論的文化を責任あるAIの方向へとシフトさせる必要があります。責任あるAIを別の誰かがやるべき別の何かとして分解するのではなく、AI開発文化の本質的な部分として組み込んでいく必要があります。

企業コンテキストの中でこれを実現することは難しい課題かもしれません。しかし、この分野全体として、教育的な刺激を通じて、より広範な価値観や規範に疑問を投げかけ、変革を促していく必要があります。これは単なる技術的なソリューションや規制の枠組みを超えた、より根本的な文化的変革を必要とする課題です。

5.2. 実践への提言と今後の研究課題

私たちの研究から、責任あるAIの実践と研究に関して、いくつかの重要な課題が浮かび上がってきました。

開発者教育については、社会技術的なトピックをどのように統合するかという課題があります。これは単に技術的なトピックに社会的な要素を付け加えるのではなく、学習目標、習熟度の実証方法、教育的アプローチのすべてにおいて、これらを有機的に結びつける必要があります。特に、より高次の認知能力の育成に焦点を当て、応用、分析、評価といったスキルをどのように評価するかという方法論の開発が必要です。

組織的な支援については、スケーラビリティと効果的な学習のバランスをどう取るかという課題があります。多くの参加者が対面でのソクラテス的な対話の重要性を指摘する一方で、組織はスケーラブルな自己学習コースを求める傾向にあります。この対立をどのように解消するかは、重要な検討課題です。

また、「ジャストインタイム」の学習と、より体系的な学習をどのようにバランスさせるか、異なる役割の開発者に必要なスキルセットをどのように定義するかといった課題も残されています。

さらに、開発プロセスを上流にシフトさせる方法についても研究が必要です。私たちの参加型AIに関する研究では、ほとんどの取り組みがユーザーインターフェースに焦点を当てており、より広範な設計上の問題（そもそもそれを構築すべきか、AIを使用すべきか、どのような問題を解決しようとしているのか）に取り組んだものは少なかったことが分かっています。

とりわけ、現在の事前学習済み基盤モデルのパラダイムにおいて、参加型設計や価値感応型設計といった手法をどのように適応させていくかは、大きな課題です。これらの手法は、モデルの歴史的背景を考慮しつつ、新たな文脈に適応させる必要があります。

最後に、技術的な問題としてではなく、学習と設計の問題として責任あるAIを再概念化することで、より効果的な実践と研究が可能になると考えています。これは単なる方法論の変更ではなく、AI開発の文化そのものの変革を必要とする課題であり、今後の研究における重要な方向性を示しています。