/w=3840,quality=90,fit=scale-down)
※本記事は、MIT Sloan Management ReviewのウェビナーセッションFuel AI Success With the Right Data and the Right Peopleの内容を基に作成されています。 本記事では、ウェビナーの内容を要約しております。なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、MIT Sloan Management Reviewの原典をご参照いただくことをお勧めいたします。 MIT Sloan Management Reviewは、技術的、社会的、環境的な力によって組織の運営、競争、価値創造の方法が再形成される中で、リーダーシップとマネジメントがどのように変革されているかを探求し、思慮深いリーダーたちが直面する課題と機会の把握を支援しています。
本セッションは、Union CollegeのBrate-Peschel統計学教授であり、「Leading Holistic Improvement With Lean Six Sigma 2.0」の共著者であるRoger W. Hoerl氏と、Data Quality Solutions社長であり「People and Data: Uniting to Transform Your Organization」の著者であるThomas C. Redman氏を講演者に迎え、MIT Sloan Management Reviewの編集長Abbie Lundberg氏がモデレーターを務めました。
1. 導入
1.1. AIプロジェクトの進展が遅い理由への問題提起
Thomas C. Redman氏： 私とRoger氏は長年にわたってデータサイエンスの進展が遅い理由について研究してきました。現在、AIプロジェクトの成功に必要な条件は整っているはずです。コンピューティング能力は向上し、より良いコンピュータプログラムが開発され、より多くの訓練を受けたデータサイエンティストが存在し、ビジネスニーズも高まっています。しかし、なぜか進展は期待されるほど速くありません。
私たちは、この問題を理解するために、これまでの経験を振り返り、何が機能し、何が機能しなかったのか、そしてその理由を分析してきました。その過程で、いくつかの重要な発見がありました。それは、時々お互いに「なぜもっと早くこのことに気づかなかったのだろう」と言い合うような重要な気づきでした。
今日は、特に相互に関連する2つの問題に焦点を当てて議論したいと思います。第一の問題は、データ品質が十分な注目を集めていないという点です。データ品質は「正しいデータ」と「データの正しさ」という2つの要素で構成されていますが、特に「正しいデータ」の部分が著しく軽視されています。AIに真剣に取り組む人々には、これらの問題、特に「正しいデータ」の基準に対してより多くの努力を向けていただきたいと考えています。
第二の問題は、より本質的な課題です。現在のAIは、誰も理解していないブラックボックスを使用して開発され、誰も信頼していないデータで訓練されたモデルに信頼を置くことを求めています。これは本当に私たちが望むべきアプローチなのでしょうか。
Roger W. Hoerl氏： 私たちの研究を通じて、AIプロジェクトの進展が遅い理由は、技術的な課題以外にも重要な要因があることが明らかになってきました。特に、データの品質とその活用方法について、より深い理解と適切なアプローチが必要だと考えています。また、経営陣のリーダーシップと技術チームとの適切な関係構築も、プロジェクトの成功には不可欠です。
この遅い進展の背景には、Gartnerのハイプサイクルが示すように、AIに対する期待が過度に高まった後の調整局面という側面もあります。昨夜、私はエコノミスト誌の興味深い研究を読みましたが、Gartnerのハイプサイクルが当てはまるケースもあれば、むしろハイプが終わった後に全く進展が見られないケースの方が多いことが示されていました。過去のAIブームを振り返ると、その数は数え方によって2から5回程度ありますが、データ品質の問題や推論の基盤の欠如がAIの冬の主要な要因とならないよう、私たちは注意を払う必要があります。
1.2. データ品質に関する2つの主要な課題
Thomas C. Redman氏： データ品質の問題において、私たちは2つの主要な課題に直面しています。まず、データ品質には「正しいデータ」と「データが正しいこと」という2つの重要な要素があります。しかし、AIの文脈において、特に「正しいデータ」の側面が十分な注目を集めていません。AIに真剣に取り組む組織は、これらの問題、特に「正しいデータ」の基準に対してより多くの努力を向ける必要があります。
第二の問題は、より根本的な課題です。現在のAIシステムは、誰も完全には理解していないブラックボックスを使用して開発され、さらに誰も完全には信頼していないデータで訓練されたモデルに依存しています。このような状況で、そのモデルに信頼を置くことを求められているのです。私たちは、これが本当に望ましいアプローチなのか、真剣に考える必要があります。
Roger W. Hoerl氏： 私たちの研究では、これらの課題に対する解決策として、統計的アプローチの重要性を強調しています。特にブラックボックスモデルの問題に関して、統計的な手法を用いることで、モデルの解釈可能性を高め、より信頼性の高いシステムを構築することができます。
データ品質の課題に関して、私は特に「正しいデータ」の側面に注目しています。多くの組織が「データが正しいこと」に焦点を当てる一方で、そもそも解決したい問題に対して適切なデータを使用しているかという、より本質的な問題を見落としがちです。これは、技術的な問題というよりも、むしろビジネス上の判断と深く関連しており、経営陣の積極的な関与が必要な領域だと考えています。
1.3. 経営陣の責任と技術者への過度な委任の問題
Roger W. Hoerl氏： AIプロジェクトの成功において、経営陣のリーダーシップは極めて重要です。私たちの研究では、経営陣がAIプログラムに対してより強いオーナーシップを持つことで、成功の可能性が高まることが明らかになっています。このプロセスは、モデルの訓練や運用に必要な適切なデータを特定することから始まります。これは単にデータチームに委任するような問題ではありません。経営陣は正しい質問を投げかけ、どのような答えを求めているのかを理解する必要があります。
Thomas C. Redman氏： 私の経験から、経営陣の責任の重要性は特に強調する必要があります。マネジメント101の基本的な問題として、「誰が責任者か」「マネジメントの責任は何か」という点が重要です。往々にして、適切なデータを得ることはモデル作成者の責任だと考えられがちですが、これは誤りです。これは明確にマネージャーの責任であり、モデル作成者の責任ではありません。
経営陣は、技術チームに過度に依存する傾向がありますが、これは危険です。なぜなら、モデル開発者は芸術家のように自分のモデルに恋をしてしまう傾向があるからです。数ヶ月から1年もの時間をかけてAIシステムを開発した人々は、当然ながらそのシステムに愛着を持ちます。彼らのモデルが良くないと指摘することは、新米の親に「あなたの赤ちゃんは醜い」と言うようなものです。そのため、開発者に「あなたのモデルはどうですか？」と尋ねても、「素晴らしい、うまく機能するはずです」という回答しか得られません。この問題を回避するためには、経営陣が責任を引き受け、委任を避ける必要があります。技術者と協力しながらも、この問題に対する適切なデータは何かを判断する責任は委任してはいけません。
これは、経営陣が技術的な背景を持っているかどうかに関係なく、重要な責任です。経営陣は、特定の問題を解決するためにそのデータが適切であることをどのように確認するのか、客観的な質問を投げかける必要があります。小さなデータセットでもバイアスがある場合、それを大量に集めても良い解決策にはなりません。むしろ、より多くのバイアスのあるデータを集めることになってしまいます。
2. 適切なデータの重要性
2.1. データ品質の2つの構成要素:正しいデータと正しさ
Thomas C. Redman氏： データ品質の本質を説明するために、具体的な例を用いて説明させていただきます。ある日、仕事で特にストレスフルな一日を過ごした後、運転して帰宅途中に子供の学校から電話がかかってきたとします。校長先生から「お子様が本日、喧嘩に関わっていました。喧嘩を止めようとしていた可能性もありますが、私たちには無寛容方針があり、喧嘩に関わった場合は1週間の停学処分となります」という連絡を受けます。
家に帰って、子供に「今日、学校はどうだった？」と尋ねると、子供は「お母さん、すごくよかったよ！スペインのテストでA-を取ったんだ！」と答えます。このとき、親として何を考えるでしょうか？子供がA-を取ったことを疑っているわけではありませんが、それは親が本当に知りたかった情報ではありません。そして、子供も親が何を聞きたがっているのかを理解していたはずです。
この事例は、データ品質の本質的な問題を示しています。まず、品質は常に利用者の視点で判断されます。この場合、親は子供の回答の品質を判断しているわけです。これは一般的な真理で、データを使用する人、アプリケーション、チームなどが、そのデータが高品質かどうかを判断します。
すべての現実の問題には2つの基本的な要素があります。一つは「正しいデータ」、つまりこの場合では停学に関連して学校で何が起こったのかということです。もう一つは「データが正しいこと」です。これら2つの基本的な特性は、すべての実際の問題において常に重要です。
時には、データが適切な形式で整理されているかという追加の要件も必要になることがあります。例えば、バーコードは製品に関する基本的なデータを提供しますが、それは人間が読むための形式ではなく、スキャナーが読み取るための形式で整理されています。AIの場合、ベクターデータベースとして形式化される必要がある場合もあります。
しかし、私たちが特に「正しいデータ」を強調する理由は、これがAIに関するデータ品質の議論において著しく軽視されているからです。両方の要素が重要であり、状況によってどちらかが支配的になることもありますが、「正しいデータ」の側面により多くの注意を向ける必要があります。
2.2. 適切なデータのフレームワーク
Thomas C. Redman氏： 私たちは「正しいデータフレームワーク」を開発しました。このフレームワークの出発点は、解決すべき問題の明確な定義です。これには、対象とする母集団の特定も含まれます。例えば、モデルが北東部だけで機能すればよいのか、米国全体で機能する必要があるのか、南北アメリカ全体で機能する必要があるのか、また男女両方に対して機能する必要があるのかなど、具体的な対象範囲を明確にする必要があります。
この問題定義は非常に重要で、モデル開発者と事業部門の担当者で異なる見解を持つことが容易に起こり得ます。次のステップは、正しいデータの基準を慎重に検討し、そこから対象となる母集団の問題に対応するデータを設計することです。
例えば、「ローン申請評価プロセスを改善する必要がある」という高レベルな表現があったとします。これは一見良い問題提起に見えますが、より深く掘り下げる必要があります。「改善」が単に以前と同じことをより安価に行うことを意味するなら、既存のローン申請データで十分かもしれません。しかし、もしプロセス全体のバイアスを懸念しているのであれば、より偏りの少ないデータが必要となり、それを入手するのは困難かもしれません。
また、「改善」が回答をより良く説明できることを意味するなら、AIは最適な解決策ではないかもしれません。AIは説明可能性の面で課題があるためです。さらに、「改善」が正常に返済されるローンを増やし、延滞ローンを減らすことを意味する場合、既存のデータには重要な制限があります。なぜなら、手元にあるデータは承認したローンに関するものだけで、却下したローンについてのデータがないからです。
Roger W. Hoerl氏： このフレームワークの重要な点は、問題定義とデータ基準の密接な関係です。私たちの経験では、多くの組織が既存のデータから出発し、「このデータで何ができるか」を考えがちです。しかし、これは本末転倒です。常に問題から出発し、その問題に合わせてデータを見つけるアプローチを取るべきです。問題が十分に定義され、すべての関係者が合意した後で初めて、必要なスキルセットが明確になり、適切なデータの収集方法を検討することができます。
2.3. 6つの基本的な適切データ要件の提示
Thomas C. Redman氏： 私たちはAIに真剣に取り組む組織のための6つの基本的な「正しいデータ要件」を特定しました。これらの要件について、私たちの論文で詳しく説明していますが、各要件の重要性について説明させていただきます。
まず、トレーニングデータは解決しようとしている問題に関連性がある必要があります。理想的には、問題解決に関連するすべてのデータの完全なセットを持つべきです。必ずしも無関係なデータを排除する必要はありませんが、重要なのは、問題に関連する可能な限り多くのデータを持つことです。
次に、包括性と適切な代表性です。これは、関心のある母集団全体をカバーするトレーニングデータを持つことを意味します。例えば、返済実績の良いローンを増やすことを目指す場合、却下されたローン申請のデータがないことが大きな課題となります。潜在的に良い借り手が却下されているかもしれず、そのデータが得られないという問題があります。
バイアスからの自由も重要な要件です。偏向のあるアルゴリズムがニュースになることは多く、多くの人々がこの問題に精通していると思います。
一部のケースでは、適時性が重要になります。また、データが何を表しているのかについて、非常に明確な定義が必要な場合もあります。
最後に、適切な除外基準は包括的な要件です。例えば、一部の人々は個人情報のモデリングへの使用をオプトアウトしている可能性があり、除外基準はそのようなオプトアウトした人々のデータや、使用が違法な情報が分析に含まれないようにすることを目的としています。
私たちは、これらの要件のそれぞれを困難な要件と考えています。ほとんどの人にとって、これらの要件は馴染みがないかもしれません。特定の問題では、バイアスや時間性を気にする必要がない場合もあるでしょう。しかし、これらの要件を一つずつ検討し、対象となる問題に必要な要件を正確に特定し、その後、使用を提案されているデータをこれらの要件と比較することが賢明な方法です。
Roger W. Hoerl氏： これらの要件は、私たちが「正しいデータ」を評価する際の基準として機能します。特に重要なのは、これらの要件が相互に関連していることです。例えば、バイアスの問題は代表性の問題と密接に関連しており、時間的な適切性は完全性の問題と結びついています。また、これらの要件は、データの収集段階から考慮される必要があり、後付けで対応することは困難です。
3. 統計学の役割
3.1. 統計学が持つユニークな技術的強み
Roger W. Hoerl氏： 私たちが統計学の重要性を主張する理由は、統計学が「正しいデータ」を理解するための独自の技術を持っているからです。その中でも特に重要なのが、実験計画法です。これは統計学の一分野で、特定の問題に対する最良のデータを取得する方法を見出すことに完全に焦点を当てています。実験計画法における思考プロセスは、「ここに問題があります。では、この問題に答えるためにどのようなデータを使用できるでしょうか」という問いに対する最適な回答を導き出すのに非常に有効です。
また、統計的プロセス制御も重要な技術の一つです。これは、時間の経過に伴うプロセスの安定性を観察する方法論です。特に金融アプリケーションでは、古いデータが完全に無関係になる可能性があるため、データの時間的安定性を理解することが重要です。統計的プロセス制御は、プロセスの安定性を理解し、関心のあるデータを収集するための適切な時間枠を特定するのに役立ちます。
Thomas C. Redman氏： 私も統計学の強みについて補足したいと思います。特にベイズの定理とベイズ的手法は、非常に重要な役割を果たします。ベイズの定理は条件付き確率、つまりBが発生した場合のAの確率について扱いますが、これを拡張したベイズ的手法は、ドメイン知識や主題知識を推定プロセスに直接統合することを可能にします。
つまり、関心のあるデータを取得することに加えて、既に持っているドメイン知識をどのように組み込むかについても指針を提供してくれます。これは、重要な主題知識を持っている場合に大きな利点となります。実際の業務では、データだけでなく、その分野の専門知識も重要な役割を果たすことが多いため、この能力は非常に重要です。
統計学がもたらすこれらの技術は、コンピュータサイエンスやデータサイエンスの手法を補完するものであり、特に「正しいデータ」の特定と収集において大きな価値を持っています。これらの技術を組み合わせることで、より信頼性の高いAIシステムを構築することが可能になります。
3.2. 科学的手法の維持の重要性
Roger W. Hoerl氏： 科学的手法は人類史上最大の知的成果の一つです。これは、神々や女神たち、占星術師、デルフィの託宣などに取って代わるものでした。しかし、AIの文脈においてこの科学的手法が軽視される傾向があることを私は懸念しています。AIには常識が欠如していることがよく知られていますが、これはドメイン知識の欠如という形で具体的な問題を引き起こしています。
この問題を示す興味深い事例があります。数年前、Googleで検索すれば見つかる事例ですが、Amazonの自動価格設定アルゴリズムが一般的な生物学の入門書の価格を400万ドルに設定するという出来事がありました。これは特別な版でも希少な版でもない、ごく普通の生物学の教科書でした。10歳の子供でさえ、生物学の教科書が400万ドルの値段がつくはずがないことは分かります。これは常識です。しかし、AIはデータにある情報しか知りません。データに含まれていない情報については、AIは全く理解できないのです。
Thomas C. Redman氏： 私たちの論文でも言及していますが、Ali Rahimiの指摘は非常に重要です。彼は、機械学習アルゴリズムがブラックボックスであることと、分野全体がブラックボックス化し始めていることには大きな違いがあると指摘しています。私たちは、科学的手法を、誰も完全には理解できないブラックボックスで置き換えることは避けるべきです。特に、そのブラックボックスが、私たちが完全には信頼していない、あるいは信頼すべきではないデータで訓練されている場合はなおさらです。
科学的手法の維持は、単なる理論的な問題ではありません。ドメイン知識の統合は、AIシステムの信頼性と実用性を高める上で極めて重要です。私たちが開発するAIシステムは、科学的手法に基づく検証可能性と、ドメイン専門家の知識を組み込む能力を備えている必要があります。これは、統計的なアプローチと組み合わせることで初めて可能になります。
3.3. AIの推論基盤におけるギャップ
Roger W. Hoerl氏： 私たちは、AIにおける推論の基盤に重大なギャップが存在していることを指摘しています。例えば、特定のデータセットで機械学習モデルやAIシステムを訓練し、それがうまく機能したとしても、異なる時間枠で、異なる状況下で収集された別のデータセットに対してもそのモデルが機能するという保証はありません。この推論の基盤に関するギャップは深刻な問題です。
特に重要なのは、一つのデータセット内でのサンプル外テストだけでは不十分だということです。なぜなら、テストデータと訓練データは本質的に同じデータセットの一部であり、同じ時間枠で、同じ状況下で収集されているからです。真の検証には、異なる条件下で収集された追加のデータが必要なのです。
Thomas C. Redman氏： これらの課題に対する解決策として、私たちは統計的なアプローチを提案しています。統計モデルは定義上、より単純で、現実世界での解釈が可能です。例えば、線形回帰を考えてみましょう。傾きが5である場合、それはX1が1単位増加するとYが5単位増加すると予測されることを意味します。これは単純かもしれませんが、より良い方法も確かにありますが、少なくとも解釈可能です。これにより、ドメイン知識を用いて「これは本当に意味をなすのか」「主題に関する知識と整合性があるのか」を判断することができます。
また、統計学は確率を正式な形で組み込むことで不確実性を定量化することができます。これは、AIの重大な問題点の一つである「間違っているときでも非常に自信を持っている」という課題に対処するものです。私自身の経験として、ChatGPTを試してみた際、私について尋ねたところ、いくつかの正しい情報と共に、私がBaxter Internationalの上級副社長だったという誤った情報を提供しました。私は一度もBaxterで働いたことはなく、ChatGPTがどこからその情報を得たのか全く分かりません。しかし、その不確実性を定量化せず、まるで事実であるかのように述べたのです。
これらの問題に対処するため、私たちは常に不確実性を定量化し、モデルの予測や分類の信頼性を評価する必要があります。統計的なアプローチは、この不確実性の定量化と解釈可能性の確保において重要な役割を果たすことができるのです。
4. チーム構成と責任
4.1. 経営陣の究極的な責任
Roger W. Hoerl氏： 私たちはここで、皆さんがすでにご存知のことを繰り返すことになりますが、それは極めて重要な原則だからです。マネージャーが最終的な責任を負うということです。私たちは権限を委任することはできますが、責任を委任することは決してできません。もしモデルが破綻した場合、説明を求められ、責任を問われるのは、担当している管理職の方々です。
Thomas C. Redman氏： 私の経験では、経営陣から技術者への過度な権限委譲が見られることがあります。これは、経営者が技術的な背景を持っていない場合に特に顕著です。しかし、これは非常に危険な傾向だと考えています。ここで注意していただきたいのは、私とRogerは両方とも技術者であり、決して技術者を否定しているわけではありません。
George Boxの言葉を借りれば、「モデル開発者は芸術家のように自分のモデルに恋をしてしまう悪い癖がある」という指摘があります。AIの文脈では、数ヶ月、場合によっては1年もかけて機械学習モデルやAIシステムを開発した人々は、当然ながらそのシステムに愛着を持つことになります。そのような状況で、彼らのモデルが良くないと指摘することは、新米の親に「あなたの赤ちゃんは醜い」と言うようなものです。決して上手くいきません。
そのため、開発者に「あなたのモデルはどうですか？」と尋ねても、常に「素晴らしい、うまく機能するはずです」という回答しか得られません。この問題を回避するために、私たちは経営陣がより積極的に責任を引き受け、過度な委任を避けるべきだと考えています。もちろん技術者と協力は必要ですが、特定の問題に対する適切なデータを判断する責任は委任してはいけません。
経営陣は、問題の最初から最後まで、徹底的な質問を投げかける必要があります。また、統計的なスキルを持つ人材を、その最終学位に関係なく、チームに加えることを推奨します。これは、コンピュータサイエンティストやデータサイエンティストに取って代わるためではなく、彼らを補完するためです。
4.2. 技術的多様性の必要性
Roger W. Hoerl氏： AIチームを編成する際、私たちは技術的な多様性について十分に議論していないと感じています。チームが「インチ幅でマイル深さ」、つまり非常に狭い範囲で深い専門性を持つのではなく、幅広い専門知識を持つことが重要です。もちろん、優れたコーダー、AI開発者、データサイエンティストは必要不可欠です。しかし、それに加えて、実験計画法のような統計的概念を理解している人材もチームに含めることが重要です。
統計学の知識を持つメンバーは、特に「正しいデータ」の定義と収集において重要な役割を果たします。統計学の専門家は、データの収集方法、実験設計、バイアスの検出、不確実性の定量化など、AIプロジェクトの成功に不可欠な視点を提供することができます。
Thomas C. Redman氏： 私の経験から、チームの多様性は単なるスキルセットの問題ではありません。それは問題へのアプローチの仕方の多様性でもあります。例えば、「愚かな質問をする能力」は実際には非常に価値のある多様性の一つです。異なる背景を持つ人々が異なる視点から質問することで、問題の新しい側面が明らかになることがよくあります。
様々な分野の専門家が集まることで、それぞれの視点から問題を見つめ直し、より包括的な解決策を見出すことができます。しかし、これには時間がかかります。すぐにコーディングを始めたい、問題解決に着手したいという誘惑は常にありますが、これは技術分野に限らず、すべての分野で見られる傾向です。チームが様々な視点から問題を検討し、全員が「そうだ、これが私たちが解決したい問題だ」と言えるようになるまで、時間をかけて議論することが重要です。
4.3. 失敗に関する議論の重要性
Roger W. Hoerl氏： 私たちの提言の中で、配置前とその途中段階における失敗に関する議論を強制的に行うことを推奨しています。確かに、誰も失敗について話したがらないものです。しかし、AIには何の保証もありません。GoogleやAmazonといった非常に優秀な企業でさえ、大きな失敗を経験しています。
そのため、失敗の可能性について前もって議論し、カードをテーブルの上に並べることが重要です。単に最良の結果を期待するのではなく、システムがどのように失敗する可能性があるかを意識的に考える必要があります。そうすることで、それらの失敗をどのように軽減または防止できるかについての議論が可能になります。
Thomas C. Redman氏： 私たちは多くの人々と失敗の可能性について議論してきましたが、「失敗することはありません。私の評判をかけて保証します」というような反応をよく目にします。しかし、実際には失敗は起こり得ます。AIシステムの場合、その複雑さゆえに、予期せぬ方法で失敗する可能性が常にあります。
私の経験では、失敗に関する議論を避けることは、実際にはリスクを高めることになります。代わりに、潜在的な失敗モードを特定し、それらを緩和または防止するための方法を事前に検討することが重要です。これは単なるリスク管理以上のものです。失敗について話し合うことで、チームはより良い設計決定を行い、より強固なシステムを構築することができます。
また、失敗に関する議論は、経営陣が適切な期待値を設定し、必要な保護措置を講じるためにも重要です。このような議論は、プロジェクトの早い段階から定期的に行われるべきであり、それによって潜在的な問題を早期に特定し、対処することが可能になります。
5. 実践的な提言
5.1. マネージャーの責任放棄を避ける方法
Roger W. Hoerl氏： 私たちの経験から、マネージャーは常に問題の本質に立ち返って考える必要があります。問題の定義の段階から、鋭い質問を投げかけ続けることが重要です。もし課題が最後の段階で発見されれば、それは大きな損失につながります。そのため、プロジェクトの早い段階から、適切な質問を投げかけることが重要です。
特に重要な問題は、「正しいデータの基準を満たすトレーニングデータをどのように取得するのか」という点です。これは、私たちが正しいデータの基準について合意していることを前提としており、さらにその前提として、問題が慎重に定義されている必要があります。私たちはここで、問題に基づいてすべてを組み立て、その後でデータについて話し合うというアプローチを取っています。
Thomas C. Redman氏： 私の経験では、多くの場合、「素晴らしいデータセットがあるから、これで何ができるだろうか」というアプローチから始めてしまいがちです。これは、馬車を馬の前に置くようなものです。常に問題から出発し、その問題に合わせてデータを見つけるアプローチを取るべきです。
また、マネージャーはデータの本質を理解する必要があります。人々がデータについて完全に理解しているか、それがどこから来たのか、いつ取得されたのか、誰が取得したのか、どこから取得したのか、どのような状況下で取得されたのか、何か削除されたものはあるのか、何か修正されたものはあるのかを確認する必要があります。
私はUnion Collegeで大規模データのコースを教えていますが、学生たちは大規模なデータセットを持ってきてモデルを適用し始めます。そこで私は「ちょっと待って、このデータについて教えてください。どこから来たのですか？」と尋ねると、「KaggleやUCI機械学習リポジトリから取得しました」という答えが返ってきます。確かにそこからダウンロードしたのでしょうが、そもそもこのデータは誰が最初に取得したのでしょうか？どのような状況で取得されたのでしょうか？そのような基本的な質問に対して、多くの場合「分かりません」という答えが返ってきます。しかし、Kaggleにあるから良いデータに違いないという前提は危険です。データの出所や性質を理解せずにモデル化することは、非常に危険な行為なのです。
5.2. データの前段階からの評価の重要性
Roger W. Hoerl氏： データの前段階からの評価は、AIプロジェクトの成功に不可欠な要素です。私が特に強調したいのは、モデリングを始める前に、データについての完全な理解が必要だということです。データがどこから来たのか、誰が収集したのか、いつ収集されたのか、どのような条件下で収集されたのか、何か削除や修正が行われたのかなど、これらの基本的な質問に答えられない限り、そのデータを使用してモデルを構築することはリスクが高いと言えます。
Thomas C. Redman氏： アインシュタインの言葉を借りれば（正確な引用ではありませんが）、「もし世界を救うために1時間しか時間がなければ、59分を問題を理解することに使い、残りの1分で解決策を考える」というものがあります。この考え方は、データの評価にも当てはまります。データの本質を理解するための簡単な近道は存在しません。
私の場合、統計家として全く新しい分野に入っていくとき、人々が問題を説明してくれますが、それが本当の問題なのかを理解するために、一見愚かに見える質問を多く投げかけます。そして2、3日後に新しい問題が浮上し、さらに2、3日後に別の問題が出てきます。そこで上司に確認が必要になったり、他の人の意見を聞く必要が出てきたりします。
私は、問題を確実に把握するための単純な手順は存在しないと考えています。ビジネスの現場にいる人々にとって、問題は明確かもしれませんが、多くの場合、それは「目の前の痛みからの解放が必要」という即時的な問題であり、より長期的な問題とは異なることがあります。そのため、様々な視点からの検討が必要で、一見愚かな質問を投げかける能力も、多様性の重要な一側面となります。物事が熟成し、チーム全体が「そうだ、これが私たちが解決したい問題だ」と言えるようになるまで、時間をかける必要があるのです。
5.3. チーム編成における多様なスキルセットの確保
Roger W. Hoerl氏： 私たちが提案するAIチームの編成において、最も重要なのは技術的な多様性です。チームが「インチ幅でマイル深さ」、つまり非常に狭い範囲で深い専門性を持つのではなく、幅広い専門知識を持つことが重要です。もちろん、優れたコーダー、AI開発者、データサイエンティストは必須ですが、それに加えて、実験計画法のような統計的概念を理解している人材もチームに含める必要があります。このような多様性があって初めて、プロジェクトの成功確率が高まります。
Thomas C. Redman氏： 私の経験から、チーム編成における専門性の問題は、単なるスキルセットの寄せ集めではありません。それぞれの分野の専門家が、お互いの専門性を理解し、尊重し合える環境を作ることが重要です。例えば、統計的な知識を持つメンバーは、データの収集方法や実験設計について重要な示唆を提供できますし、ドメイン専門家は、データの文脈や業務上の制約について重要な情報を提供できます。
さらに、チームメンバーには「愚かな質問をする能力」も重要です。これは実際には非常に価値のある多様性の一つです。異なる背景を持つ人々が、それぞれの視点から質問することで、問題の新しい側面が明らかになることがよくあります。すぐにコーディングを始めたい、問題解決に着手したいという誘惑は常にありますが、これは技術分野に限らず、すべての分野で見られる傾向です。チームが様々な視点から問題を検討し、全員が「そうだ、これが私たちが解決したい問題だ」と言えるようになるまで、時間をかけて議論することが重要です。
多様な専門性を持つチームを構築することで、プロジェクトの各段階で必要となる様々な視点と専門知識を確保することができます。これは、問題の定義から、データの収集、モデルの開発、そして実装に至るまで、プロジェクト全体の質を向上させる重要な要素となります。
6. 質疑応答での重要な指摘
6.1. ドメイン知識と統計的専門性の統合
Roger W. Hoerl氏： 問題の最初の定義から、ドメイン知識と統計的な専門性の両方が必要不可欠です。私たちの主張は、統計家だけで問題を解決できるということでは決してありません。むしろ、これらの異なる専門性を持つメンバーが、効果的に協働できるチーム構造を作ることが重要です。問題定義の段階で、ドメイン知識を持つ人々と統計的な専門知識を持つ人々が議論を交わすことで、より包括的な問題理解が可能になります。
Thomas C. Redman氏： 質疑応答で指摘されたように、統計家が業務やオペレーションについての深い知識を持っていない場合、適切なデータ選択の重要な側面を見落とす可能性があります。これは非常に的確な指摘です。私の経験では、最も成功したプロジェクトは、異なる専門分野の人々が互いの価値を認め、それぞれの視点を尊重し合える環境が整っている場合でした。
ドメイン知識は、統計的な専門性と密接に統合される必要があります。これは特に、海洋や気候のような専門分野では顕著です。そのような分野では、統計的な能力はドメイン専門知識と不可分の関係にあります。私たちが提案しているのは、これらの異なる視点を持つ専門家が、プロジェクトの早い段階から協力し合い、それぞれの専門知識を活かしながら、より良い解決策を見出していくアプローチです。
正しい質問を投げかけることができるのは、多くの場合、ドメイン知識を持つ人々です。一方で、それらの質問に答えるための適切なデータ収集方法を設計できるのは、統計的な専門知識を持つ人々です。この相互補完的な関係を理解し、活用することが、AIプロジェクトの成功には不可欠なのです。
6.2. 完璧なデータセットの存在しない現実
Roger W. Hoerl氏： 私はUnion Collegeで統計学と機械学習を教えていますが、それ以前に民間セクターで30年近く働いていた経験があります。この経験から私の学生たちに常に伝えているのは、完璧なデータセットというものは存在しないということです。多くの人々はデータを「正しい」か「間違っている」かの二択で考えがちですが、これは大きな単純化です。
現実の世界では、理想的なデータを得ることは極めて稀です。例えば、私たちが臨床試験を行う場合、地球上のすべての人間を対象にすることは不可能です。そのため、できる限り理想に近いデータを収集し、同時にそのデータの限界を明確に認識する必要があります。
Thomas C. Redman氏： 私の経験からも、最適なデータの収集には常に現実的な制約が伴います。例えば、予算の制約で200万ドルかかるデータセットを入手できない場合もあります。このような状況で重要なのは、利用可能なデータの強みと弱みを十分に理解することです。
私たちが実際に使用するデータの限界を理解し、それに基づいてシステムの限界を認識することが重要です。例えば、「このシステムは小規模な融資には大規模な融資ほど効果的ではないかもしれない」とか、「このシステムはメキシコではカナダほど効果的に機能しないかもしれない」といった具合に、データの制約に基づいてシステムの限界を明確にする必要があります。このような限界の認識と明確な伝達が、システムの適切な運用と信頼性の確保につながります。
6.3. LLMsに対する小規模で特化したモデルの将来性
Thomas C. Redman氏： 私たちが現在見ているChat GPTなどの大規模言語モデルは、インターネット全体を基にしています。しかし、インターネット上には多くの誤った情報が存在することを私たちは知っています。インターネット上の情報を確認せずに使用すると、必然的に良くない結果が生じることになります。これは、LLMsが私がBaxter Internationalの上級副社長だったと主張するような誤りを生む原因となっています。
私の考えでは、これらの大規模言語モデルの将来は、インターネット全体を使用することではなく、むしろ慎重に選択されたデータセットを使用することにあります。特定の組織のニーズに合わせて、データを検証し、確実に正しいデータであることを確認できる環境で構築することが重要です。
Roger W. Hoerl氏： より多くのデータを集めることではなく、より良質なデータを得ることが重要だと私は考えています。LLMsが実際に有用な結果を出すためには、高品質なデータに基づいて構築される必要があります。
また、将来的には、一つの大規模な言語モデルよりも、会社の最も重要な50の業務に関連した小規模な言語モデルを持つ方が有用かもしれません。研究者は大規模で優雅なモデルを好むかもしれませんが、小規模な言語モデルの方が、特定の問題に対する高性能な解決策として機能する可能性があります。これは、散弾銃と高性能ライフルの違いのようなものです。特定の問題を解決するために高性能ライフルがあるなら、散弾銃を使う必要はありません。
私たちは、より小規模で、より焦点を絞った、そして統計的な対応物を持つモデルによって、これらのシステムをより良く理解し、活用できるようになると考えています。これが、AIの実用的な進化の方向性だと考えています。