※本記事は、2023年のGoogle Cloud Nextで開催された「Generative AI Use Cases, Patterns, and Best Practices」セッションの内容を基に作成されています。登壇者はDonna Schut氏（Google Cloud - Technical Solutions Management Team Lead for Generative AI）、Kevin Tsai氏、Ignacio Garcia氏（Vodafone - Global Director of Data Analytics & AI, CIO of Vodafone Italy）、Arvind Krishnan氏（Blue Core - Head of Engineering）です。 セッションの完全版は https://goo.gle/next23 でご覧いただけます。本記事では、セッションの内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルのセッション動画をご視聴いただくことをお勧めいたします。 このセッションは、ジェネレーティブAIのプロトタイピングからビジネス価値の創出まで、技術リーダー向けにユースケース、一般的な構築パターン、実装のベストプラクティスを解説したものです。Google Cloudの最新情報については、Google Cloud公式チャンネルをご参照ください。
1. パネリストの紹介-登壇者プロフィール
Nema dakiniko氏：皆さん、ご参加ありがとうございます。私はGoogle社のGenerative AIポートフォリオのプロダクトマネージャーを務めております。本日は素晴らしいゲストの方々をお迎えしていますので、順番に自己紹介をお願いいたします。
Ignacio Garcia氏：皆様、こんにちは。私はVodafoneのグローバルデータアナリティクスおよびAIディレクターを務めており、同時にVodafone Italyのチーフインフォメーションオフィサーも担当しております。
Arvind Krishnan氏：私はBlue Coreのエンジニアリング部門の責任者として、エンジニアリング、データサイエンス、およびソリューションアーキテクチャチームを統括しています。
Donna氏：私はGoogle CloudのGenerative AI部門でテクニカルソリューションマネジメントチームをリードしています。Arvinのソリューションアーキテクチャチームと協力して、AI解決策の特定、設計、構築を行っており、機械学習インフラストラクチャも担当しています。
この4名のパネリストは、それぞれの組織でジェネレーティブAIの実装と展開において重要な役割を担っており、本セッションでは彼らの実践的な経験と知見が共有されることになります。
2. ビジネスユースケース
2.1. Google Cloudの事例
Donna氏：優先順位付けの方法から説明させていただき、その後具体的なユースケースをご紹介します。私たちは常に顧客価値を重視し、どこにフリクションポイントがあるかを注意深く観察しています。また、社内の研究チームと連携し、その革新的な成果をお客様にどのように提供できるかを検討しています。
具体的な事例として、約1年半前に取り組んだAlphaFoldのGoogle Cloud実装についてお話しします。DeepMindの画期的な研究成果であるタンパク質折りたたみ問題の解決方法を、実際のビジネス環境で活用可能にしました。タンパク質の構造を理解することは、創薬プロセスにおいて極めて重要です。しかし、医療機関がこれを活用するためには、再現性やスケーラビリティ、コスト効率性といった追加要件が必要でした。私たちはこれらの要件を満たすソリューションとしてGoogle Cloud上でAlphaFoldを実装しました。
製品カタログ管理の分野では、新製品の分類、検索のためのラベル付け、ウェブサイトコピーの作成などを自動化しています。ArvinとBlue Coreのチームはこの分野で素晴らしい成果を上げています。
カスタマーサービス業務においては、単なるチャットボットを超えた取り組みを行っています。例えば、SREチームのポストモーテム検索や要約支援、サポートエージェントの業務支援における要約作成や次のステップの提案など、幅広い活用を進めています。この分野ではIgnacioとVodafoneのチームが優れた実績を上げています。
このように、私たちは単なる技術実装ではなく、実際のビジネス課題に対する包括的なソリューションの提供を目指しています。各事例において、技術の革新性と実用性のバランスを取りながら、確実な価値創出を実現しています。
2.2. Blue Coreの事例
Arvind Krishnan氏：まず、Blue Coreの事業について説明させていただきます。私たちは、顧客識別とカスタマームーブメントのプラットフォームを提供しており、大手小売企業と協力して、購入者を継続的な顧客に転換する支援を行っています。
これまでに、従来型のAIを活用して、ファーストパーティデータ（購入者情報、行動データ）と製品情報を活用した20以上の小売モデルを開発してきました。これらのモデルは私たちのプラットフォームに組み込まれており、マーケターはこれらのモデルを使用してキャンペーンやオーディエンスを作成できます。生成されるコンテンツ、配信チャネル、タイミングはすべて購入者ごとにパーソナライズされています。
ジェネレーティブAIの登場により、私たちは2つの領域に注目しました。1つはプラットフォーム機能の改善、もう1つは顧客サービスの向上です。特に重要な課題は、非構造化製品カタログデータをGoogleの製品分類システムにマッピングすることでした。
例えば、ある小売業者がアイテムを「Tシャツ」と呼び、別の小売業者が「トゥルーカットTシャツ」と分類する場合があります。これらをGoogleの分類体系で標準化すると、「Tシャツ」はアパレルカテゴリーのシャツの下位分類として整理されます。
この製品カタログの標準化には複数のメリットがあります：
- モデルの精度向上
- 顧客による製品カタログ内のパフォーマンス分析の実現
- 小売業界全体のトレンド分析の可能性
従来のAIではこの特定の問題を解決できませんでしたが、ジェネレーティブAIを活用することで、効果的な解決策を見出すことができました。
2.3. Vodafoneの事例
Ignacio Garcia氏：まず、Vodafoneの事業規模と複雑さをご理解いただくために、私たちの状況を説明させていただきます。私たちは、モバイル、テレビ、固定回線、IoTなど、包括的なサービスを提供しており、ヨーロッパとアジアを中心に3億人以上の顧客を持ち、数十億のIoTデバイスを管理しています。多言語環境での運用が必要であり、これが私たちの課題の一つとなっています。
Googleとのパートナーシップにおいて、クラウドとデータ分野での協力を進めてきました。プライバシーに関する欧州の規制に対応しながら、データの適切な管理、匿名化、セキュリティ確保に注力しています。
具体的なユースケースとして、イタリアでの実装例をご紹介します。コールセンターへの顧客の通話をテキストに変換し、問題の要約を自動生成しています。この取り組みの主な目的は、顧客からの問い合わせリスクを減らし、不満を持つ顧客（デトラクター）を特定することです。従来の調査やアンケートに頼る方法と比べ、大きなパラダイムシフトを実現しました。
従来は調査を実行してスコアを収集し、コメントを分析するチームが解釈を行い、技術的な問題と照らし合わせて判断を下すというプロセスでした。しかし現在は、顧客の声を直接、精緻に分析できるようになりました。これは私たちの解釈ではなく、顧客が実際に言っていることを正確に理解できるという大きな変化です。この取り組みにより、デトラクターを30%削減するという目標に向けて順調に進んでいます。
さらに、3つの主要な領域での展開を進めています：
- チャットボットの実装：多言語環境での運用は費用と時間がかかり、精度も十分ではありませんでしたが、初期のテストでは従来と比べて大きな改善が見られています。
- コパイロット機能：技術チームのコーディング支援では10倍の生産性向上が見られています。また、M&Aで獲得した複数のレガシーシステムのドキュメント化や、失われつつある知識の保存にも活用しています。
- ナレッジマネジメント：大規模な組織での知識管理は大きな課題でしたが、この改善により顧客サービスの質を大きく向上させることができています。
これらの取り組みは、いずれも顧客サービスの質的向上とビジネス効率の改善に大きく貢献しています。
3. 技術的実装の考慮点
3.1. アーキテクチャ設計
Kevin氏：Donnaのチームと私のチームは、多くの異なるビジネスユースケースでジェネレーティブAIを適用してきました。興味深いのは、いくつかの技術的パターンが様々なユースケースで共通して浮かび上がってきたことです。
第一のパターンは、LLMの外部にあるデータをアプリケーションに取り込む方法です。これは特にカスタマーサポートのユースケースで重要です。非常に一般的な技術パターンとして、埋め込みモデルを使用して非構造化データを処理し、ベクターデータベースでインデックス化する方法があります。現在、Matching EngineはVector Searchと呼ばれるようになり、非常に人気のあるオプションとなっています。また、PG Vectorを備えたLODBなど、多くの選択肢が出てきています。インデックス化後は、画像やテキストなどの非構造化データを非常に迅速に取得できるようになります。
もう一つの新しいタイプのデータ取得方法として、Codeのようなコーディングモデルを使用してSQLを生成し、リレーショナルデータベースにアクセスしたり、Cypherを生成してneo4jにアクセスしたりする方法が登場してきています。
さらに注目すべき領域として、これらの言語モデルや変換モデルを、画像やテキスト以外のユースケースに適用する動きが出ています。例えば、パートナーのFull Storyと協力して、ユーザーイベントを分析・予測するシーケンスモデルの構築を支援しています。
興味深い例として、AlphaFoldはトランスフォーマーモデルですが、言語や画像を生成するのではなく、タンパク質構造を生成します。DeepMindの研究成果を実用化するにあたり、推論パイプラインを複数のステップに分解しました。初期段階では大量のデータ取得が必要なため、高IOPのCPUノードを使用し、後半の計算集約的な段階ではNVIDIA A100 GPUを使用することで、最適化を実現しています。このように、研究から本番環境への移行において、再現性の確保が重要となります。実験の追跡にはVertex Metadataを使用し、すべてのプロセスを自動化するためにVertex Pipelinesを活用しています。
3.2. スケーラビリティとセキュリティ
Ignacio Garcia氏：スケーラビリティと再現性は、私たちの最重要課題です。欧州では各国でGDPRの解釈が異なり、それぞれの国固有の規制に対応する必要があります。また、モデルにバイアスがないことを確認し、それらのバイアスを検出する仕組みも必要です。欧州はアメリカとは異なる規制環境にあり、多くの要件に対応しなければなりません。
このような規制対応に時間を費やすと、データサイエンティストは本来の業務である モデル開発に99%の時間を使えなくなってしまいます。そこで私たちは、アーキテクチャ的に以下のような解決策を実装しました：
- データ転送の問題を分離：データの到着を確実にする仕組みを構築し、すべてのデータパイプラインでデータの暗号化、匿名化、モニタリングを行うエンジニアリングチームを設置しました。
- BigQueryをスタンダードとして採用：これにより、データの処理と保管を標準化しました。
- Vertex AIを基盤としたAIブースターの構築：私たちは早期にVertex AIを採用し、これを基にAIブースターというシステムを構築しました。これにより、独自のデータと外部データを組み合わせたモデルの実行が可能になりました。
この3層のアーキテクチャにより、データサイエンティストは暗号化やデータエンジニアリング、規制対応などの業務から解放され、本来の業務に集中できるようになりました。さらに、市場間でのモデル共有も効率化され、例えばイタリアで開発されたモデルをドイツで展開する際、これまでの数ヶ月単位の期間から数週間へと大幅に短縮することができました。
並行して、安全な環境での実験も重視しています。モデルのパワーを実感し、その正しさを確認できる実験環境を提供していますが、本番環境へのデプロイは自動化され、高度なセキュリティが確保されています。これらの基盤構築に時間を投資することで、適切な運用が可能になっています。
4. Google Cloud選定の理由
4.1. 技術的優位性
Ignacio Garcia氏：Vodafoneにとって、これは5～6年前からの本格的な選定プロセスでした。クラウド戦略を定義する際に、詳細な分析を行い、主に3つの理由でGoogle Cloudを選択しました。1つ目は、豊富なデータの蓄積があること、2つ目は革新的なロードマップと提案内容、そして3つ目は協力的なアプローチと作業方法です。単なる価格リストの提示とサービスの消費という関係ではなく、共同でイノベーションに取り組み、課題を解決していく姿勢が印象的でした。これまでのところ、良好なパートナーシップを維持できています。
Arvind Krishnan氏：Blue CoreはGoogle Cloud Platform（GCP）上にネイティブに構築されており、私たちのチームはこれらのツールとテクノロジーの使用に非常に精通しています。特筆すべきは、Googleが既存のテクノロジーと並行してジェネレーティブAI技術を構築してきたことです。データガバナンスやセキュリティに関する重要な機能が、ジェネレーティブAI技術にも組み込まれていることは、私たちにとって大きな利点となっています。
実際のプロジェクトでは、まずGPT-3.5で開始し、良好な結果を得ました。その後GPT-4に移行してさらに良い結果を得ることができました。しかし、GoogleがPaLM 2をリリースした際にこれを試してみたところ、OpenAIのモデルよりもさらに良い結果を得ることができました。このような実績に基づく性能の優位性も、私たちの選択を裏付けています。
4.2. パートナーシップの価値
Ignacio Garcia氏：私たちが評価しているのは、単なるプロダクトやサービスの提供を超えた、真のパートナーシップの価値です。これまで5～6年にわたる協力関係の中で、特に以下の点が重要でした。従来のベンダーのように「これが価格リストです、サービスを消費してください」というアプローチではなく、共同でイノベーションを追求し、問題を一緒に解決していく姿勢が印象的でした。このアプローチと作業方法は、私たちの期待を超えるものでした。実際、これまでのところ、私たちは非常に良好なパートナーシップを築くことができています。
Arvind Krishnan氏：Blue CoreはGCPにネイティブに構築されており、チームはこれらのツールとテクノロジーの使用に非常に精通しています。Googleは既存テクノロジーと並行してジェネレーティブAI技術を構築してきました。また、実装サポート体制も充実しており、特にデータガバナンスやセキュリティに関する重要な機能が、ジェネレーティブAI技術にも組み込まれていることは、私たちにとって大きな価値となっています。
Donna氏：私たちは顧客との協力において、常に価値の創出を重視しています。顧客が直面している摩擦ポイントを特定し、それを解決するための技術的な実装を検討します。また、研究チームとの連携を通じて、いかにしてそれらのイノベーションを顧客に提供できるかを常に考えています。この共創アプローチにより、例えばAlphaFoldのような画期的な研究成果を、実際のビジネス環境で活用可能なソリューションとして提供することができました。
5. ビジネス価値の実現
5.1. 定量的成果
Donna氏：AlphaFoldの事例では、顧客は実験をより迅速に実施し、より早くインサイトを得ることができるようになりました。従来の手法と比較して、失敗の割合も大幅に減少しました。この成果は、創薬プロセスの加速において、バイオテクノロジー企業も製薬会社も同様に恩恵を受けています。これは私がこの分野に携わっている理由の一つでもあります。全般的に、ジェネレーティブAIの導入により、従業員の生産性が向上し、より付加価値の高いタスクに集中できるようになっています。
Arvind Krishnan氏：私たちのプロジェクトには2つの主要な目標がありました。1つはデータと結果の正確性、もう1つはこの機能の構築と維持にかかるコストです。LLMとジェネレーティブAIを使用することで、両方の目標を達成することができました。昨年、従来のAI技術でこの問題を解決しようとした際には、何千もの製品カタログと5000以上のGoogleタクソノミークラスを扱う必要があり、モデルの構築は非常に困難でした。さらに、小売分野の複数の業種にわたってスケールすることは、さらに大きな課題でした。人的時間、計算リソース、モデルのトレーニングに必要なデータ量の観点から、非常にコストがかかりましたが、ジェネレーティブAIによってこれらの課題の多くが解決されました。
Ignacio Garcia氏：コールセンターの通話要約に関する具体的なユースケースでは、以前は不可能だったことが実現できるようになりました。これは単なる改善ではなく、パラダイムの変化です。この情報により、顧客との関係性や近接性が完全に変わりました。私たちは不満を持つ顧客（デトラクター）を30%削減することを目標としており、現在その軌道に乗っています。技術チームでのコーディング支援においては、10倍の生産性向上を実現しています。これはまだ実験段階ではありますが、レガシーシステムのドキュメント化や消失しつつある知識の保存など、幅広い分野で効果を発揮しています。
5.2. 定性的成果
Donna氏：ジェネレーティブAIの導入により、より直感的なユーザー体験の構築が可能となり、全体的なユーザー体験が向上しました。さらに、これまでは不可能だった新しいインサイトやアイデアの創出も実現できるようになっています。この変化は、顧客サービスからデータ分析まで、幅広い分野で見られています。
Ignacio Garcia氏：コールセンターでの通話分析において、私たちは完全に新しいパラダイムを実現しました。以前は、アンケートを実施してスコアを取得し、コメントを分析し、それを技術的な問題と照らし合わせて解釈するという方法でした。しかし今では、顧客の声を直接、精緻に理解することが可能になりました。これは私たちの解釈ではなく、顧客が実際に言っていることを正確に把握できるという大きな変化です。
チャットボットの導入は初期段階ですが、すでに大きな可能性を示しています。多言語環境での運用には多額の投資と時間が必要でしたが、初期のテスト結果は従来のシステムと比較して劇的な改善を示しています。
また、社内のナレッジマネジメントにおいても大きな変革を実現しています。私たちは巨大な組織であり、情報管理は大きな課題でしたが、この改善により顧客サービスの質を根本的に変えることができています。特にM&Aで獲得した複数のレガシーシステムのドキュメント化や、失われつつある知識の保存といった面で、大きな成果を上げています。
Arvind Krishnan氏：製品カタログの標準化により、私たちは単なる効率化を超えた価値を見出しています。小売業界における分析能力が大幅に向上し、顧客は自社の製品カタログ内でのパフォーマンスを詳細に分析できるようになりました。さらに、小売分野全体のトレンド分析も可能になり、これまでにない洞察を得ることができています。これは従来のAIでは実現できなかった成果です。
6. 学びと推奨事項
6.1. 継続的学習の重要性
Kevin氏：私が学んだ最大の教訓は、学び続けることの重要性です。6ヶ月前の状況を振り返り、現在の状況を見て、そして6ヶ月後を想像してみてください。技術の進化は非常に速く、これが新しい常態となっています。学習を継続することが不可欠です。
幸いなことに、技術へのアクセシビリティは大きく向上しています。1年前を思い出すと、LLMを使用するためには、自分でVMをスピンアップし、セットアップを行い、フレームワークをダウンロードしてインストールする必要がありました。その過程で多くのライブラリのトラブルシューティングも必要でした。私たちはそのプロセスを経験してきました。
今日では、すべてのクラウドベンダーがLLMを提供しており、CoereやAntropicなども参入しています。実践的な経験を積む機会は豊富にあり、無料で試すことも可能です。また、LangChainのようなフレームワークを使用してアプリケーションを構築することもできます。
研究論文の重要性も強調したいと思います。かつては「マニュアルを読め」と言われていましたが、今の時代は「論文を読め」と言うべきでしょう。多くの洞察を得ることができます。2017年のTransformer論文は今でも価値のある論文です。時間がない場合は、せめてアブストラクトだけでも読むことをお勧めします。私の場合、GoogleのAIブログで公開される論文をすべて読むようにしていました。Googleが公開する論文は最先端のものであり、これが私の近道でした。もちろん、LLMを使って論文を要約することもできます。
この分野の急速な進化に追いつくには、継続的な学習と実践が不可欠です。理論と実践のバランスを取りながら、常に最新の動向をキャッチアップしていく必要があります。
6.2. 実装アプローチ
Donna氏：実装にあたって、実験と反復のアプローチを強く推奨します。ジェネレーティブAIは各産業を変革する可能性を秘めており、私たちは非常に興味深い時代に生きています。しかし、ビジネスにとっての具体的な価値や限界を理解するためには、実践的な経験に勝るものはありません。
成功している顧客に共通するのは、組織内でこの技術の開拓に意欲的なドメインエキスパートと機械学習の専門家を特定し、チームを組むことです。私たちも同じアプローチを取り、SREチームとともにポストモーテムの検索と要約のユースケースに取り組みました。まず小規模な専門家グループで開始し、徐々に信頼できるテスターグループに拡大していきました。100件のポストモーテムから始めて1000件に拡大し、現在はさらに広く展開しています。
Arvind Krishnan氏：私はジェネレーティブAIやLLMを、ツールボックスの中の新しいツールの1つとして捉えています。機能を構築する際には、必ず成功指標があるはずです。ジェネレーティブAIがそれらの指標や目標の達成に役立つのであれば、それは適切なツールだと言えます。
技術の急速な変化を考慮すると、間違いを許容できるユースケースを選択することが重要です。例えば、社内向けのユースケースや、人間が介在して修正可能なユースケースから始めることをお勧めします。また、ツールとテクノロジー、プラットフォームへの投資も重要です。私たちは現在20以上のモデルを運用しており、顧客からモデルのパフォーマンスや出力に関する質問を受けています。チームはデバッグや問題修正に取り組む必要があり、そのためのツール整備が不可欠です。私は常にチームに「船を建造するなら、難破に備えよ」と言っています。LLMやジェネレーティブAIに注力する一方で、それらをサポートするための十分なツールとプラットフォームを確保する必要があります。
Ignacio Garcia氏：3つの重要な点があります。第一に、これは本当に変革的な技術であり、誰もが認識できます。第二に、特定の部門に集中させずに、人々に実験させることが重要です。安全な実験環境を作り、測定可能な形で実験を行い、投資判断につなげていく必要があります。第三に、基盤への投資です。実際の価値を得るには、LLMモデルと自社のデータを組み合わせることが唯一の方法です。適切なアーキテクチャを整備することで、実験が価値を示した際に迅速にスケールアップできます。また、CEOと密に連携し、これが全ての問題を解決する魔法の弾丸ではないことを理解してもらうことも重要です。全社的な教育と理解促進に投資し、中央集権化は避けることで、イノベーションの芽を摘まないようにする必要があります。