※本記事は、MIT Sloan Management ReviewとSam Ransbotham氏によるポッドキャスト「Me, Myself, and AI」のエピソード「From Rabbit Holes to Recommendations: Reddit's Vishal Gupta」の内容を基に作成されています。オリジナルのポッドキャストは https://www.youtube.com/watch?v=TVU-BbDgjpQ でご視聴いただけます。本記事では、ポッドキャストの内容を要約しております。なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルのポッドキャストをお聴きいただくことをお勧めいたします。
ゲストプロフィール: Vishal Gupta氏は、Redditの広告ドメインにおいて複数の人工知能・機械学習チームを率いる経験豊富なエンジニアリングリーダーです。DeepMind、Google、Twitterといった企業で最先端の機械学習技術に取り組んできた10年の経験を持ち、企業の収益と利益に大きく貢献する応用AI研究に情熱を注いでいます。
1. Redditの概要と規模
Sam： 今日のゲストはRedditのエンジニアリングマネージャーでマシンラーニングを担当しているVishal Guptaさんです。Vishalさんは、YouTube、Google広告など、何十億もの人々が利用する最先端のAI製品の開発に携わってこられました。マシンラーニング、レコメンデーションシステム、大規模データ処理に関する深い専門知識をお持ちで、現在はRedditで活躍されています。特に興味深いのは、Redditのようなプラットフォームと全体的なAIエコシステムとの関係に深く関わってこられた点です。
私が読んだ統計によると、Redditには10億の投稿があり、10万のコミュニティが存在し、米国で5番目、世界で7番目に訪問者の多いウェブサイトだそうです。これらは想像するのが難しいほどの驚異的な数字です。おそらくリスナーの大半はRedditについてご存知だと思いますが、Redditとは何かについて簡単に概要を説明していただけますか。
Vishal： Redditは何十万ものコミュニティを持つプラットフォームです。人々は、この膨大な数のコミュニティで自分の興味を探求するためにRedditを訪れます。これらのコミュニティに登録してトピックについて議論することができます。すでに行われている議論に参加することもできますし、コンテンツに対してアップボートやダウンボートをすることもできます。『ロード・オブ・ザ・リング』に興味があろうと、クリケットに興味があろうと、共感できる何かを見つけて、コンテンツにエンゲージすることができます。
Sam： クリケットについて言及されましたが、実は私はクリケットが本当に存在するとは信じていないという公式な立場をとっています。ただ、今回はその話には立ち入らないことにしましょう。
2. RedditにおけるAIの活用事例
Sam： では、RedditがどのようにAIを使っているのかについて話を始めましょう。いくつか例を挙げていただけますか。
Vishal： Redditは様々な方法でAIを活用しています。AIの使い方について2つの高レベルな使用例をお話しし、その後それらについて深く掘り下げていきましょう。
AIの最初の使用例は、ユーザーが適切なコミュニティを見つけてエンゲージできるようにすることです。ユーザーがRedditでの旅を始めると、人気のあるコミュニティや、サインアップ時に示した興味に合致するコミュニティを訪問することになります。しかし、私たちはユーザーが本当に所属できるニッチなコミュニティにエンゲージしてほしいのです。つまり、ユーザーとコンテンツをつなげることです。
もう1つの非常に重要な使用例は、Redditを閲覧しているときのフィードに関するものです。フィードが魅力的で、あなたに関連性があり、あなたが探しているコンテンツのニーズを満たすことができるなら、それはすべてAIによって駆動されています。
そして現在、Redditは本格的な広告プラットフォームであり、適切なユーザーに適切なタイミングで適切な広告を表示し、それがユーザーに関連性のあるものとなっています。これもすべてAIによって駆動されています。これが社内におけるAIのもう1つの広範な使用例です。
Sam： おそらく私の最初の反応はかなりナイーブだったと思います。10万ものコミュニティがあるとは思っていませんでした。だから、欲しいものの名前を入力すれば、欲しいものが見つかると思っていました。でも、これはあなた方が行っているレコメンデーションエンジンの一形態なのですね。レコメンデーションエンジンについて少し時間を取って説明していただけますか。
3. レコメンデーションシステムの基礎
Vishal： その通りです、Sam。これはまさにレコメンデーションシステムです。レコメンデーションシステムが行うことは、ユーザーの短期的および長期的な興味を捉え、ユーザーにとって価値があるかもしれないレコメンデーションを提供することです。
例えば、ユーザーのVishalは通常クリケットと『ロード・オブ・ザ・リング』に興味を持っていますが、今はどのブレンダーを買うべきか検索しています。プラットフォーム上に明示的なクエリがある場合、私たちはユーザーの情報ニーズを満たすことができるようにしたいのです。つまり、検索もサポートするレコメンデーションシステムのコンポーネントがあるということです。これが私がレコメンデーションシステムを定義する方法です。
Sam： あなたはキャリアの中でかなり長い間レコメンデーションシステムに携わってこられました。あなたがレコメンデーションシステムに取り組んできた時間の中で、何が変わってきましたか。現在のレコメンデーションエンジンは、私たちの先人のレコメンデーションエンジンとどう違うのでしょうか。
4. レコメンデーションシステムの進化
Vishal： 私は2015年にGoogleで最初の仕事としてレコメンデーションシステムに取り組み始めました。当時、ほとんどのレコメンデーションシステムはシンプルな協調フィルタリングタイプのアルゴリズムによって駆動されていました。基本的には、ユーザーはアイテムに対して明示的なエンゲージメントを持ち、ユーザーの興味を表現する大きな行列があり、非常にシンプルなマトリックス分解を行ってユーザーにいくつかのレコメンデーションを生成していました。これがNetflixチャレンジで勝利した方法であり、これらが昔ながらのレコメンデーションシステムでした。
レコメンデーションシステムの次のステップは、単に広範なユーザーの興味を捉えるのではなく、エンゲージメントの確率を予測しようとすることでした。エンゲージメントの確率を捉えるシンプルなロジスティック回帰モデルがありました。これが2016年、2017年頃までの状況です。
2018年、2019年頃になると、多くのシステムがレコメンデーションシステムのスタックを刷新するためにディープラーニングを活用し始めました。人々はツータワーモデルを使い始め、それが協調フィルタリングモデルに取って代わりました。そして、あるコンテンツに対するエンゲージメントの正確な予測を得るために、重厚なランキングモデルを使い始めました。これが私が第2の波と呼ぶものです。
そして第3の波は、現在私たちが持っている非常に強力なLLM、つまり視覚的にもテキスト的にもアイテムが何であるかを理解できる強力なモデルです。つまり、現在はマルチモーダルであり、これらすべての強力な表現がレコメンデーションモデルに入力され、超パーソナライズされたレコメンデーションを得ることができます。
ここで付け加えるべきことが1つあります。業界全体の人々が、過去のユーザー行動のみを最適化することは正しい方法ではないことに気づいています。なぜなら、そうするとユーザーをラビットホールにのみ追い込むことになるからです。したがって、適度な探索が必要であり、探索と活用のバランスをどのように取るかは重要なトピックです。人々はこのバランスを得るために強化学習や何らかのシンプルな手法を使っています。
Sam： その通りですね。探索と活用のアイデアは大きいと思います。なぜなら、これはほぼすべての文脈で出てくるように感じるからです。私たちは自分たちがやっていることを最適化したいのですが、同時に完全に異なることをやっていないことを確認したいのです。
あなたはたまたまNetflixチャレンジについて言及されましたが、リスナーの方々で馴染みがないかもしれないので説明すると、これは10年以上前にNetflixが行ったチャレンジで、コンテストを開催し「私たちのレコメンデーションを改善できたら100万ドル差し上げます」と言ったものです。この話で私が好きな部分の1つは、実際にBellkor's Pragmatic Chaosというチームに賞金が授与されたのですが、コンテストが終わる頃には世界のアルゴリズムがあまりにも変化していたため、彼らは結局そのアルゴリズムを使わなかったということです。
これはまさにあなたが言っていることを示しています。現在、レコメンデーションを超パーソナライズして正しく行うことは非常に挑戦的な仕事です。なぜなら、世界が変化するだけでなく、人々も変化し、同時に多くのことが変化しているからです。これは本当に魅力的な世界だと思います。
5. 広告システムの複雑性
Vishal： その通りです。私の意見では、レコメンデーションシステムと広告は最も美しい問題の1つだと思います。
Sam： そこは反論しなければなりませんね。何がその問題を美しくしているのですか。なぜ美しいのでしょうか。
Vishal： 基本的に、私がそれを見る方法は、これは純粋なレコメンデーションシステムの問題ではないということです。これは最終的にはオークションなのです。広告主は適切なタイミングで適切な広告を表示するために入札することができますが、広告プラットフォームは広告が関連性のあるものであることを確認する必要もあります。
したがって、広告主が望むものと彼らの長期的価値とのバランスを取り、ユーザーの長期的価値とのバランスを取ることは非常に興味深い問題です。だからこそ、私はこれが非常に美しいと言うのです。これにはレコメンデーションとマーケットプレイスの両方のコンポーネントがあります。
Sam： なるほど、それが2回目ですね。あなたはバランスについて2回言及されました。探索と活用のバランスについて言及されました。人々がこれらの広告に対してお金を払う必要性と、私たちが関連性のある広告を見ることとのバランスについても言及されました。バランスはこれらすべてのアルゴリズムの大きな部分を占めています。
6. AI生成コンテンツと人間の会話
Sam： 別の種類のバランスについて考えるために話を切り替えましょう。現在、世界の多くのコンテンツは人間ではなく機械によって生成されています。Redditが公式に述べていることの1つは、人間の会話はAIに置き換えられるのではなく、むしろより重要になってきているということです。
私はこのアイデアが本当に好きです。なぜなら、もし私たちが大量のAI生成コンテンツを持っていてそれが一般的になれば、理論的には人間の会話はより際立ったものになり、より本物で、より正当なものになるからです。しかし同時に、それは干し草の山の中の針を探すようなものでもあります。
では、現在生成されているこのすべてのコンテンツを組み込む必要性と、同時に人間の本物の声を強調しようとすることのバランスをどのように取っているのでしょうか。
Vishal： それは素晴らしい質問です、Sam。多くのデータがLLMによって生成されています。しかし、これらのLLMがどのようにトレーニングされているかを見ると、それらは本質的に人間が生成したデータでトレーニングされています。したがって、人間が生成したデータはますます価値が高くなるでしょう。ここでも再びバランスがあると思います。
時には、人々は単に何らかの情報を欲しているだけで、人間が生成したすべてのコンテンツをふるいにかける余裕がない場合があります。ChatGPTやGemini、あるいはReddit Answersのようなものがそれらのニーズを満たすことができます。しかし、時には本当に興味のある特定のトピックについてエンゲージして会話したいこともあります。
ユーザーにエンゲージしてもらい、実際にコンテンツを作成してもらうことには大きな価値があります。
Sam： 実際に、私はそれが本当であってほしいと心から願っていますし、それが生き残ることを願っています。これらのモデルのほとんどは人間の会話からトレーニングされているという話をされましたが、最近いくつかの論文が出ています。Science誌に最近掲載された論文で、これらのモデルが自分自身の出力を取り込み始めると、潜在的な崩壊問題について語っていました。
それについて心配していますか。それとも、Redditが新しいコンテンツ源を提供して、単に古いものを再生成するのではなく新しいコンテンツのアイデアを通じて私たちを導いてくれると思いますか。
Vishal： それについては全く心配していません。人々は自分の興味について話すのが大好きです。人々は情熱を持っています。だから全く心配していません。私たち人間はコンテンツを生成し続けるでしょう。
一部のAIツールは、コンテンツを適切な形式にしたり、文法を修正したり、トーンを修正したりするのを助けるかもしれませんが、人間のコンテンツがなくなることはありません。そしてRedditは、人間が書き続け、コンテンツにエンゲージし続ける1つの場所です。
7. 汎用ツールと特化ツールの使い分け
Sam： 一般的に、インターネットや大規模言語モデル対小規模言語モデルに対する私たちの変化する視点について考えるとき、私はその疑問を持っています。より一般的なツールを使うべき時と、より特化したツールを使うべき時について、何か見解をお持ちですか。Reddit Answersは、ある場合には適合するかもしれないより特化したツールの例のように思えますが、他の場所ではより一般的なツールを使います。
ある道を進むか別の道を進むかについて、どのように決定を下すのでしょうか。
Vishal： これに対する素晴らしい答えは持っていませんが、私が何をしているかをお話しすることはできます。例えば、自分で車のバッテリーを交換したいとします。私は、これが自分がやろうとしていることだと示すことができ、その場でデバッグを助けてくれるマルチモーダル機能が欲しいのです。そのためには、汎用的な大規模LLMを使います。GoogleのGeminiは本当に優れています。ChatGPTも良いです。
しかし、例えばハワイのどこに休暇に行くべきか、あるいはそこで何を買うべきかについて調査をしたいときは、大規模言語モデルから得られる非常に規範的なものと比較して、ユーザー生成コンテンツをより価値あるものと考えます。それが、小規模モデルやReddit Answersタイプの製品の付加価値があるところだと思います。
Sam： あなたが車のバッテリーの例を使われたのは面白いと思います。ちょっとした豆知識ですが、私の最初のデートは、故障した妻の車のバッテリーを交換することでした。
8. 検索とRedditの関係
Sam： 考えていることがもう1つあります。検索エンジンに行って検索すれば、Redditからコンテンツを得ることができます。検索エンジンを経由するのではなく、誰かがネイティブにRedditに行って何かを検索する動機は何か、それについてのRedditの考え方は何でしょうか。また、それによって問題解決への視点はどのように変わるのでしょうか。
Vishal： 検索エンジン経由でRedditに来るユーザーが多くいます。なぜなら、人々はRedditで何かを検索したいと考え、検索エンジンを使ってそのコンテンツにアクセスするからです。私自身もそうしていました。
この答えは、両方に価値があるということです。私たちはインターネットをサポートしたいですし、ユーザーが探しているコンテンツにアクセスできるようにしたいのです。
私たちが自分たちの側で行っていることは、Reddit Answersが素晴らしい製品だということです。もしあなたがヘビーなRedditユーザーで、すでにアプリを使っていて何かを検索していて、Redditソースのデータだけが欲しい場合、それが使えるものです。
だから、Reddit Answersは私が本当に楽しみにしているものです。私はその製品が本当に大好きです。以前は、GeminiやChatGPTで検索していましたが、今では直接Redditアプリ自体ですべての答えを得られます。これは、Reddit広告で働いているにもかかわらず、Redditユーザーとして個人的に非常に興奮していることの1つです。
Vishal： Redditのホームページやサブレディットのフィードに行くと、どんどん良くなり続けています。人々はレコメンデーションシステムやそのパーソナライゼーションなどを改善するために本当に懸命に働いています。
広告側では、私たちはランキングモデルやリトリーバルモデルを継続的に改善しています。したがって、Redditユーザーとして、人々は広告が自分たちにとってますます関連性が高くなっていることを見続けるでしょう。だから、私は両方向を推進することに本当に興奮しています。
9. 広告の関連性とプライバシー
Sam： 広告はどのように役立つのでしょうか。私のようにすべてを話したくない人がいる一方で、同時に関連性のあるものも欲しいというジレンマを解決する未来は何でしょうか。
Vishal： 私は、関連性には2種類あると強く信じています。1つの種類の関連性は、ユーザーが一般的に興味を持っているものです。例えば、Reddit上のオーガニックコンテンツは、レコメンデーションシステムと広告の両方にとって、ユーザーの興味の本当に良い指標です。私たちは、これらのファーストパーティエンゲージメントに基づいた素晴らしい広告体験を生み出すことに継続的に投資していくと思います。
そして2つ目は、コンテキストに関連した広告に非常に力を入れて取り組んでいることです。セッション内の最後の数分、数時間のユーザーの現在の行動を捉えることで、関連性のある広告を表示できるようにしています。
エンドユーザーとして、私も多くのウェブサイトと自分の情報を共有していませんが、広告プラットフォームがプライバシーを保護する方法で関連性のある広告を表示できるなら、それは素晴らしいことだと思います。
10. AIの現状と課題(クイック質問セクション)
Sam： 私たちがこのショーで好んで行うことの1つは、いくつかの素早い質問をすることです。心に浮かんだ最初のことを答えてください。AIについて、あなたが予想していたよりも速く動いているもの、あるいは遅く動いているものは何ですか。
Vishal： AIで速く動いていると思うことは、人々がLLMのトレーニング方法を理解したということです。計算能力がボトルネックになっています。スケーリング法則は真実であり、より大きなモデルのトレーニングはどんどん簡単になっています。
AIで遅く動いていると思うことは、コアAI側での真のイノベーションです。最近の論文をすべて見ると、ほとんどのイノベーションはシステム側で起こっています。どうやって計算能力からより多くの成果を絞り出すか。どうやってフロップスをより効率的にするか。そこがAIのペースが減速したところだと個人的に思っています。
Sam： なるほど。フロップスは1秒あたりの浮動小数点演算のことですね。それらをより速くすることについての議論がありますが、あなたが探しているのは、より多くのアルゴリズムの改善ということになりますか。
Vishal： その通りです。それが減速しました。特にLLMが登場し、誰もがLLMを改善したいと思うようになってからです。
Sam： では、人々が現在AIを使用しているが、使用すべきではないものは何でしょうか。AIの悪い使い方とは何ですか。
Vishal： AIだけを使って宿題をすることは、AIの悪い使い方だと思います。人は本当に学ぶことについて考えるべきです。AIを使ってすべての仕事を終わらせることは、重要な部分を実際に考えることなく行っているなら、AIの悪い使い方です。
Sam： ほとんどの人が人工知能と機械学習について持っている最大の誤解は何だと思いますか。人々は何について間違っているのでしょうか。
Vishal： 業界の多くの人々がAIについて持っている誤解は、AIがすべてを非常に迅速に解決するだろうということだと思います。私のキャリアを通じて繰り返し見ている非常に個人的な例を挙げることができます。私たちは非常に優れたコーディングエージェントを持っています。非常に強力なモデルを持っています。しかし、コードベース全体をゼロから書き直すことには依然として価値があると思います。
人間が導入する意図しないバグがいくつかあり、これらのコードを編集する際にAIモデルもおそらく導入するでしょう。したがって、ものを書き直すことには依然として価値があります。AIはすべての問題を解決するわけではありません。AIは人間がより速いペースで問題を解決することを可能にするのです。
11. ThoughtWorksとのインタビュー
Sam： 私たちのブランデッドインタビューセグメントは、ThoughtWorksのチーフデータ&AIオフィサーであるCheyenne Mahantiさんです。Cheyenneさん、ThoughtWorksについて少し共有していただく時間をいただきありがとうございます。会社の背景について教えていただけますか。
Cheyenne： 私たちはテクノロジーサービス企業です。非常に長い間テクノロジー業界に関わり、その形成を支援してきました。そして今、データとAIにおいても同じことを小さいながらも独自の方法で行っており、それを非常に迅速に成長させることを望んでいます。
Sam： 人工知能のスケーリングについて話しましょう。AIのパイロットを動かすことと、それをエンタープライズに持っていくことは全く別のことです。パイロットからのスケーリングについて、ThoughtWorksの経験はどのようなものですか。
Cheyenne： 私たちはいくつかの主要な問題を見ています。第1に、解釈可能性は実際には巨大な問題です。私が意味するのは、本当に信頼です。人々はどのようにモデルを信頼するのか。そして根本的にそれは実存的に難しい問題です。
その一部はユーザーエクスペリエンスに存在します。人々に何を示すのか。その情報をどのように示すのか。モデルが考えていることをどのように示すのか。しかしそれ以上に、モデルが考えていることへの視点をどのように示し、うまくいけば彼らがそれをコントロールできるように支援するのか。
その一部はUXに存在し、一部はモデル自体とその周りのシステムをどのように設計するかに存在します。私たちはこれらすべてのレベルで活動しています。そしてそれ以上に、私たちにはAI研究チームもあります。私たちの目標は、人々が根本的に信頼でき、AIシステムをより良くコントロールするために操作できるノブやレバーがあることを知ることができるシステムを構築することです。
Sam： 信頼という観点で変化していることについて、何を見ていますか。
Cheyenne： 第1に、AIを純粋にブラックボックスとして扱う時代は終わったということだと思います。私たち全員が認識しているのは、5年前、ChatGPT以前でさえ、人々は自分たちの4つの壁の中で独自のニューラルネットワークを構築していました。それを手作業で設計し、自分たちのデータでトレーニングしていました。そして今、突然OpenAIやAnthropicなどに壁越しにAPIリクエストを投げているのです。
AIがすべての新しい機能の中心になっていることで、特に今日、AIが何らかのレベルですべての新しいエンタープライズアプリケーションの中心にない世界を想像できません。私たちは、人々がフードの下で何が起こっているのか、そしてそれが彼らが期待することと一致しているのかについて推論できる必要がある地点に到達しています。
だからこそ、私たちにはガードレール、評価並列などThoughtWorksとしての一連のシステムがあります。1つは、私たちが行っている業界固有の、ユースケース固有のことです。要約タスクであれば、完全性という概念があります。私たちはまだこの仮説を検証しています。
私たちは、AIシステムの全体的なパフォーマンスを記述する基礎語彙が存在すると信じています。単なるモデルではなく、モデルの使い方、すべてがどのように接触するか、使用するリトリーバルシステム、すべてをエンドツーエンドで含めたものです。
私たちは、そのシステムのパフォーマンスを記述するために組み合わせることができる基礎的なレゴブロックのセットが存在すると信じています。それは非常にアカデミックな追求です。現時点では研究の領域に位置づけていますが、時間の経過とともに、その考え方をクライアントにますます公開しています。
Sam： あなたの言う通りです。古典的なMLを使った従来の分類モデルのメトリクスは、生成AIの世界では適用されず、私たちはそこに良い代替品を本当に持っていないと思います。機械学習で行ったように、まず分類法を考え出すことができれば良いですね。
Cheyenne： その通りです。
Sam： Cheyenneさん、今日参加していただきありがとうございました。素晴らしい内容でした。