※本記事は、Matthew Berman氏が配信するチャンネル「Forward Future」に掲載されたインタビュー動画「How to Understand the Next Wave of AI Before Everyone Else | Tibo Interview」の内容を基に作成されています。ゲストであるThibault Sottiaux氏（通称Tibo）は、OpenAIにおいてChatGPTおよびCodexを含むコア製品全般を統括するGeneral Managerを務めており、以前はGoogle DeepMindでインフラおよびリサーチ加速のための製品開発に携わっていました。動画の詳細情報は https://forwardfuture.com でご覧いただけます。 本記事では、動画の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。また、Thibault Sottiaux氏（@thsottiaux）、Matthew Berman氏、および「Forward Future」の関連チャンネル・ニュースレター（https://forwardfuture.com ）もあわせてご参照ください。
1. Googleでの経験からOpenAIの文化構築へ
1-1. イントロダクション
私は自分のタイミングでボタンを押すことができます。押したいと思ったときに、しっくりくると感じたときに押すのです。私はあまり競合他社のことを気にするタイプではありません。それよりも、私たちが独自に優れた形で何ができるのか、私たちの価値観は何なのか、そしてそれに向かってどう最大限に加速していくのかということに目を向けています。おそらく1年か2年のうちに、こうした速度がデフォルトとは言わないまでも、それに非常に近いものになっていくと思います。Lunaのコストを見ていただければ分かる通り、これは驚異的なことです。テクノロジーというものは、時間とともに非常に効率的になっていく性質を持っています。私たちは非常に幅広いアクセスに重点を置いており、そこから直接得られる効用を最適化しようとしています。実際に物理的なボタンがあるという話も聞きましたが、それは本当です。後ほどお見せしますが、これは本当にクールなものです。
1-2. Google・DeepMind時代から得た教訓
まず私のGoogle時代についてお話ししたいと思います。私はDeepMindのチームに在籍しており、ChatGPTが登場する以前、GoogleにはLMChatと呼ばれるものがありました。私はかつて、Googleはそれをリリースすることに対して臆病になりすぎていたとツイートしたことがあります。DeepMindは、Googleの既存事業を破壊しかねない製品を出荷することを制限されていました。私はこのことについてよく考えます。
当時のDeepMindは非常にクリエイティブな場所でした。私自身の専門はインフラとリサーチを加速させるための製品作りにありました。社内には言語モデルとそのスケーリングに取り組むグループがあり、彼らはかなり良い結果を出し始めていました。そうなると自然な流れとして、それを対話できる何か、つまり人々がチャットして様々な用途に使えるものに変えられないか、という発想が生まれてきました。こうしてLMChatのようなアイデアが自然に浮かび上がり、最初は社内向けのものでしたが、やがて一般公開されたツールにしようという機運が生まれました。これはChatGPT登場のおよそ1年前の出来事でした。当時は他にも様々なものを開発していましたが、それについては今は詳しくお話ししません。とにかく非常にクリエイティブな場所だったのです。
しかし、DeepMindはそもそも製品を出荷する体制として設計されていませんでした。この点においてOpenAIは非常に対照的な場所です。OpenAIではリサーチとプロダクトが極めて緊密に協働し、一緒にアイデアを練り、一緒に設計を行います。出荷することへの強いバイアスがあり、また人々に使えるものを提供することへの強いバイアスもあります。私はこれを本当に気に入っており、これこそが私をOpenAIに惹きつけたものの一つです。ミッション、人材、そして才能の密度——OpenAIには本当に多くの優れた点があります。
当時LMChatに関わっていたとき、それが特別なものになると分かっていたかと聞かれれば、確かにそう感じていました。モデルが一貫性のあるテキストを生成できることを初めて実感した瞬間だったからです。最初のうちは有用というよりは面白いという印象が強かったのですが、次第により有用なものへと変わっていきました。
私がこのことをよく考えるのには理由があります。それは、自分がチームに築いている文化、そしてOpenAIそのものの文化という観点から捉えているからです。何を残すべきで、何をすべきでないか。OpenAIは非常にボトムアップな文化を持っています。人々があらゆる種類のアイデアを思いつき、集まって、非常に速いスピードで何かを出荷することができる、いわば新しい製品アイデアに対する「止める力」がほとんど存在しない文化です。これは非常に高揚感があり楽しいものであり、世界にポジティブな影響を与えることがすべての中心にあります。この文化を守ることは私にとって非常に重要です。
同時に重要なのは、それを混沌としたものにしないことです。全体としての方向性や一貫性を欠いた、機能の寄せ集めのようなものにはしたくありません。ですから、この自由な文化はシンプルさと、製品の品質に対する誇りという感覚によってバランスが取られています。ChatGPTのiOSアプリは、私が思うに世の中で最も優れたアプリの一つです。私たちはこの水準を保ちたいと考えており、喜び、パフォーマンス、効率性、シンプルさといった要素に多くの投資を行っています。誰もが新しいことに挑戦し、素早く出荷することを後押ししながらも、こうした全体的な原則を持ち続けているのです。
1-3. OpenAIの企業文化構築
創業者がこうした文化をどう育てるべきかアドバイスを求められたら、私はまず確信を持つことの重要性を挙げます。そしてユーザーを獲得し、フィードバックから非常に速く学び反復していく方法を見つけることです。さらに、自らを進んで破壊する意志を持つことも重要です。これは創業者にとってというよりも、OpenAIのような企業にとってより関連の深い話です。私たちは常に新しいリサーチや新しいアイデアを生み出していますが、その中でいつが本業からリソースを再配分してでも投資すべき正しい瞬間なのかを見極める能力が非常に重要になります。これは非常に難しいことですが、極めて重要なことでもあります。
これはまさに、Googleがうまくできなかったことだと感じています。もちろんGoogleにも彼らなりの大きな計画がありましたので、それはそれで公平な見方だと思います。ただ、私にとってはそこが自分の居場所ではなかったのです。
企業が成熟していくにつれて、こうした出荷し続ける文化や自らを破壊する意志を維持することは難しくなるのではないか、特に既に収益を生んでいる事業がある中で、新しく革新的な可能性のある別の何かにどう向き合うのかという問いについて、私たちは非常に前向きで未来志向の姿勢を持っています。AIの未来や、それが人類にどのような恩恵をもたらすかということは、私たちがここ数ヶ月あるいは数ヶ月かけて確立してきたものを気にかけてはくれません。ですから、その流れに寄り添い、物事がどこに向かっているのかについてオープンな目を持つことが非常に重要です。そのうえで、自分たちがどうポジショニングすべきかを考え、その波を確実に捉えられるようにするのです。
OpenAI自身についても言えることですが、私たちはモデルを訓練し、その後にその能力を発見していきます。ベンチマークだけでは全てを教えてくれません。モデル自体とかなり触れ合ってみて初めて、「ああ、私たちはこの特定の方法でモデルの恩恵を受けることをまだ考えていなかった」とか「これができるのか」といったことに気づくのです。そしてそれが製品の考え方における一つのシフトになります。例えば、私たちは最近新しい音声機能をリリースしましたが、これは会話していて本当に楽しいものです。非常に自然で、ツール利用の能力も備えています。それによって物事が変わりました。今では私はそれとただ話す時間がずっと増えています。
もう一つ、私が常にやっていることとしてディクテーション(音声入力)があります。その品質が非常に高く、プロンプトをタイピングするよりもはるかに効率的な方法になっているからです。朝になると、私はスマートフォンを手にただ話しかけます。ChatGPTにやってほしいいくつかのことを話すだけで、それが実際に実行されていきます。それは私の持つすべてのツールにアクセスできる状態で行われます。これは、本当に優れた音声モデルが登場する以前には不可能だったことです。そしてこれが、製品の考え方を一変させる出来事だったのです。
2. AIエージェントの未来と開発者ワークフローの変革
2-1. AIエージェントの未来
新しいモデルや新しいハーネスについて、もう少しお話ししたいと思います。数週間前、私は「Codexは2〜3ヶ月で時代遅れに見えるようになるだろう」とツイートしました。私たちはもう一つの大きな進化を迎えようとしています。次世代のモデルには、皆さんのラップトップ以上のものが必要になります。
まずハーネスの領域について言えば、モデルが賢くなるにつれてイノベーションの余地がある部分はたくさんあります。先ほど音声について触れましたが、もし皆さんがCodexや他のコーディングエージェントの高度なユーザーであれば、ある種の「ぎこちなさ」に少し慣れてしまっているのではないでしょうか。例えばスキルファイルを管理する必要がありますが、これはモデルに何かを教える方法である一方、時間の経過とともに維持するのがかなり大変だと多くの人が気づいていることだと思います。メモリという仕組みも一応存在しますが、常に全てを記憶しているわけではありません。サブエージェントを使う場合には、そのサブエージェントたちにも気を配る必要があり、いわば小さなネットワークを構築するような形になってしまい、様々な場面でその「幻想」が壊れてしまいます。
本当に必要なのは、あなたのことを深く理解し、あなたの目標を理解し、あなたの日々の活動を理解し、あなたのチームが何をしているかも理解しているような何かです。そして理想を言えば、それは反応的であると同時に主体的でもあり、日々の中であなたを助けてくれる存在です。そして、あなたにとって完璧な小さなパートナーであるという、その幻想を壊すことがない。それが私たちが目指して取り組んでいることです。
また、非常に強力なモデルを手にしたときに気づくのは、ラップトップというもの自体が制約になってしまうという点です。ラップトップでこなせる作業量は、人間のために設計されたものです。つまり、人間が生み出せる作業量や、タイピングの速さ、思考の速さ、同時に開いておく必要のあるアプリケーションの数といった、すべて人間側の制約に合わせて大まかに設計されています。しかしモデルには同じ制約はありません。モデルは、例えば将来的には100個のアプリケーションを同時に開いた状態でも問題なく扱えるようになるかもしれません。ですから、リソースへのアクセスという観点では、将来のモデルがラップトップの持つリソース以上のものを必要とすることは明らかです。
これはクラウドエージェントの話につながります。Ultra Fastのように、公表されている数字で言えば通常よりも14倍速いトークン速度を持つようになると、帯域幅の制約のあり方が変わってきます。CPUそのものが帯域幅になる、つまり文字通りツールコールや、ネットワーク、スタック内のあらゆるオーバーヘッドが律速要因になっていきます。しかし、それは複数のことを同時並行で行うことによって補うことができます。例えば、一方では探索を行い、同時にテストを書き、コンパイルを行い、新しい仮説を検証する、といったことを同時に行うイメージです。そうすることでボトルネックの所在が移動し、モデルはより効率的かつ迅速に思考を進めていくことができるようになります。
2-2. AIが開発者のワークフローを変える仕組み
現在のトークン速度のもとでは、私自身、10から15のエージェントを並行して起動することがよくあります。しかしそれは、私にとってかなりの認知的な負荷になっています。次々とエージェントを起動しては、その都度コンテキストを切り替える必要があり、タスクが戻ってくるまで30分から45分ほど待つことになるからです。ところがUltra Fastの速度になると、このワークフローは大きく変わります。おそらく10や15のエージェントを同時に扱うことはもうできなくなるでしょう。そしてそれは、むしろ良いことかもしれません。おそらく3つか4つ程度になるはずです。
ソロ開発者のワークフローが今後どう変化していくと見ているかと言えば、私たちは人々の「注意(アテンション)」をどう管理し、それに対してより配慮のある形にするかということを非常に重視しています。結局のところ、私たちは人間のために作っているのです。人間にとって最もエンパワーメントとなる技術を作ろうとしており、それにはマルチタスクをする能力や、注意をどう管理したいか、何かを今すぐ提示してほしいのか、それとも30分後に提示された方がよいのか、といったことを踏まえて設計する必要があります。Ultra Fastの速度が、例えば音声と組み合わさったとき、突然、この存在が自分と同じか、それ以上の速さで動作できるのだと感じられるようになります。そうすると、フローの中に留まったまま、アイデアを出し合い、プロトタイプをリアルタイムで確認し、いわばレポートのようなものをその場で作り上げていくことができ、それは本当に気持ちの良い感覚です。すると突然、「以前やっていたような、10個のエージェントをマルチタスクで扱うようなことにはもう戻りたくない」と感じるようになるのです。私たちは、その体験を非常に自然で、かつあなたのために作られていると感じられるような形で提供しようとしています。つまり、あなたが技術に適応するのではなく、技術があなたに適応するのです。
ここ数ヶ月、エージェント的なコーディング手法についていくつかの議論がなされてきました。ループという手法が人気を博し、今も人気がありますし、最近ではグラフという手法についても耳にするようになりました。私はこうした手法を、大きく二つのカテゴリーの問題として捉えています。一つ目は、最高のパーソナルAGI、つまりパーソナルエージェントを作るという問題です。それはあなたと共にフローの中にあり、主体的に重要な新しいアイデアを提起し、あなたが望むことを正確に行う上で非常に効率的な存在です。それが技術的な問題であろうと、リサーチやアドバイスに近いものであろうと関係なく、それら全てをこなすことができ、あなたに対して非常にパーソナライズされたものになります。私たちはこれに非常に力を入れて取り組んでいます。
もう一つのカテゴリーは、完全な自動化というものです。これは、非常に複雑なプロセス全体の面倒を見ることができるインテリジェントなシステムを構築するという方向性です。それは知性を要し、非常に複雑に見えるようなことかもしれません。例えば、本番環境のログを確認して自動的にパフォーマンスの最適化を行ったり、リグレッションを検出して自動的にパッチを当てたりするようなことです。サイバーセキュリティの分野でもこれを目にしています。脆弱性を検出するスキャナーがあったとして、それを自動的にパッチできるかどうか、そしてその脆弱性が開いたままになっている時間の窓をほぼゼロにまで縮小できるかどうか、といったことです。これは人間がループの中にいなくても、あるいは非常に最小限の関与、つまり高リスクなアクションについてのみ承認を必要とするような形で、ほぼ自動化されたシステムとして実現できます。そして、あなたがそれを直接コントロールする立場にいることが、それほど重要ではなくなっていくのです。
3. ChatGPTとCodexの統合、そして人間とAIの理想的な関係
3-1. ChatGPT & Codexの統合
ここで少し話題を変えたいと思います。ChatGPTとCodexは、ここ数ヶ月間、統合の道を歩んできました。まずお聞きしたいのは、それがどのように進んでいるのか、社内的にはどう感じられているのか、そしてお客様からどのようなフィードバックを得ているのか、ということです。これは本当に大きな恩恵をもたらしています。当初いただいたフィードバックは、「なぜ統合するのか」「本当にそうする必要があるのか」というものでした。しかし、私たちの将来のモデルは統合されていることを前提としているのです。ですから、私たちはそれをシンプルで正しいこととして進めているにすぎません。私たちが作ろうとしているのは、あらゆる形であなたを助けることができる、非常にパーソナルで高性能なエージェントです。これは同じ技術であり、同じハーネスであり、同じ考え方に基づくものです。非常にマルチモーダルで、音声を第一に考え、非常に効率的で、コーディングをしていようとしていまいと関係ありません。このエージェントはあらゆることをこなすことができ、それが最も効率的な形なのです。
そして、ユーザーが求めるインターフェースは、その人のニーズに合わせて自らを調整していくべきものです。「自分はコーダーだからコーダー向けのインターフェースが欲しい」とか「自分は非技術者だから非技術者向けのインターフェースが欲しい」といった具合に、ユーザー自身がそれを決める必要はありません。人々はスペクトラムのどこかに位置していて、私たちは「ソフトウェアエンジニア」「デザイナー」といったラベルを作り出していますが、これらは単に、複雑すぎる現実を扱うために人間が発明した概念にすぎません。実際には個々人はそれぞれ独自の存在であり、スペクトラムのどこかに位置しているのです。ですから私たちは、技術者であろうとなかろうと、誰にとっても適応してくれる完璧なインターフェースを作ろうとしています。それがこの統合を行った理由です。
これは、必然的に単一のインターフェースへと行き着くことを意味するのか、ドロップダウンで製品を選択するようなことがなくなるのか、という点についてお聞きしたいと思います。私の母が私と全く同じインターフェースを使うことになるというのは、なかなか不思議な感覚です。もちろん、それは私向けにカスタマイズされていくのでしょうが、最終的な到達点はどのようなものだとお考えですか。まさにその通りです。同じものです。あなたとあなたのお母様は、同じものを使うことになります。それはあなた専用のパーソナルAGIとなり、あなたとお母様ではまったく異なる種類のタスクや効用を得ることになるでしょう。それぞれが自分の生活の中で異なるツールに接続し、異なるアイデアやニーズを持ち込むことになります。そしてそれは、あなたに最大限の恩恵をもたらすよう、自らを調整し続けていきます。それはあなたのお友達に対しても、他のすべての人に対しても同様に行われます。
3-2. 人間とAIインタラクションの未来
先ほど「イリュージョン(幻想)」という言葉を何度か使われていましたが、その理想的な到達点における「完璧な幻想」とは、典型的なユーザーにとってどのようなものなのでしょうか。数年後を思い描いたとき、AIと人間のインタラクションはどのような姿になっているとお考えですか。私にとってそれは、人間に対して非常に緻密に作り込まれたものです。これは、大規模言語モデルが成功している理由でもあります。それは自然言語だからです。自然言語というのは人間の概念そのものです。私たちは互いに話すことに慣れています。もし明日あなたが私に手紙を書いてくれたら、私はそれを読むことができます。私たちはお互いをかなりよく知っているので、あなたが手紙を書いてくれたなら、その中にある感情や、あるいはニュアンスの一部を少しは読み取ることができるでしょう。そしてそれは、すべて深く人間的なものです。ですから、私たちが構築している技術は、人間性に根ざしたものであり、人間がすでにコミュニケーションを取り、物事を成し遂げている方法に根ざしたものなのです。
「あなたは私の言っていることを誤解している、なぜなら私の口調やニュアンスをきちんと読み取れなかったから」とか、「テキストの意味を正しく理解できなかったから」といった状況は、本来あるべきではないものです。それが私たちが避けようとしていることです。ですから私たちは、ユーザー側が適応するのではなく、技術そのものが人間がすでに世界で行っている行動の自然な延長として作られるよう、非常に力を入れて取り組んでいます。
人間同士のコミュニケーションについて考えると、その多くが非言語的なものです。私が手をどう動かすか、表情の動きなど、そうしたものをAIが将来、視覚を通じて感知したり読み取ったりするようになるとお考えですか。それは重要なことなのでしょうか。私たちが描いている未来は、テキストのみのやり取りとは異なります。オンラインで育った私たちのような世代は、テキストでのコミュニケーションに非常に慣れていて、口調などのニュアンスをテキストに付加することにも慣れていますが、AIが私たちの表情や手のジェスチャーを読み取れることは、それでもなお重要なのでしょうか。私はそう思います。私たちが構築しようとしている未来について考えるとき、それは非常にアンビエント(環境に溶け込んだもの)であり、非常に自然なものです。もし明日、あるいは後で私がオフィスに行き、ホワイトボードに何かを書いてアイデアを思いついたとしたら、そこにも存在し、理解できるべきです。あるいは私が「ねえ、この件についてどう思う」と話しかければ、そこから自然な会話が音声だけで成立する、そんな未来です。新しいChatGPTの音声機能をリリースしてから、それは本当に大きく広がっています。ChatGPTと音声だけでやり取りするユーザーの数は、今非常に速いペースで増加しています。ここから得られる教訓は、何かをより自然なものに寄せていくたびに、人間はより抵抗の少ない道を選ぶのだということです。おっしゃる通り、小さな箱にタイピングするというのは、私たちの一部にとっては自然かもしれませんが、誰にとってもそうだとは限りません。そして、もう少し簡単で、もう少し優れた何かが手に入るとなれば、人はそちらへと自然に流れていくものなのです。
4. OpenAI vs. Anthropic、そして「リセット文化」の背景
4-1. OpenAI vs. Anthropic
かつて、Anthropicが業界の話題をほぼ独占していた時期がありました。彼らは本当に市場を席巻していましたが、そこからある時点で状況が変わりました。まず、現在の市場についてどう見ているのかをお聞きしたいと思います。私たちが今フォーカスしているのは、最も能力の高いモデルを作ること、非常に高い効率性を持つモデルを作ること、そしてすべての人のために製品を作ることに誇りを持つことです。OpenAIが本当にうまくやれていると私が感じるのは、世界を気にかけているという点、そしてこの非常に強力な技術をできるだけ多くの人々の手に届けようとしているという点です。これはまさに、私たちがCodexとChatGPTを統合した理由でもあります。私たちにはこの技術があり、それをより安全に、より使いやすくすることができます。プロダクトマネージャーであろうと、デザイナーであろうと、セールス、マーケティング、コミュニケーションの担当者であろうと、誰もがこの技術を使えるようにすべきだという思いがあり、それをChatGPTを通じて非常に速く展開してきました。私たちにはすでに膨大な数のユーザーがいますので、それが先ほどお話しした成長の原動力にもなっています。私自身は競合のことをそれほど気にしているわけではなく、むしろ自分たちが独自に優れた形で何ができるのか、自分たちの価値観は何なのか、そしてそれに向かってどう最大限に加速していくのかということに目を向けています。
もう少しだけ掘り下げてお聞きしたいのですが、あなたはAnthropicのことをそれほど考えていないとおっしゃいましたが、多くの人は考えています。どの製品を信じるべきか、どちらの製品に自分の月額20ドルを支払うべきか、と。市場でのポジショニングやブランディング、そしてOpenAIが開発者や一般のユーザーと接する際のトーンについて、Anthropicのやり方と比べてどう見ていますか。私が強くこだわっているのは、世界のためのコミュニティ作りであり、すべての人を巻き込んでいくということです。私たちが物事について非常にオープンであること、コミュニティから多くのアイデアを取り入れていることには、その姿勢が表れていると思います。それは正直なところ、とても楽しいことでもあります。そこから私たち自身も多くのエネルギーを得ています。そして、私たちが作っているこの技術は、自分たちだけのために作っているのではありません。ミッションが非常に重要であり、だからこそそこから私たちはエネルギーを得ているのです。ですから私には、これは非常に地に足のついたものであり、楽しいものだと感じられますし、その結果として良いことが起きているのだと思います。
4-2. なぜOpenAIは制限を何度もリセットするのか
それでは、その良いことの一つである「リセット」について少しお話ししたいと思います。皆さんがあなたのツイートの一つひとつを追いかけている理由の一つでもありますが、Codexの成長曲線を見ても、こうしたリセットがどれほどマーケティングや成長に貢献しているのか、それとも単に開発者コミュニティへの善意によるものなのか、これは少し愚問かもしれませんが、お聞きしたいと思います。少し逆説的に聞こえるかもしれませんが、OpenAIは「ただやってしまう」ことができる場所です。ですから、私たちが反復を重ねて何かを壊してしまったときや、設定を誤ってしまい、望んでいたほどの品質にならなかったときに、それを埋め合わせることは自然なことのように感じられました。「このプロダクトを試してくれてありがとう、私たちは一生懸命これを作ろうとしている、まだ初期段階なのだ」という気持ちからです。「私たちがこれを30分ほど壊してしまったことへのお詫びとして、追加の利用枠を用意しました。これがどれほど重要で、皆さんがどれほど頼りにしてくれているか私たちは理解しています。そして、使ってくれてありがとう」というのが始まりでした。そして今でも私はそれをそのように扱っています。もし私たちが何かを壊してしまったり、体験が最適でなかったり、その原因を完全には把握できていなかったりする場合には、それを埋め合わせるようにしています。利用制限をリセットするのです。
それがいつしか、かなり大きなものへと発展していきました。今では専用のリセットボタンまで存在するようになりましたが、実はその背後に大がかりな精査プロセスがあるわけではありません。マーケティングや財務部門と連携して行っているわけでもなく、単に私がしっくりくると感じたときに、いつでもそのボタンを押すことができるのです。私たちには「素晴らしいものを作ろうとしていて、それがうまくいかなかったときには埋め合わせをする」という原則があります。
コミュニティの中でこれほどの好意を築き、成長にも少なからず貢献してきた部分があると私は今でも思っています。ユーザーを大切にするということが、実は大きな意味を持つのだと思います。口先だけで「気にかけています」と言うこともできますが、私たちは本当に気にかけていて、「もし壊してしまったら、本当に申し訳ない、こうやって埋め合わせをします」という姿勢を実際に見せることができます。それはAmazonの返品ポリシーを少し思わせるものです。少しでも満足できなければ返品してよい、というものですが、それと同じような文化、同じような印象をOpenAIに対しても築こうとしているのですね。もし私たちが間違いを犯したら、どうぞ、あのトークンをもう一度使ってください、あるいは新しいトークンを差し上げます、という具合です。本当にありがたく思っています。
そして、それとは別に、何かを祝い、その瞬間を記念したいという良い機会もあります。それ以上に意味のある形で提供できるものは、なかなかありません。私たちは常に新しい機能を出荷していますが、それはできる限り幅広く展開します。それに加えて、コミュニティ全体と分かち合いたいものもあります。「さあ、この新しいものを探索してみてください」「まだUltraを使っていないなら、追加の利用枠を差し上げますので試してみてください」といった具合です。実際に物理的なボタンがあるという話も聞きました。ええ、実際にあります。ぜひ後でお見せしますね。本当にクールなものなんです。
5. AIの効率性・計算資源戦略と再帰的自己改善、そして訓練の一時停止
5-1. AI効率化と計算資源
こうしたリセットの話を続けていくと、実はこれだけの規模でリセットを行うためには、相当なコンピュートキャパシティの計画が必要になります。十分な計算資源がなければ、こうしたリセットを提供することはできません。ここで自己改善というテーマに少し触れていきたいと思います。というのも、キャパシティの話をしていると、数週間前に私たちが発表した記事の内容を思い出すからです。その記事では、SoulがLunaの効率性を最適化したことが述べられており、それによってLunaの価格を80%引き下げることができました。また同時に、Terraについても価格の引き下げを行いました。
Lunaにおいて実現した効率性の向上は、どの程度がアルゴリズム的な改善によるもので、どの程度が単に優れたコンピュートキャパシティの計画によるものなのか、つまり利益率が高いために価格を引き下げてもなお、人々に使ってもらいたいという戦略的な判断によるものなのか、というご質問についてお答えします。私たちはコンピュートについて、かなり先を見越して計画してきました。振り返ってみると、2年ほど前、OpenAIはなぜこれほどまでにコンピュートに投資しているのかと疑問視されていたと思います。それはまさに「あの当時としては非常識なほど優れた賭け」の一つだったと言えます。そして今、私たちはコンピュートの非常に大きな割合をリサーチに使えることを嬉しく思っています。それは私たちの未来、つまりより優れたモデルへの投資であると同時に、私たちが持つモデルの効率性への投資でもあります。
そして、素晴らしいことが起きているのですが、私たちが最も先進的なモデルの能力のフロンティアを押し上げていくと、そのモデル自体を使って、どのようにサービスを提供するか、あるいはどのようにスタックを再構築・再設計すれば非常に大きな効率性やパフォーマンスの向上を得られるかを、非常に速く見つけ出すことができるようになります。これについては、私たちは今後改めて公表する予定ですが、コスト効率だけでなく、速度効率についても改善を実現しています。Ultra Fastの話とは別に、通常のモデルについても時間とともに著しく速くなってきています。グラフに描いてみると、現在得られている速度は、およそ3ヶ月前と比較して60%ほど速くなっています。
これは、私たちがスタックのあらゆる部分を徹底的に見直し、私たちが抱えているワークロードの種類に対して、それを最適に設計・エンジニアリングしているからこそ実現できていることです。そして、私たちが持つ最も強力なモデルこそが、非常に少人数のチームでこれを実現することを可能にしてくれているのです。私たちが非常に大きな効率性の向上やコスト効率の改善を実現するたびに、私たちのコミットメントは、パフォーマンスとコストの両面でフロンティアを維持し続けることであり、そしてその面白い成果を自分たちだけで抱え込むのではなく、お客様やユーザーの皆さんと共有できるものにすることです。これがまさに、Lunaで私たちが行ったことなのです。
コンピュートの配分を、新しいモデルのリサーチに向けるのか、既存モデルの効率性向上に向けるのか、あるいは推論に向けるのかといった判断について、社内ではどのような議論が行われているのかというご質問についてお答えします。私たちは通常、物事をファーストプリンシプル(第一原理)の観点から検討します。リサーチ向けの配分があり、プロダクト向けの配分があり、そしてプロダクトの中でも様々なトレードオフの判断を行います。しかし今回のケースについては、ほとんどトレードオフとすら言えないものでした。というのも、効率性の向上分がすでに存在していたからです。ですから、私たちはほぼ同じコンピュートの枠内で、このスループットの非常に大きな向上を提供することができました。
5-2. 再帰的自己改善
数ヶ月前、価格引き下げのブログ記事より前に、あるモデルが次のモデルを訓練する、あるいは次のモデルの最適化を助けるという内容のブログ記事を見た記憶があります。そして今回、SoulがLunaの動作の仕方を分析することで達成された効率性の向上を目にすると、これはまさに再帰的自己改善のごく初期段階にあるように私には見えます。この点についてどうお考えでしょうか、という質問に対してお答えします。再帰的自己改善は、間違いなく今非常に大きなトピックであり、最もよく語られるのは、リサーチにおいてモデルが他のモデルを開発するというケースだと思います。しかし私たちが大きな成功を収めているのは、まさにそのモデルたちを使う上でのクリティカルパス上にあるインフラそのものを開発するために、それらのモデルを活用しているという点です。これもまた、再帰的自己改善の一つの形なのです。すべては一つの大きなシステムなのです。
推論スタック、より難易度の高いCUDAカーネル、そして、これらのモデルとより効率的にやり取りするための新しい製品や新しい方法の開発。先ほどクラウドエージェントについてお話しされていましたが、もし私たちがクラウドエージェントを本当に確立できれば、突然、私たち自身の生産性も大きく向上することになります。それも一種の再帰的自己改善と言えるのではないか、なぜならそれによって、モデルからより多くの効用を引き出す能力が向上するからです。私はある意味でそれもそうだと思いますが、それはむしろインフラの話であり、それを取り出して、自分自身に向けて適用し直すという性質のものです。もちろん、私たちはそれを実際に行っています。もし行っていなかったとしたら、それはかなり愚かなことだと思います。
5-3. フロンティアAI訓練の一時停止
再帰的自己改善というトピックにいる流れで、Sam Altman氏が、現時点における絶対的なフロンティアでのRL(強化学習)の一時停止について語っていたと思いますが、それについて少しお話しいただけますでしょうか。その決定はどのようなものだったのか、Hugging Faceの一件についても簡単に触れましたが、その決定にはどのような背景があったのか、社内ではどのような議論が行われたのか、というご質問についてお答えします。これはリサーチの領域に深く関わる話であり、OpenAIは常に、最も重要な部分にリソースを投じる姿勢を貫いてきました。モデルの能力を高めていくにつれて、アライメントと安全性の側面がますます重要になっていくことは明らかです。ですから、そこに莫大な投資を行うことは、OpenAIにとって非常に自然なことであり、OpenAIが強くコミットしていることでもあります。私たちはこの領域への投資が大きく急増しているのを目にしています。そして、この一時停止は、チームや個々のメンバーがシステムのあらゆる部分を本当に理解し、強固なものにするために必要なものでした。それによって、訓練を再開する際に、完全な統制のもとで再開できることを確実にするためです。これは、OpenAIが必要なときには常に行い続けるものだと私は信じています。社内において、こうした判断を効率的に下せなかった場面を、私はこれまで見たことがありません。
明確な目標や基準が設定されていて、それに到達したことが分かってから一時停止を解除したのか、それとも「見ればわかる」という形だったのかというご質問についてお答えします。これは安全性チームの管轄にある事柄であり、彼らにとってはまさに議論と発見のプロセスそのものです。ただし、彼らは最終的に、かなり明確な一連の原則にたどり着きました。その原則に到達すれば、私たちは良い状態にあると言える、というものです。
6. Ultra Fastが切り拓く未来と標準化への展望
6-1. Ultra Fastが可能にすること
ここでUltra Fastモードの話に戻りたいと思います。あの速度がどれほどのことを可能にするのか、多くの人がまだ十分に理解できていないと思いますので、まずは社内でどのようなユースケースにUltra Fastを使っているのか、これまでは実現できなかったことから始めていただけますでしょうか、というご質問についてお答えします。私たちがUltra Fastを多く使うのは、リスクが高い場面です。例えば、私たちの側で障害(アウテージ)が発生したとき、インシデントコマンダーとレスポンスチームにはUltra Fastへのアクセスが提供されます。一秒一秒が重要だからです。ですから、リスクの高い場面ではこれまでUltra Fastが使われてこなかったわけでは決してなく、まさにこうした場面でこそ活用されてきました。
また、これは少し面白い話でもあるのですが、非常に重要だと考えているプロジェクト、あるいは自分たちが重要だと信じているプロジェクトに取り組んでいるチームは、いつもUltra Fastを要求してきます。ペットもその対象になるのかと聞かれると、ペットはさすがにそこまでクリティカルではありません。ただ、私は自分のペットが大好きです。いつも画面に映しています。社内を歩き回っていると、みんなの画面にペットが映っているのを目にしますし、ビデオ通話に参加するときにもそれが表示されていて、それを見るといつもとても心が和みますし、喜びを感じます。ただ、ペットは今のところそれほどクリティカルではありません。もちろん私たちはペットのこともきちんと大切にしていますが。それよりも、例えば誰かが新しいアイデアに取り組んでいて、「これは本当に何か特別なものになる可能性があると思う」と考えていて、しかし月曜日までにこれをDev Dayに含めるかどうかの判断を下さなければならない、といった状況では、もちろんUltra Fastを使ってもらいます。
人によって、シングルスレッド的に一つのことに集中したいタイプなのか、それとも多くのことを同時にこなしたいタイプなのかという好みは異なります。多くのことを同時にこなしたいタイプの人は、Ultra Fastからそれほど大きな恩恵を得られるわけではありません。私自身はどちらのタイプかと聞かれると、私にはADHDがあるので、常にコンテキストを切り替えているタイプです。それは面白いことに、私にもADHDがあるのですが、私は逆に常にコンテキストを切り替えたくないと感じています。二つか三つのことに集中していたいのです。だからこそUltra Fastにあれほど魅力を感じたのです。あなたが逆のタイプだというのは興味深いですね。私はコンテキストを切り替え、小さな意思決定をたくさん行うことにやりがいを感じるタイプです。ただ、時には一つのことに集中し続けたいと思うこともあり、そうしたときにUltra Fastは本当に心地よいものです。フローの中にずっと留まらせてくれるからです。
Ultra Fastが特に効果を発揮するのは、ツールコールがそれほど多くなく、多くのコンテキストを生成するようなタスクの場合です。例えば、ウェブサイトやビデオゲームのプロトタイプを作ろうとしていて、大量のコードを書く必要があるといった場合には、非常に速く処理してくれます。通常の10倍ほどの速さです。しかし、ツールコールが多いタスクの場合、オーバーヘッドがネットワークの別の部分や、エージェントの処理経路の別の部分に存在することになるため、体感としては3倍から4倍程度の高速化にとどまり、14倍というフルの高速化は得られません。
OpenAIの社員はUltra Fastを無制限に使えるのだと聞いていますが、もし私が無制限のトークンを持っていたら、常に最大限の思考モードにして、最新モデルを使い、Ultra Fastも常にオンにすると思います。コストを気にしなくていいのであれば、フルで使い倒すという発想になります。それは社内でも実際にそうなっているのでしょうか、という質問についてお答えします。私たちは、Ultra Fastを全員に提供しているわけではありません。私たちの容量の多くは、外部のユーザーやお客様のために確保しています。つまり、OpenAIの社員には、Ultra Fastのすべてを、つまり私たちの本番用GPUのすべてを使い尽くしてしまう能力があるということですね。もし制限をかけなければ、私たちはそのすべてを使ってしまうでしょう。しかし、私たちはそれをどの程度が妥当かという観点から抑制しています。それは、私たち自身がこの製品を理解し、改善し続け、再帰的自己改善からの恩恵を受けられるようにするためでもありますが、その大部分はお客様のために確保されています。
OpenAIの外で、こうした速度によって実現される、レイテンシに敏感なユースケースとして最も期待しているものは何かというご質問についてお答えします。これは興味深い点です。私が全般的に非常に楽しみにしているのは、非テキストのインタラクションです。共有のキャンバス上で操作できるかどうか、何かを作り出せるかどうか、アイデアを生成できるかどうか、様々な画像を生成して一つを選び取るような、いわば「アドベンチャーを選ぶ」形式ができるかどうか、そしてそれを踏まえてプロトタイプの試作をすぐに用意し、それを音声やテキストを通じてリアルタイムで操作していけるかどうか、そしてそれがまさにその場で目に見える形になっていく、そういう非常にクリエイティブなプロセスを、こうした速度が可能にしてくれると思っています。エンジニアとして、時にはシステム全体を設計しなければならず、トレードオフや要件について考えなければならないと感じる場面がありますが、実は一分でそれを作り出し、実際にどう機能するのかを確認できるとしたら、より自然にフローの中に入り込み、物事をより良く仕上げていくことができます。こうした速度は、そういったことを大きく後押ししてくれると思います。
6-2. Ultra Fastは標準になるのか
Ultra Fastの価格は、通常の速度と比べて相当高くなるだろうと想定していますが、Ultra Fastの速度は将来的に標準になっていくとお考えですか、それとも常にプレミアムな価格帯にとどまるのでしょうか、というご質問についてお答えします。これは興味深い点です。技術というものが一般的にたどる道のりと同様に、これも時間とともに、より幅広く、より広範なアクセス可能性を持つようになっていくと考えています。エージェントが物事を成し遂げる速度は、今後も改善を続けていくでしょう。実際、月を追うごとに大きな進歩を目にしています。これは単に推論速度だけの話ではなく、モデルがどれだけトークン効率的であるかという点にも関わってきます。例えばSoulは、Terraと比較して著しくトークン効率が高いモデルです。そして次のモデルは、Soulと比較してさらに著しくトークン効率が高くなるはずです。私たちは常にその点を押し進めています。
推論用のハードウェアについても、私たちは常にイノベーションを重ねており、どんどん速くなっています。ですから、おそらく1年か2年のうちに、こうした速度がデフォルトとまでは言わないまでも、それに非常に近いものになっていくと思います。ただ、それと同時に、常に一段上のティアが存在し続けるだろうとも考えています。そこではより多くのハードウェアを使ったり、よりコストのかかる別のトレードオフを選択したりすることができ、それによって何か追加的な価値を得られるようになるはずです。
7. AIへの不安解消と、すべての人への挑戦の呼びかけ
7-1. AIに不安を持つ人々への安心材料
Tibo、最後の質問になりますが、いつも私が締めくくりに聞くようにしている質問を、より幅広い視聴者に向けてお聞きしたいと思います。世の中には、AIに対してかなり不安を感じている人がたくさんいます。仕事の自動化への懸念であったり、環境への影響であったり、あるいは単に今起きているこの出来事そのものが、とても異質なものに感じられるという理由からかもしれません。そうした幅広い視聴者に向けて、どのような励ましの言葉を伝えたいですか、というご質問についてお答えします。
私たちは本当に、世界のためにChatGPTを作っています。そして、それがどれだけ効率的であるかということに、非常に大きな投資を行っています。これは、幅広いアクセスと幅広い効用という考え方に直接結びついているからです。サービスを提供するコストが安くなればなるほど、それだけ多くのことができるようになり、日々の生活の中でより多くのものを得られるようになります。そして実際に、非常に高い効率性が実現されてきています。例えばLunaを見てみると、これははるかに小さなモデルでありながら、驚くほど効率的です。しかし、もし6ヶ月前まで時計の針を戻してみれば、当時であればこれはフロンティア、つまり最先端の性能を持つモデルとして位置づけられていたはずのものです。
Lunaのコストを見ていただければ分かりますが、これは信じられないほど安価です。まさに驚異的なことです。無料モードで提供されるようになっているものもあります。これはまさに、驚くべきことだと思います。つまり、こうした非常に優れた知性へのアクセスが、ますますありふれたもの、当たり前のものになっていくということです。そして、それは効率性を月を追うごとに、年を追うごとに押し進め続けることによってのみ可能になるものです。ですから、今フロンティアにあるものは、6ヶ月後にはずっと安価に動かせるようになっているはずだ、というのが私の考えです。この質問に対する私なりの答えは、まさにこの点に尽きます。テクノロジーというものは、時間とともに非常に効率的になっていく性質を持っているのです。そして私たちは、幅広いアクセスに非常に重点を置いており、そこから直接得られる効用を最適化しようとしています。
7-2. なぜ誰もがAIを試すべきか
では、AIを初めて試すことに対して二の足を踏んでいる人たちに対しては、どのようなことを伝えていますか。そして、AIが世界を助けている未来の姿を、彼らにどのように描いて見せることができるでしょうか、というご質問についてお答えします。それほど遠くを見る必要はないと思います。ChatGPTは、人々を非常に個人的で深いレベルで支えています。多くのユーザーが、文章を書く上での助けとしてChatGPTを利用していますが、それだけでなく、個人的なアドバイスのためにも使っています。例えば私たちは、健康や金融の分野の機能をリリースしましたが、私自身もそれらを本当に日常的に使っています。そして、自分一人ではなかなか得られなかったであろうサポートを、たくさん得られていると感じています。例えば、医師の診察を受ける前に、より情報を得た状態で臨めるようになる、といったことです。
ですから、その効用を実感するために、それほど遠くまで探しに行く必要はありません。他の人がどのようにそれを使い、そこからどのような恩恵を得ているのかについて話を聞き、そこから着想を得ることが、自分自身がどのように恩恵を受けられるかを考え始めるための、良い方法になるのではないかと思います。