※本記事は、Google Cloud Nextにおける講演およびステージ上でのインタビュー「Next '26: The Future of AI Infrastructure」の内容を基に作成されています。本講演では、Google Chief Technologist for AI & Infrastructure（SVP）であるAmin Vahdat氏が、エージェント時代を支えるインフラの内側を語り、AcquiredポッドキャストのBen Gilbert氏とDavid Rosenthal氏を迎えて、GoogleがいかにAIイノベーションの未来を設計しているかについてステージ上で対話を交わしています。動画は https://www.youtube.com/watch?v=PJQPMv8TqLA でご覧いただけます。本記事では、講演および対談の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご覧いただくことをお勧めいたします。
1. はじめに：Googleのミッションとインフラという土台
1.1 開幕の挨拶と「すべてを支えるのはインフラ」という位置づけ
Presenter： 皆さん、こんばんは。今夜こうして大勢の皆さんをお迎えできて、本当に、本当にわくわくしています。私たちにとっては大きな夜であり、この先に控えるGoogle Nextの重要な数日間へとつながっていく、その入り口にあたる夜です。これから私たちは、AIについて、そしてエージェントについて、数多くを語っていくことになります。けれども、最終的にそれらすべてを動かしているのは、ほかでもないインフラなのです。インフラは、私たちが手がけるあらゆることの土台になっています。今夜のテーマがインフラであるのは、それが派手だからではなく、すべての出発点だからにほかなりません。それからひとつ、お願いをさせてください。皆さんは、文字どおり世界の誰よりも先に、今からお見せする内容をご覧になることになります。ですから、どうか明日までは、この中身を内密にしておいていただければと思います。
1.2 「世界の情報を整理する」ミッションと、それを実現するための未踏インフラ
Presenter： さて、お話を始めるにあたって、私はまずGoogleのミッションから切り出したいと思います。私はGoogleにかれこれ16年、あとひと月ほどで丸16年になりますが、このミッションは、私にとって心から、そしてずっと変わらずに、心を動かされ続けてきたものなのです。「世界中の情報を整理し、それを誰もが使えるように、そして役立つようにする」。これは時代を超えて色あせることのないミッションだと、私は思っています。そして大切なのは、このミッションを実際に実現するためには、それまで誰も発明したことのなかったインフラを、新たに築き上げることが必要だったという点です。ミッションを掲げるだけでは足りず、それを支える土台そのものを、ゼロから生み出さなければならなかったのです。
1.3 25年前のウェブ検索とLarry・Sergeyらによるインフラ投資の決断
Presenter： 25年前を振り返ってみましょう。歴史の授業をまるごとやるつもりはありませんが、当時の人々がインフラを築いていたやり方では、このミッションを支えることはできませんでした。ウェブ検索を支えることが、そもそもできなかったのです。ここで私は、創業者たち、そして会社の最初期の社員たちに、深く敬意を表したいと思います。Larry、Sergey、そしてほかの人々は、この問題を、すなわちウェブ検索という問題を解くためには、インフラへの、そしてインフラの根幹そのものへの、相当に大きな投資が欠かせないのだと見抜いていました。当時としては決して当たり前ではなかったその判断こそが、その後のGoogleを形づくっていったのです。
1.4 今日の課題は「知能を解くこと」へ — まだ存在しないインフラを定義中という認識
Presenter： それから25年あまりが経った今日、このミッションを解くために必要となっているのは、知能を解くということです。ですから、挑むべき課題はかつてないほど大きく、同時に、目の前に広がるチャンスもまた、かつてないほど大きいのです。そして25年前とまったく同じように、知能を解くために必要なインフラは、まだこの世に存在していません。私たちは今、それを定義していく、まさにその途上にいるのです。私たちはすでに、いくつもの非常に本質的な前進を遂げてきたと考えています。そして今日、皆さんに知っていただきたいのは、知能を解くというこの課題に向けて、その土台となるインフラ、未来のインフラを定義するうえで、私たちがこれから踏み出そうとしている、ひとつの非常に大きな一歩についてです。今日はその話を、これからじっくりと皆さんと共有していきたいと思っています。
このセクションも冒頭の基調講演部分にあたるため、Presenter： として記述します。
2. エージェント時代の需要と垂直統合インフラスタック
2.1 テネシー州クラークスビルのデータセンター（AI生成ではない実物）と5億超DAUを支える基盤
Presenter： このエージェントの時代は、インフラに対して、これまでに前例のない需要を突きつけています。今、皆さんにご覧いただいているこの画像ですが、これはAIで生成した画像ではありません。これはテネシー州クラークスビルにある、私たちの実際のデータセンターなのです。今日、私たちのサービスを足元から支えるためには、これだけのものが必要になります。検索、広告、YouTube、そしてそれぞれが5億を超えるデイリーアクティブユーザーを抱える十数ものサービスが、このインフラの上で動いています。そして実際のところ、今日ではそのひとつひとつのサービスに、AIが余すところなく組み込まれているのです。一部の特別な機能だけにAIが載っているのではなく、私たちが提供するサービスのすべてに、AIが行き渡っているということです。
2.2 自社開発のAIスタックと、エネルギーからモデルまで6層の垂直統合
Presenter： そして、そのすべてを支える原動力となっているのが、もちろん私たちの自社開発インフラです。これは私たちがこの数年をかけて作り上げてきたAIスタックであり、生成AIにおける最大級の難問を解くために、専用に設計したものです。Googleには、この問題を端から端まで、垂直統合のかたちで解くという、ほかにはない機会があります。私たちはスタックのどこか一層にだけ手を入れるのではなく、問題のすべてに正面から取り組むことができるのです。出発点はエネルギーです。これは最大の制約のひとつですが、ここから順に層を積み上げていきます。エネルギーの上にはデータセンター、つまり土地があり、筐体があり、建物があり、皆さんがご覧になった冷却設備や機械設備があって、それらが私たちのインフラのすべてをその中に収めています。さらにその上には、ラック、ハードウェア、サーバー、ストレージ、ネットワーク、そしてTPUやGPUがあります。そのもう一層上に来るのがソフトウェアです。そして、このソフトウェアこそが、実際にすべてを噛み合わせて機能させているのです。ソフトウェアがなければ、ハードウェアはあなたのために、ほとんど何もしてくれません。
2.3 エネルギーという最大の制約への責任、Gemini 3とサービス群・クラウドへの展開
Presenter： ここで、出発点であるエネルギーについて、もう少しお話しさせてください。エネルギーは最大の制約のひとつであり、私たちはこの責任と挑戦を、きわめて真剣に受け止めています。地球規模の、いわば惑星全体の需要を満たすために、これを拡張していく。それは25年以上にわたる挑戦でしたが、今日ではなおさら、途方もない挑戦であり、同時に途方もない機会でもあります。だからこそ私たちは、これを拡張していくための根本的な取り組みを、しかも責任あるやり方で拡張していくための取り組みを進めているのです。そして、この数年で本当に大きく変わったのが、その上に乗る基盤モデルです。最先端のGemini 3が、私たちが自社で設計し、自社で築き上げたインフラの上で、すべて動いています。これらのモデルは、今度は私たちのサービスのすべてを動かしていきます。検索、広告、YouTube、フォト、Gmail、そしてそれ以上のものです。さらにこれらのモデルは、クラウドも動かしています。何千という数の企業が、日々の業務でGeminiに頼っているのです。
2.4 「最小公約数」を避け、層の継ぎ目で何も失わない統合の発想（効率・信頼性・セキュリティ）
Presenter： ここで少し視点を寄せてみますと、私たちはこの下から四つの層を、まとめてインフラストラクチャ・スタックと呼んでいます。仮に、この六つの層のどれかひとつだけを取り出して、それを単独で、孤立したかたちで設計しようとしたら、どうなるでしょうか。おそらく皆さんは、いわば最小公約数のようなものにたどり着いてしまうはずです。それぞれの層が、ほかの層と無理なく噛み合う範囲でしか性能を出せず、結局は全体として妥協した設計になってしまうのです。これに対して私たちにできるのは、層と層のあいだの継ぎ目で、何ひとつ失われないようにすることです。スタックのある層から次の層へと移っていくとき、私たちはすべてが端から端まで統合されているように作り込みます。そうすることで、最も高い水準の効率を、最も高い水準の信頼性を、そして最も高い層のセキュリティを実現するのです。これこそが、垂直統合を貫くことの本当の意味だと、私は考えています。
3. TPUの10年と第8世代TPUの発表
3.1 2013年のカスタムシリコン着手とTPU発明の動機、V1（2015）・V2（2018）以降の革新
Presenter： それでは、ここからはハードウェアに焦点を当てていきましょう。今日、私たちが少し時間をかけてお話ししたいのが、この部分です。私たちは、このAIインフラを支えるハードウェアに、もう10年以上にわたって取り組んできました。AIを支えるための自社カスタムシリコン、すなわちテンサー・プロセッシング・ユニット、TPUの開発に着手したのは2013年のことです。私たちは、その時々の需要を満たすために、そしてこれから登場してくるであろうサービスという観点で未来の需要を満たすためには、当時はまだ存在していなかったハードウェアアーキテクチャが必要になると見抜いていました。だからこそ私たちは、テンサー・プロセッシング・ユニットを築き上げ、発明したのです。そして、その後は世代を重ねるごとに、2015年のTPU v1、2018年のTPU v2と、私たちは革新を続けてきました。新しい機能を次々と加えていったのですが、それらは、今日の業界全体における高速なML計算がどういうものかを、いわば先取りするものだったのです。
3.2 液冷・カスタム数値表現・カスタムネットワーク相互接続の先行導入と、年次へ加速した開発ペース
Presenter： 私たちが先取りして取り入れてきた機能とは、たとえば液冷であり、たとえばカスタムの数値表現であり、たとえば何百、何千というチップを一台のスーパーコンピューターとしてつなぎ合わせる、カスタムのネットワークといったものです。こうした機能を、私たちは業界に先駆けて投入してきました。そして、革新のペースそのものも上がっていきました。最初はV1からV2まで、たとえば3年ほどの間隔があったものが、やがて2年ほどになり、そしてついには年次の、つまり毎年新世代を出すというリズムにまで到達したのです。昨年、私たちはここNextの場で、Ironwoodを発表しました。これは、それまでで最も強力なTPUスーパーコンピューターでした。
3.3 昨年のIronwoodの世界的展開と、それをどう超えるかという問い
Presenter： さて、そうなると、ひとつの問いが立ち上がってきます。私たちは2026年に、これをどう受け継ぎ、どう超えていくのか、ということです。Ironwoodは、本当に世界を変えました。今この瞬間も稼働していて、しかも途方もない規模で動いており、地球全体にわたって構築が進んでいます。私たち自身もGoogleでIronwoodの上で動いていますし、DeepMindもその上で動いています。私たちのサービスのすべてが、そして世界中の本当に数多くの利用者が、Google Cloudの上でIronwoodを使って稼働しているのです。これだけのものを世に出した翌年、私たちはどうやってその先を行くのか。それが、今日の発表の出発点となる問いでした。
3.4 第8世代「TPUs」を複数形にした意図 — 初の2チップ同時投入（学習用8T／推論用8i）
Presenter： そこで2026年に向けて、私は今日、第8世代のTPU“群”をご紹介できることを、本当に、本当に誇りに思っています。私たちはここGoogleで、言葉づかいにとても忠実なのです。皆さんがここでお気づきになるのは、末尾に「S」がひとつ付いているという点です。そう、ひとつ「S」があるのです。私たちは第8世代のTPUを、ひとつだけ発表するのではありません。第8世代のTPU“群”、つまり複数を発表するのです。史上初めて、私たちはふたつのカスタム設計TPU、8Tと8iを投入します。これらは、まさにこの瞬間の需要に応えるために、ゼロから設計されたものです。学習向けのTPU8Tは、いわばパワーハウスであり、最大規模を担います。一方の推論向けに作られたTPU8iは、エージェントの時代のためのものであり、最も低いレイテンシで、世界中の利用者にできるだけ速くコンテンツを届けるために存在しています。
4. 8Tと8iの仕様と、第8世代がもたらす意味
4.1 TPU8Tの仕様：9,600チップ、カスタムICI接続、約3倍の浮動小数点性能、2倍／4倍のネットワーク帯域
Presenter： それでは、ここからは中身を少し詳しく見ていきましょう。まず学習向けのTPU8Tですが、1ポッドあたりのチップ数はおおむね前世代と同程度で、9,600個のチップを搭載しています。ただし、それらをカスタムのICIインターコネクトで、本当に緊密に相互接続しているのです。性能面では、TPUポッドあたりの浮動小数点演算能力が、ひとつ前の世代と比べて、ほぼ3倍に達しています。たった1世代でこれだけ伸びているのです。ネットワークについても、スケールアウト方向では2倍の帯域幅、そしてスケールアップ方向では4倍の帯域幅を実現しています。つまり、多数のチップを横に広げてつなぐ方向でも、密に積み上げてつなぐ方向でも、データをやり取りする能力を大きく引き上げているということです。
4.2 TPU8iの仕様：1,152チップへの大型化、10倍のエクサフロップス、7倍のHBM容量
Presenter： 次に、推論を担うリーズニングエンジン、TPU8iを見てみましょう。こちらはポッドの規模そのものを、4倍、あるいはそれ以上に拡大しました。具体的には1,152個のチップが、すべて協調して動きます。最大規模のモデルを動かし、最も強力なエージェントたちが、ほぼリアルタイムで群れをなすように協調して働く、その全体をこのチップ群が支えているのです。性能としては、ポッドあたりで10倍の浮動小数点エクサフロップスを実現しています。そしてメモリ面では、同じスケールアップ構成のもとで、HBMの容量を7倍にまで大きくしています。推論やエージェントの処理では、大きなモデルとその文脈をメモリ上に保持しておくことが効いてきますから、この容量の拡大は重要な意味を持つのです。
4.3 派生ではなく学習・推論それぞれにゼロから専用設計したという設計思想
Presenter： 8倍、10倍といった数字が、すべてたった1年のうちに実現された。この進歩のペース、前進のペースは、まったく見事としか言いようがありません。私たちがこれをどう捉えているかというと、こうした年々の進歩のひとつひとつが、これらのチップの能力によって、まったく新しい一群のユースケースを切り開いていく、ということなのです。ここでもうひとつ申し上げておきたいのは、この二つのチップは、どちらも学習と推論のそれぞれに向けて、ゼロから個別に設計されたものだという点です。これらは、一方の単純な派生品ではありません。仕様も、能力も、接続性も、すべて異なっています。なぜなら、それぞれが個別の需要に向けて専門化されているからです。ですから、力強い学習が必要なら8Tがあり、電光石火の推論が必要なら8iがある、というわけです。
4.4 1年で8倍・10倍の進歩が解放する新ユースケース、企業変革・科学的ブレークスルー、「10年分の研究が1年で」
Presenter： これらのチップの能力が新しいユースケースを切り開く、というのは、こういうことです。今や私たちのエンジニアの全員が、そして世界中にいる皆さんのエンジニアの多くが、これまでなら不可能に思えたかもしれないことを、考えられるようになります。これだけ大きな計算能力を、わずか1年後に手にして、検索や広告、YouTube、あるいは皆さんお気に入りのサービスで、いったい何ができるようになるのか、と。これらのTPUは、今後もGeminiを動かし続けますが、話はモデルだけにとどまりません。むしろ私たちがますます目にしているのは、Gemini Enterpriseのようなサービスを通じて、企業の働き方そのものを文字どおり変えつつある、ということなのです。ヘルスケアにおいて、あるいは科学的なブレークスルーにおいて、ものごとが加速していくその速さは、本当に驚くべきものです。言い換えれば、私たちは今、これまでなら10年かかったかもしれない研究が、たった1年で進んでしまう、そういう場所に近づいているのです。そして、私たちがどこまで前進できるかは、その足元にある計算能力によって決まってくるのです。
4.5 2年間の開発・年内一般提供・数千人への謝辞と、「年1チップでは不十分」と2年前に気づいた判断
Presenter： さて、第8世代のTPU群を皆さんと共有できたことは、私にとって本当に喜ばしいことです。これらは、実はこの時点ですでに2年がかりで作り上げてきたものであり、年内のうちに一般提供される予定です。この機会に、私はぜひ感謝を伝えたいと思います。この2年のあいだ、二つのチップを世に送り出すために本当に懸命に働いてくれた、文字どおり数千人にのぼるGoogleのエンジニアたち、そしてそれ以外の数多くの人々に、心からお礼を申し上げます。そしてもうひとつ、私にとってとりわけ嬉しいのは、私たちが2年前の時点で、年に1つのチップでは足りない、と見抜いていたことです。今回は、二つの超高性能な専用チップで臨むという、私たちにとって初めての挑戦でしたが、チームは見事にやり遂げてくれました。それでは、ここからはBenとDavidに再び登壇してもらい、この話題をめぐって対話を交わしていきたいと思います。どうもありがとうございました。
ここから対談部分です。基調講演者がそのまま中心となって語り、聞き手のうち歴史への言及を担うのがBen、AcquiredのレンズでGoogleを論じるのがDavidです。発言の流れに即して、語り手を Presenter：、聞き手を Ben：、David： として記述します。
5. 対談（前半）：TPU誕生の起源と「自社で作る」文化
5.1 トランスフォーマー論文の4年前というタイミングと、「カスタムシリコンは悪手」という当時の常識への反論
Ben： おかえりなさい、またお会いできてうれしいです。二つのチップを、ひとつの年に。二倍の楽しさですね。本当にお忙しかったでしょう。あなたが歴史好きなのは私たちも知っていますし、私たち自身も歴史が好きなんです。そこで、初期のTPUの時代まで少しさかのぼってみたいと思います。2013年に行きましょう。あなたがカスタムシリコンに着手したのがその年で、今まさに私たちが渦中にいるこの大AI軍拡競争よりも、ゆうに10年近く前のことです。トランスフォーマーの論文が出る、その4年も前のことですよね。なぜGoogleがこれをやると決めたのか、その起源の物語を聞かせてください。
Presenter： ええ。そして驚くべきなのは、もし皆さんが2013年に自分を引き戻してみたとしたら、当時の常識では、賢くて優秀なエンジニアたちは口をそろえて、カスタムシリコンなんて悪い考えだ、と言ったはずだ、ということなのです。CPUはずっと速くなり続けている、だからただCPUが速くなるのを待てばいい、と。それが当時の支配的な考え方でした。
5.2 翻訳・音声認識の計算コストと「あと2〜3個のGoogleが必要」というJeff Deanの試算、100倍効率という気づき
Presenter： ところが、私たちが気づいたのは、こういうことでした。当時Googleが挑んでいた壮大な課題のひとつが、翻訳、つまり言語の翻訳だったのです。これは今なお壮大な課題ですが、TPUのおかげで、そしてその上に乗るあらゆるモデルのおかげで、私たちは実際にずいぶん上達してきました。私たちが見抜いたのは、ある言語から別の言語へ翻訳しようとするなら、しなければならないことのひとつが音声認識だ、という点です。テキストだけを扱いたいわけではなく、誰かが何を話しているのかを実際に理解したい。スタートレックに出てくるような、万能翻訳機を作りたかったのです。ところが音声認識は、計算の面で途方もなくコストが高く、しかもとても反復的で、大量の行列乗算が含まれます。そこで私たちが気づいたのは、もしこの行列乗算をCPU、つまり汎用計算の上でやろうとしたら、Googleの全利用者が1日に30秒ずつ音声でやり取りできるようにするためだけに、もう二つか三つ、まるごとGoogleをもう一個ぶん建て増ししなければならない、ということでした。
Presenter： Jeff Deanのこの件についての言葉は、たしか「もう一個Googleが必要だ」、いや、もしかしたら「あと二個、いくつかのGoogleが必要だ」だったと思います。いくつかGoogleを足さなければならない、というわけです。2013年当時でも、私たちはすでに大きな会社で、相当なインフラを抱えていましたが、この一つのユースケースのためだけにインフラを三倍にするというのは、とても割に合うものではありませんでした。ところが私たちが気づいたのは、カスタムシリコンを使えば、それを100倍効率よくできる、ということだったのです。ここで、計算がきちんと成り立ちます。CPUが100倍効率よくなるのを待つこともできますが、それはとてつもなく長く待つことになる。何年か待てばCPUがそこに到達する、というのが普通の発想ですが、100倍ともなれば、本当に長い長いあいだ待ち続けることになるのです。
5.3 CPUのコア性能向上鈍化という当時の観察、TPU v1=ASICからv8への漸進的進化（明確な転換点はない）
Presenter： しかも当時、私たちはCPUの、とりわけコア単体の性能向上のトレンドそのものが、すでに鈍り始めているのを実際に目にしていました。ですから、カスタムシリコンに賭けるのは理に適っていたのです。とはいえ2013年当時、これは物議をかもす決断だったと言ってよいと思います。
Ben： 2013年のTPU v1は、ASICと呼んで差し支えないものだと思います。一方でTPU v8はASICではありません。その道のりのどこで、あなたはその変化が起きたと位置づけますか。
Presenter： ええ、そのとおりで、TPU v1はASICでした。当時のGoogleは、ハードウェア企業ではありませんでした。今の私たちがハードウェア企業なのかどうかは分かりませんが、少なくとも2013年当時は、間違いなくハードウェア企業ではなかったのです。ですからこれは、ずっと続いてきた一連の歩みであり、私たち自身の能力を年々広げていく歩みでした。毎年毎年、ああ、この機能を足す必要があるかもしれない、液冷を検討する必要があるかもしれない、カスタムのネットワーク相互接続を検討する必要があるかもしれない、というふうに重ねてきたのです。ですから実のところ、ここがASICから非ASICへの転換点だ、という明確な一点があるわけではありません。私たちは、より多くのものを少しずつ引き受けていき、その積み重ねの果てに、今こうして年に二つのチップを生み出すところまで来たのです。能力をどんどん増やしてきたのは、それが求められていたからであり、これらの製品を成功させるために必要だったからなのです。
5.4 自社チップ・データセンター・電力まで内製する文化と「不可能への健全な敬意」（Googleマップの例）
Ben： あなたがたは、どうやってこの旅路に踏み出したのでしょう。もう一個Googleが必要だと気づいた、というのは分かりますが、ほかのたいていのテック企業は、こうしたものを買ってくるわけですよね。自分たちでチップを作ろう、自分たちでデータセンターを作ろう、自分たちでラックを作ろう、自分たちで電力を生み出そう、などとは決めないものです。
Presenter： ええ、これはGoogleの文化に深く根づいているもので、私自身が入社したときにも、深く共鳴したものでした。ここでもやはり、私はLarryとSergeyに敬意を表したいのですが、Googleには「不可能なものへの健全な敬意」とでも呼ぶべきものがあるのです。考えてみてください。私が好きな話はGoogleマップです。地球全体を地図にするために、自分たちで飛行機を飛ばし、自分たちで車を走らせるなんて、いったい誰がそんなことに意味があると思ったでしょうか。一見すると、そんなのは筋が通らないように思えます。それでも、それには意味があったのです。つまり、「不可能なことが、実は意味を持つかもしれない」と進んで口にする姿勢が、ここにはあるのです。
5.5 失敗を許容し学びに変える文化、TPU v1の初期投資規模（30〜40人・数千万ドル前半）と低い失敗コスト
Presenter： 私たちには、うまくいかないかもしれないことに賭ける、という豊かな伝統が、本当にあるのだと思います。今でこそ私たちはTPUを称えますし、それは当然のことだと思いますが、ほかにも数多くのことに挑んできて、そのなかには、ここでは名前を挙げませんが、成功しなかったものもたくさんあるのです。私たちはそうした歴史を、それこそ10時間ぶんは語れるほど作ってきました。でも、それでいいのです。この文化の素晴らしいところは、そういう洞察や情熱、そして挑もうとする意志を持った人々がいて、私たちは彼らがそれを実行できるようにしている、という点にあります。しかも、うまくいかなかったからといって罰せられたり、キャリアが傷ついたりするわけではありません。何かを学べるのですから。
Presenter： それにたいていの場合、私たちはその失敗を通じて、既存の製品や、あるいは別の何かの製品を、実際によりよくしているのです。失敗するという過程を通じて、私たちは何かを学んでいるからです。ですから、これは本当に、大きな賭けに進んで打って出る文化なのだと思います。とはいえ、最初の投資はそれほど大きなものではありませんでした。これはTPU v1の話ですが、おそらく30人から40人くらいの規模でした。
David： Acquiredのレンズから見て、GoogleとAIについて私が最も興味深いと思うことのひとつは、フロンティアモデルと、規模を備えたインフラ・クラウドと、最先端のAIチップ企業とが、すべて一つ屋根の下にある、という事実なんです。直感的にも、それらが互いに優位性を生むはずだ、というのは筋が通って感じられます。
Presenter： 金額についても、これも私の言葉として引用しないでいただきたいのですが、低い数千万ドル台、数千万ドルの前半くらいだったと思います。当時としては大きく、物議をかもす投資ではありました。けれども、よく考えてみてください。失敗したときのコストもまた低く、そして成功したときの価値は、見てのとおり、かなり大きなものだったのです。
6. 対談（後半）：垂直統合の連携、Boardfly、2チップ戦略
6.1 フロンティアモデル・クラウド・AIチップを一社に併せ持つ稀有な構造と、サービスとの深い協業の具体例
David： フロンティアモデルと、規模を備えたインフラ・クラウドと、最先端のAIチップ企業とが、すべて一社のなかにある。直感的にも、それらは互いに優位性を生むはずだと感じられます。これだけの取り合わせを一つの会社のなかに持っているところは、ほかにありません。Googleが持っているような、あの独特の混ざり合いを備えた会社は、ほかにないのです。そうした各チームが連携して、この統合を実際に活かしている、具体的な例をいくつか挙げてもらえますか。
Presenter： ええ。まず第一に、これらのTPUは、初期の頃には、サービスとの深い協業なしには決して生まれ得なかったものでした。たとえば言語翻訳であり、音声認識です。初代のTPUは、本質的に一つのアプリケーションとして作られたのです。文字どおりアプリケーション・スペシフィック、つまり単一のアプリケーション専用の集積回路でした。一つのアプリケーションのためにハードウェアを作るのなら、両者のあいだには、それこそ深い深い協業がなければなりません。そして中間の世代、さらには今日に至るまで、これらのチップは私たちのレコメンダーシステムや、広告配信のインフラのために使われてきました。ここでも、深い深い協業があったのです。何が必要なのか、ボトルネックはどこにあるのか、どうすればハードウェアをあなたのサービスのユースケースにより合うものにできるのか、それを支えるためにどんなソフトウェアスタックを築けばよいのか、と。
6.2 DeepMindとの協業なくしてTPU8はあり得なかった — レイテンシ大幅低減という最重要の成果
Presenter： そして最も最近の話として申し上げれば、これらのTPUは、DeepMindとの深い協業なしには存在し得なかった、と言ってよいと思います。言い換えれば、二年も三年も先の未来を予測できるようにするためには、その成果を実際に使うことになるDeepMindのチーム、研究チームと、肩を並べた、本当に密な協業が欠かせないのです。
Ben： TPU v8で、あなたがたがDeepMindに何かを提案したところ、彼らから「いや、むしろこうしてくれないか」と返ってきた、というような例はありますか。
Presenter： ええ。私たちがおそらく最も誇りに思っていることのひとつで、ここではあまり触れてこなかったのですが、いずれ表に出てくる話ですので、皆さんにごく早めのプレビューとしてお伝えします。それは、TPU8がレイテンシを本当に大きく引き下げる、ということなのです。
6.3 従来トポロジーはスループット最適でレイテンシ非対応という気づきと、新トポロジー「Boardfly」
Presenter： 私たちが気づかざるを得なかったのは、これまでのチップ同士のつなぎ方、つまりネットワークのトポロジーに関わることでした。少し低レベルな話になりますが、できるだけ分かりやすくお話しします。私たちがこれまで標準としてきたチップのつなぎ方は、レイテンシには向いていなかったのです。それはスループットに、つまり帯域幅に向いたものでした。大量のデータを通すことには本当に長けていたのです。ところが、エージェントの時代に本当に大切になるのは、レイテンシ、すなわちデータを通すのにかかる最小の時間です。そこで私たちは協力して、これらのチップをつなぐための、特別なネットワークトポロジーを築き上げました。これは本当に斬新なもので、Boardflyと呼ばれています。これはネットワークの直径を劇的に縮めるもので、どの二つのチップのあいだの距離も大きく短くなるのです。
6.4 洞察に基づくアーキテクチャ変更こそゲームチェンジャー、2年前にエージェント・低レイテンシを賭けた判断
Presenter： これは本当に、唯一無二と言ってよい種類の洞察なのです。もし単にチップを作っているだけなら、私たちはこう言うでしょう。前の世代を速くしよう、と。もちろんそれはそれで良いことです。けれども、サービスが何を必要としているのかという洞察に基づいて、アーキテクチャそのものを変えるとき、それこそがゲームチェンジャーになるのです。
Ben： これはあくまで私の当て推量ですが、おそらく設計を始めたのは、二年くらい前のことではないでしょうか。当時はまだ、誰もAIエージェントの話などしていませんでしたよね。ですから、それに合わせた専用ハードウェアを設計できたはずがない、と思うのですが。
Presenter： そうなんです。今となっては思い出しにくいのですが、ほんの二年前には、誰もそんな話をしていませんでした。だからこそ、ここが素晴らしいところなのです。二年前、私たちは社内でAIエージェントについて語り合っていましたし、リクエストに応じてリアルタイムで動く強化学習についても話していました。当時、それは支配的なワークロードではありませんでしたし、競合する要件があったとも言えます。それでも私たちが見通せたのは、これが向かっていく先に、エージェントが、とりわけ低レイテンシが、かなりの確度で待ち受けている、ということでした。そこでは、いくつかの賭けに出なければなりません。けれども、未来を予測しようと働く数千人、数千人の研究者がいるのです。そのなかの多くが、しかも本当に世界をリードするような頭脳が、ここはあえて少しだけ身びいきを承知で言いますが、DeepMindのチームは地球上で指折りの頭脳ですし、もちろんほかにも優れたグループはありますが、その彼らの相当数が、二年先にはここに向かう、とあなたに告げているなら、あなたは当然それを書き留めるはずなのです。
6.5 2チップ投入という戦略的決断と、ウェブインデックス構築（学習）→配信（推論）に価値が移る歴史の類比
Ben： 少し触れてくださいましたが、もう少しこの二つのチップについて話しましょう。一方で、これは仕事が二倍になるということで、大きな戦略的決断ですよね。しかも、その決断を下したであろう当時、計算の市場と需要は、まだまだ学習が中心でした。あなたがたは、その投資をどう考えたのですか。
Presenter： 私は歴史が好きなのですが、歴史を学ぶ最大の理由のひとつは、それが未来を予測するうえで一歩先んじる助けになる、という点にあると思います。その時点で、私たちの背後にはGoogleの相当な歴史が積み重なっていました。ウェブ検索を考えてみてください。たとえば2000年における一番の問題は、ウェブインデックスを構築することでした。当時はそうは呼びませんでしたが、これはいわばモデルを学習させること、大きな前払いの、一度きりの作業だったのです。皆さんのなかには覚えている方もいるかもしれません。「新しいウェブ検索インデックスが利用可能になりました」と言っていた時代がありました。それは数ヶ月ごとに起きていたのです。Googleはかつて、数ヶ月ごとにフッターの表示を更新して、インデックスしたページ数を載せていました。新しいインデックスに含まれるページ数を、です。私たちは二ヶ月間懸命に働き、当時としては膨大な数だった、数万台ものサーバーを投入して、インターネットをクロールし、このインデックスを構築していました。
Presenter： では、そのインデックスの価値はどこにあるのか。インデックスの価値は、それを提供すること、サービングすることにあります。たとえば2005年、確実に2010年、いや2005年の時点で、私たちが自分たちのインフラ上で行っていた支配的な仕事は何だったかといえば、インデックスを提供することだったのです。そして私たちは、25年前に起きていたことのすべてが、今もまた起きている、ただしはるかに圧縮された時間軸のなかで起きている、ということを見て取れました。ですから私たちは、こう分かっていたのです。確かに学習は支配的なワークロードだ。けれども価値は、モデルを提供することから生まれてくる、と。もちろん、ある意味では、すべての大変な作業はモデルを構築するところに注ぎ込まれます。けれども、それを提供することこそが、Gemini Enterpriseにとっても、検索にとっても、広告にとっても、YouTubeにとっても、そのほか実に多くのものにとっても、価値が生み出される場所なのです。そこで私たちは賭けに出ることができました。サービングの指数関数的な離陸が見え始めていて、それを二年、三年先まで延ばしていけば、なるほど、ここで、つまり2024年というこの年こそ、二つのチップに踏み出す年だ、というわけです。
7. TPUのユースケースと、残るボトルネックとしての信頼性
7.1 cloudとGoogle全体の双方に立つ責任、過去2年で検索が25年分以上変化（AIモード／AIオーバービュー）
David： TPUのユースケースと、それが誰のためのものなのか、というのが気になっています。というのも、私たちは今こうしてGoogle Cloud Nextの場にいるわけですが、これはむしろIOの場にあってもおかしくない発表に思えるのです。これはGoogleのあらゆるグループにまたがる、土台のようなものですよね。Googleのポートフォリオ全体のなかで、TPUがどこに位置づけられるのか、どうお考えですか。
Presenter： 私のチームは恵まれていて、実はクラウドのなかにも、そしてGoogle全体のなかにも、その両方に身を置いているのです。ですから私たちは二重の役割を担っていて、この役割と、ある種の責任を、正直に言って一つの特権として受け止めています。私たちはGoogleを動かし、私たちのコンシューマー向けサービスのすべてを動かし、クラウドを動かし、もちろんすべてのエンタープライズ向けサービスも動かしています。ユースケースについて言えば、こう申し上げてよいと思うのですが、Google検索はこの直近の二年間で、それまでの25年間よりも根本的に大きく変わりました。AIモードやAIオーバービューを見てください。最近私が走らせるほぼすべての検索に、AIモードが、いや失礼、AIオーバービューが付いてくるのです。
7.2 収益化可否を問わず最高品質を出す検索の使命と効率化、Citadelの事例（2〜4倍効率化・コスト30%削減）
Presenter： そのたびに私は、いやはや、これを支えるためにいったいどれだけのコストがかかっているのか、と考えます。そして私たちは、それを実際に可能にするための効率化の取り組みを、本当に誇りに思っています。事実上ほぼすべてのGoogle検索に、それを行き渡らせられるようにしたのです。しかも、収益化できないものにまで、です。それは私たちにとって厳密には収益にならないのですが、私たちの仕組みの素晴らしいところはまさにここにあります。検索という事業部門のゴールは、私はこの点が会社として大好きなのですが、お金を儲けることではないのです。最も質の高い、最も人を惹きつける結果を生み出すこと、それがゴールなのです。広告を生み出すのは別の組織で、これまた最高に頭の切れる人々が集まった素晴らしい組織なのですが、検索の仕事は、収益化できるかどうかにかかわらず、それは問題ではなく、ただ最良の結果を生み出すことなのです。そして彼らは、TPUを使ってそれをやり遂げています。
Presenter： 逆の側の例も挙げましょう。これは明日のセッションで聞くことになる話で、実は今日のセッションでも取り上げたので、ここでお話ししても差し支えないと思います。Citadelです。世界をリードする証券取引会社ですが、彼らはTPUを使っています。フロンティアモデルの学習や、モデルのサービングのためでしょうか。いいえ、違うのです。にもかかわらずTPUを使うことで、彼らは自分たちの取引システムを2倍から4倍効率的にしました。そしてコストを30%削減したのです。
7.3 8世代を経てTPUが汎用化し数学的高負荷ユースケースを担うようになった気づき
Presenter： つまり、こういうことなのです。TPUは専門特化したアーキテクチャでありながら、八世代を重ねるなかで、ますます汎用的なものになっていきました。数学的に負荷の高い、数多くのユースケースを引き受けられるようになったのです。
David： その二つのチップの変種について、いくつものボトルネックを解いていって、これはもう、信じられないほど高性能なシリコンだ、と感じられるようになってくると、では残るボトルネックはどこにあるのか、鎖のどこか別の場所で問題が顔を出し始めるのはどこなのか、という話になりますよね。
7.4 数万チップが神経系のように協調し1チップ故障で計算が止まる構造、1日数回は故障するという現実
Presenter： 私たちにとって大きなもののひとつが、信頼性です。私たちのシステムについて語るとき、今やこう言ってよいと思うのですが、一つの問題に取り組んでいるのは9,600個のチップだけではありません。多くの場合、数万個、いやそれ以上のチップが、文字どおりナノ秒の単位で、すべて協調して動いているのです。これが何を意味するかというと、もしどれか一つのチップが故障すれば、計算が止まってしまう、ということです。文字どおり神経系のようなもので、皆がそれぞれ少しずつ計算をしては、その結果をほかの全員と交換し合っています。これは単純化して言っていますが、皆さんはご存じのとおり、学習においてはそうなっています。ですが、推論においても同じなのです。推論では規模はもう少し小さくなりますが、それでも私たちは、おそらく数百個のチップの上で動かしています。ですから、そのうちのどれか一つが止まれば、その神経系は情報を配り続けることができなくなり、計算全体が停止してしまうのです。
Presenter： 私はてっきり、これは解決済みの問題だと思い込んでいました。ところが、そうではなかったのです。これは私たちにとって、そして事実上業界全体にとって、まさに第一級の問題なのです。これらのチップは、いわば自然の驚異です。最先端の物理、リソグラフィ、材料を使っていて、しかも本質的に言えば、市場で買える最大級のチップなのです。一つのチップは、もう一つとは大きさが違いますが、どちらも基本的には、入手できる最大級のチップです。それが何を意味するかというと、故障するということです。私たちのものも故障しますし、他社のものも故障します。とにかく故障するのです。本質的に、避けようのない故障というものがあります。しかも、ほかのチップよりもよく故障します。そうなると、よし、これを信頼できるものにしよう、と言ったとしても、もし10万個のこうしたチップが一つの計算に取り組んでいたら、そのうちどれか一つが故障する確率はどれくらいか、と。計算してみると、これがなかなかのものになるのです。一日に何度か、はっきりとは申し上げませんが、その程度の頻度で、少なくとも一つのチップは故障することになるのです。
7.5 故障検出・再構成の速度と「人が介入すれば最低30分」、1万チップで97%超のグッドプット達成とその概念
Presenter： そこで問題になるのが、その故障をどれだけ速く検出できるか、ということです。干し草の山のなかから、いかに速く針を見つけ出すか。そして、計算を再び走らせるために、いかに速くシステムを再構成するか。仮に、一時間に一度故障が起きるとしましょう。もし問題を見つけて直すのに一時間かかっていたら、スループットはゼロになってしまいます。再び動き出した頃には、もう次の何かが故障しているからです。そしてもし、その故障の検出と診断に人間が関わらなければならないとしたら、私たちにはひとつの経験則があって、人間がループに入ると、最低でも30分はかかるのです。最も賢く、最も知識のある人物であっても、最低でそれだけかかる、ということです。そして簡単に何時間にもなりかねません。だからこそ、私たちがこの信頼性を桁違いの水準にまで引き上げてきた取り組みによって、私たちは1万個のチップで97%を超えるグッドプットを実現できているのです。
David： グッドプット、とおっしゃいましたね。聞いたことがない言葉です。
Presenter： ええ。これはスループットとは違うのです。なぜなら、大量の計算をしていながら、何の前進もしていない、ということがあり得るからです。車輪を空回りさせているだけ、ということがあり得るのです。グッドプットというのは、実際に前へ進んでいる量のことです。すべてが完璧に進めば理論上どれだけのフロップスが出るか、ということではありません。97%というのは、100%が故障ゼロ、すべてが完璧に動いている状態だとして、その97%という意味です。つまり、故障が起きたときにきちんとその問題を見つけ出し、そして実際に故障は起きるのですが、それらからきわめて速やかに回復している、ということなのです。
7.6 最悪のサイレントデータ破損、狭義のチップ開発から広範なシステムエンジニアリングへ
Presenter： もうひとつ付け加えさせてください。最悪なのは、はっきりと止まってくれる故障ではなく、私たちがサイレントデータ破損と呼ぶものです。一つのチップが、時おりこっそりと計算を間違える、というケースです。これが最悪なのです。なぜなら、ほとんどいつも正しく答えを出せる天才のような存在を考えてみてください。もしその天才が一時間に一度だけ間違いを犯すとしたら、実はそれは大問題なのです。というのも、これらのチップはすべて互いに会話をし合っているからです。一つのチップの誤りが、ほかの全員へと伝わってしまうのです。ですから、これらを本番環境で、しかも大規模に動かし続けるという問題は、途方もなく難しいものになります。
David： それはもう、狭い意味でのチップ開発の問題というより、ずっと広範なシステムエンジニアリングの問題になってきますね。
Presenter： まさにそのとおりです。端から端までの問題なのです。そして文字どおり、何百もの課題を発見し、修正しなければなりません。そのひとつひとつがかなり手強いもので、それらを乗り越えていって、ようやく、この大規模な信頼性を実現できる地点にたどり着くのです。
8. 結び：数年先の未来予測
8.1 翌朝5時の発表予告と「通念の再検討」という展望
David： さて、そろそろ締めくくりに入りましょうか。私たちは今こうしてCloud Nextの場にいて、二つのチップという、この信じがたい発表をしているわけですが、明日には、また別の発表が控えていますね。
Presenter： 明日です。明日の朝5時です。
David： 5時、明日の朝5時ですね。失礼しました。明日、また信じがたい発表があると。では最後に、数年先の未来について、何か話していただけますか。あなたの頭のなかでは、もう何世代も先までのロードマップが、すでに形になりつつあるはずですよね。
Presenter： ええ。未来というのは、私の考えでは、これまでの通念を本気で問い直していくものになる、と思っています。
8.2 エージェント計算における汎用CPUの復権予測（オーケストレーション・サンドボックス・VM需要）
Presenter： ここでお話ししたいことには、二つの側面があります。まず一つ目として、CPUが返り咲くことになる、というのが、私が今日この場で立てておきたい予測です。どういうことかというと、これらのエージェントを動かすには、実に多くの汎用計算が関わってくるのです。エージェントたちは、行われているあらゆる推論をオーケストレーションし、取りまとめています。彼らはサンドボックスや仮想マシンを作り出して、そこでコードを構築し、それを実行し、結果を確かめ、そして次に出すべき一連の出力を見つけ出していきます。ですから、汎用計算が返り咲くことになるのです。これが一つ目の側面です。
8.3 専門化の時代の継続 — 汎用CPUは年5%しか向上せず、新ワークロードには専用化が必要
Presenter： そしてもう一つの側面として、専門化の時代もまた続いていきます。ですから私は、ここにある二つのチップが、いずれそれぞれに専用のチップを必要とするような、さらなるワークロードを見つけ出すことになっても、まったく驚きません。それを担うのが私たちなのかどうか、ここは、Googleについてではなく、業界全体についての予測として申し上げますが、汎用のCPUが、コストを正規化したうえで、性能を年にわずか5%しか伸ばせないような時代にあっては、専門化するしかないのです。これらのまったく新しいワークロードに本気で挑もうとするなら、なおさらそうなのです。
8.4 2チップがさらに増える可能性（業界全体への予測）
Presenter： ですから、二つのチップが、いずれもっと多くのチップになっていくかもしれません。それはTPUではないかもしれませんし、まったく別のワークロードに向かっていくものかもしれません。けれども、専門化の時代が、これからの未来に訪れることは間違いないのです。
David： いやはや、これ以上ない締めくくりの言葉ですね。本当にありがとうございました。
Presenter： ええ、こちらこそ。本当に楽しい時間でした。感謝します。