※本記事は、ETH ZurichのGustavo Alonso氏によるSIGMOD 2026基調講演「A New Golden Era for Data Management」の内容を基に作成されています。動画は https://www.youtube.com/watch?v=HDjZcIpqeKI でご覧いただけます。Alonso氏はスペイン出身で、UCSBにてDivy Agrawal氏およびAmr El Abbadi氏のもとで博士号を取得し、IBM Almadenにて分散データベース・トランザクション処理の研究に従事した後、1998年にETH Zurichに着任しました。現在はETH ZurichのInstitute for Computing Platformsの所長を務めるとともに、AMD ETH HACCイニシアチブを率いており、データベース分野にとどまらずハードウェアアクセラレーション、FPGA処理、ハードウェア・ソフトウェア協調設計など幅広い領域で研究を行っています。SIGMOD、VLDBに加えSOSP、USENIX、EuroSys、ASPLOSといった複数の分野の会議で高い評価を受けた論文を発表しており、4つの異なるコミュニティでテスト・オブ・タイム賞またはそれに準ずる賞を受賞しています。ACM Fellow、IEEE Fellow、UCSB卓越同窓生、EuroSys生涯功労賞受賞者でもあります。本記事では、講演内容を要約・再構成しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. 講演の背景と問題提起
1.1 モデレーターによる紹介と講演の位置づけ
司会者： 本日の基調講演者であるGustavo Alonsoをご紹介いたします。多くの方にはすでによく知られた人物ですが、詳しく存じ上げない方のためにあらためてご紹介させていただきます。データベースシステムのコミュニティは、これまで常に、その上で動作するハードウェアによって特徴づけられてきました。私たちは当初テープの上で動いており、その後ディスク、SSD、分散システム、そしてクラウドへと移行してまいりました。本会議のセッションに参加された方であればお分かりの通り、私たちは今、ハードウェアの分野でまた新たな革命の只中におります。GPUによるデータベースクエリ処理への移行、そしてFPGAの活用など、この領域では非常に多くの研究が進められています。まさにハードウェアの新たな革命の渦中にある今日、この分野の第一人者であるGustavoに基調講演をお願いできることは大変適切なことだと考えております。Gustavoはスペイン出身で、UCSBにてDivy AgrawalおよびAmr（本日この会場にいらっしゃいます）のもとで博士号を取得しました。1998年にETH Zurichに着任しておりますが、これは彼の教え子の一人が「1998年というのは今の学生にとってはるか昔のことですね」と言い、「インターネットが登場する前から教授をされていたのですね」と驚いたという逸話がございます。もしGustavoがそれほど「古い」のであれば、この場にいらっしゃるAmrはどうなるのか、という話にもなりますが、それはさらにファラオの時代にまで遡ることになりそうです。Gustavoは現在ETH ZurichにてInstitute for Computing Platformsの所長を務めるとともに、AMD ETH HACCイニシアチブを率いております。先ほど申し上げた通り、彼はハードウェア研究の先駆者であり、分散データベース、トランザクション処理をIBM Almadenにて研究した後、ETH Zurich着任後はハードウェアアクセラレーション、FPGA処理、ハードウェア・ソフトウェア協調設計など、多岐にわたる領域で研究を重ねてまいりました。データベース分野の研究者にとどまらず、その影響力は複数のコミュニティに及んでおり、SIGMODやVLDBだけでなく、SOSP、USENIX、EuroSys、ASPLOSといった会議でも大きなインパクトを持つ論文を発表しております。特筆すべきは、4つの異なるコミュニティにおいてテスト・オブ・タイム賞またはそれに準ずる賞を受賞しているという点であり、これは本当に驚くべきことです。その他にも、ACM Fellow、IEEE Fellow、UCSBの卓越同窓生、EuroSys生涯功労賞など、数々の栄誉を受けております。それでは、「データ管理の新たな黄金時代」と題した講演をお願いしたいと思います。Gustavo、よろしくお願いいたします。
Gustavo： さて、マイクは入っていますでしょうか。よし、問題なさそうです。私の資料も準備できております。まず初めに、ナマステ。この度はお招きいただき誠にありがとうございます。そしてこの場にお集まりの皆様にも御礼申し上げます。本当に素晴らしい会議でした。この会場も印象的で、これに続いて話をするのはなかなか大変です。昨日のダンスパフォーマンスがあったからというだけではありません。ダンスについては後ほどまた触れたいと思います。実は私は最後の基調講演者という不利な立場にあります。これまで数多くの素晴らしい講演やアイデアが議論されてきた後ですので。ただ一方で有利な点もあります。それは、自分の基調講演を新たに用意する必要はなく、この一週間、私よりも賢い方々が語ってきたことを指し示せばよいだけだ、ということです。とはいえ、一応挑戦してみようと思います。皆様の中で、いくつかの基調講演やその他の内容を見逃された方もいらっしゃるかもしれませんので、私の講演のテーマの導入として、それらを改めてここで振り返らせていただきます。まず、これは、この場にいらした方はご存知だと思いますが、Jagadishがまさに先ほど、当然の受賞であるイノベーション賞を受賞されました。彼は、自身がかつてSIGMODで基調講演を行った際、すでに何年も前のことですが、マニフェストを提示したとおっしゃっていました。私の講演も、いわばマニフェストのようなものになると思います。おそらく彼のものよりも、いくぶん攻撃的かつ挑発的なものになるでしょう。私をよく知る方々にとっては、これはいつものことだとご理解いただけるかと思いますが、それ以外の皆様にはどうか気を悪くなさらないでいただきたいと思います。これはあくまで思考材料として提供するものです。もう一つ私が取り組みたいのは、研究そのものだけでなく、コミュニティに対して語りかけるということです。私たちは今、ある種の転換点に立っていると考えているからです。AIやLLMに対して私たちがどのような役割を果たすべきか、という問いだけでなく、コミュニティとしてどう振る舞うか、研究成果をどのように交換していくか、そして今後、研究というものがどのような意味を持つのか、そういった問いについても触れていきたいと思います。この数日間で語られたことを引用しながら進めさせていただきます。昨日の資金調達に関するパネルディスカッションにおいて、University of California, San DiegoのGupta教授が発言された内容が、私の中で強く共鳴しました。私自身、これまでそのように定式化された表現を聞いたことがなかったのですが、非常に力強い言葉だと感じました。彼は、データベース、データ管理、あるいは私たちが取り組んでいる対象を何と呼ぶにせよ、それは「主題（サブジェクトマター）」である、とおっしゃいました。これはつまり、私たちが計算機科学、計算機工学の核となる知識の一部を構成している、ということを意味しています。今日、トランザクションという概念は広く受け入れられ、並行性制御における正しさの黄金基準とみなされています。私たちが長年にわたり実装してきた数多くのアイデア、データ構造、クエリ最適化、スキーマなど、私たちが開発してきたデータ構造やアルゴリズムの多くが、計算機科学の中核的な一部とみなされているのです。問題は、ここからどう前進していくか、ということです。私たちはすでにこの「主題」を作り上げてきました。しかしGupta教授はそれだけでなく、こうも指摘されました。もし私たちがイノベーションを怠り、新しいことに挑戦しなければ、私たちは単にLLMのための最適化機構になってしまうだろう、と。私はこれは非常によくない事態だと考えています。私たちは主題であり続ける必要があります。そして問題は、どうすればそこに到達できるか、ということです。この点について、私の個人的な見解を述べさせていただきたいと思います。さて、過去二日間の基調講演は本当に素晴らしいものでした。自分が同じ水準に達しているかどうかは分かりません。ですので、深遠であろうとするのではなく、単に挑発的であろうと思います。そちらの方がずっと簡単ですから。一つ目の基調講演では、機械学習を用いて何ができるかを見てきました。ある分野に深い専門知識を持つ人物が、機械学習を用いて何を達成できるか、という内容でした。これは私たちのコミュニティ、研究そのもの、そして研究とは何か、貢献とは何かという定義にも関わってくる問題です。昨日の二つ目の基調講演では、Tuomasが、私たちがデータのエンジニアとしてコミュニティとして機械学習に対して何を貢献できるか、という素晴らしい内容を語ってくれました。彼女の言うことは全く正しく、私たちには貢献できることがたくさんあります。Jagadishも自身の講演でこの点に触れていましたので、私も完全に同意します。しかしながら、私はそこに一つの危険性を見出しています。その危険性とは、昨日のパネルディスカッションでも言及された通り、もし私たちが自分たちの努力をLLMへの貢献に注ぎ込むことに終始してしまえば、私たちはLLMを最適化する存在になり下がってしまう、ということです。私たちは主題ではなくなり、単にLLMの配管の奥深くで、LLMをより効率的に、より優れたものにするための作業をする存在になってしまいます。しかし、計算機科学における中核的な対象としての地位は失われてしまうでしょう。これこそが、私たちが今後前進していく上で対処し、変えていかなければならないことだと考えています。
2. データベースコミュニティへの批評
2.1 コミュニティの美点と問題点
Gustavo： ここからは、データベースコミュニティに対する私自身の視点を述べさせていただきます。私は少しばかり部外者としての立場を活用したいと思います。先ほどの紹介でもありました通り、皆様は私を「ハードウェアの人」と呼びますが、これはいつも興味深いことです。というのも、ハードウェアの会議に行けば私はデータベースの人間だと言われ、オペレーティングシステムの会議に行けば私はネットワークの人間だと言われるからです。つまり私はどこにも属していないのです。私は決してハードウェアの専門家ではありません。ハードウェアを利用しているだけです。ともあれ、こうしてあらゆるコミュニティから部外者というレッテルを貼られている立場を活かして、データベースコミュニティについての、あくまで個人的な見解を述べさせていただきます。まず、このコミュニティの良い点についてお話しし、皆様にリラックスして、気分良くなっていただいてから、その後に厳しいことを申し上げたいと思います。一つ目は、成功です。研究においても、産業においても、学術界においても、私たちのコミュニティであるデータベースは非常に成功していることは否定のしようがありません。若い世代の方々には、LLM、LLM、LLMという言葉ばかりが耳に入ってくるかと思いますが、LLMは今なお多額の損失を出し続けています。ある経済紙は、LLMを「ウェブサイト付きの金食い虫」と評していました。多くのクラウドプロバイダー、多くのハイパースケーラーにとって、実際に収益を上げているのは今なおデータ分析です。データ分析は今も数千億ドル規模の産業なのです。私たちは非常に成功しており、非常に広く利用され、社会全体にとって、そして多くのアプリケーションにとって非常に重要な存在です。研究においても、先ほど申し上げた通り、私たちは計算機科学における中核的な科目であり、あらゆる計算機科学者が知っておくべきテーマです。そして学術界においても、私たちは長年にわたり成長を続けてきたコミュニティです。すでに複数の世代のデータベース研究者が存在し、優れた教員陣がおり、多くの企業で責任ある地位についている人材を輩出しています。つまり、非常に成功しているのです。そして人材の面について言えば、正直なところ、私は複数のコミュニティを知っており、さまざまな分野の会議に参加していますが、これは間違いなく、最も優れた人材が集まる最も素晴らしいコミュニティです。多様性、包摂性、友好性、そしてお互いの接し方において、これほど良いコミュニティは他にありません。もちろん例外的な人物もいますが、それについては触れないでおきましょう。基本的に皆様は非常に素敵な方々です。それは良いことです。さて、これで皆様がリラックスし、少し目が覚めた状態になったことを願います。ここからが厳しい話です。何が問題なのでしょうか。データベースコミュニティは、全体として、非常に内向的かつ孤立しています。私はこのコミュニティに30年以上関わってきましたが、私たちが世界の他の場所で起きていることをいかに無視しているか、これは驚くべきことです。そして、私たちは計算機科学における主題であるにもかかわらず、常に最新の流行、最新の目新しいものを追いかけているのです。あたかも、それまで取り組んできたことがすべて意味を持たなかったかのように、何度も何度も繰り返しこれを行っています。この点については後ほど改めて触れます。そして、これが醜い部分なのですが、驚かれる方もいるかもしれませんし、同意されない方もいるかもしれませんが、私たちは企業の短期的な利害に対してあまりにも影響を受けすぎています。これは私たちが持つ産業的な成功の大きさの副作用でもあります。私たちのコミュニティには産業界からの非常に大きなプレゼンスがあり、これは若い方々、あるいは他のコミュニティに詳しくない方々にとっては、実は非常に特異なことなのです。過去にはIBMやOracleがそうであり、今日ではMicrosoft、Amazon、Snowflakeがそうです。実際、システムズグループの元学生であるPhilipが、今朝Snowflakeとその技術革新について素晴らしい発表をしてくれました。このように、研究と学術界の相互作用が存在し、それは非常に実り豊かで、実務上も非常に有用です。しかし、これには副作用があります。私たちはコミュニティとして、企業が今日抱えている問題にあまりにも多くの労力を注ぎすぎる傾向があるのです。私は、それは学術界がすべきことではないと考えています。学術界は5年、10年先を見据える必要があります。今日の問題は企業に解決させればよいのです。私たちは前進し、明日の問題に目を向けるべきです。今日の問題にばかり注力しているために、私たちの会議において画期的な研究を見つけることが非常に困難になっています。本当に難しいのです。こうした論文は査読を通過するのが非常に困難です。懐疑的な表情をされている方もいらっしゃいますね。Karstenも文句を言い始めていますが、他の会議の予稿集を読んでいただければ、すべての論文がそうだとは申しませんが、実際に分野を前進させる力を持った、突飛なアイデアとして受け入れられている論文が十分に見つかるはずです。そして、こうした論文は、SIGMODやVLDBのようなデータベース分野の会議では非常に見つけにくいのです。私たちはこのために別の場を作ってきました。CIDRがそうですし、ICDTにはビジョナリートラックがあります。他の会議でもこうしたビジョン論文の場を設けようとしてきましたが、SIGMODやVLDBという大きな会場においては、こうしたものは非常に少ないのです。そしてこれは私の個人的な不満なのですが、せっかく壇上に立っているのでこの機会に申し上げたいのですが、実は誰もオリジナルの文献を引用しないという問題があります。つまり私たちは自分たちの歴史を忘れつつあり、定期的に、すでに何度も行われてきたことを完全に再発明してしまう論文が出てくるのです。Phil Bernsteinが昨年、素晴らしい基調講演を行い、トランザクションに関する多くの研究が、実は30年前、20年前にすでに行われていたものであると指摘していました。私たちは同じことを何度も繰り返し再訪しているのです。しかしまあ、これは別の話です。
2.2 北センチネル島の比喩と「グレート・リサーチ・ダンス」
Gustavo： さて、私たちは今インドという素晴らしい国におります。昨日、いかに多くの文化がこの国に存在するかを学びましたが、その中に私が非常に興味深いと感じる特定の文化があります。皆様の中で、北センチネル島についてお聞きになったことがある方はいらっしゃいますか。少数の方ですね。ご存じない方のために説明しますと、これはインドに属する島で、アンダマン海に位置しており、そこには世界の他の地域との接触を一切拒否する部族が暮らしています。西洋的な視点から言えば、彼らは非常に原始的とされており、狩猟採集民で、今なお弓矢を用いて狩猟や漁労を行っています。そして彼らは他者との接触を完全に拒否しており、実際にその島への渡航は禁止されています。感染症や病気の汚染の危険があるためというだけでなく、彼らがこれまでに実際に島に立ち入った複数の人物を殺害してきたためです。ですから、これは軽々しく扱えるものではありません。ある記事がこの島の人々に対して誰もが感じる魅力について説明しており、私はその一文が非常に気に入っています。「北センチネル島は植民地化だけでなく、説明されることをも拒む。彼らは神々もあなたのGoProも欲しがらない。そしてそれこそが、この島を地球上でおそらく最後の真に主権的な空間たらしめている。手つかずで、記録されず、私たちに関心を持たない場所として」。これは非常に深い言葉であり、少し言葉を変えるだけで、これはまさに私たち自身のことになります。データベース研究は、植民地化だけでなく説明されることをも拒みます。ITの進歩を望まず、それこそが、この分野をおそらく最後の真に主権的な研究領域たらしめているのです。手つかずで、記録されず、それ自体以外の何にも関心を持たない領域として。Mohanはすでに、私が何を言おうとしているか分かっているようですね。IBMはこれをすでに30年間やってきた、と。いいえ、違います。これから私は数学的な証明をお見せしましょう。この点についてです。そしてまた、この素晴らしい会議を活用させていただきますが、これは非常に着想を得るものでした。これが「グレート・リサーチ・ダンス」です。私たちがコミュニティとして動く様子は、ボリウッドのダンスのようなものです。私たちは素晴らしいコミュニティであり、皆見た目も良く、素晴らしいアンサンブルを構成しています。そして起きることは、突然、あるグルが現れて「XML」と言うのです。すると皆が「XML、XML、XML、XML、XML」と言い始めます。素晴らしいですね、皆さん同意されるでしょう。しかし、その一年後には誰かがやってきて「学習インデックス」と言います。すると皆が「学習インデックス、学習インデックス、学習インデックス」と言い始めるのです。私たちは常にこれを繰り返しています。今はベクトル検索やグラフの番です。なぜ私が、私たちはあの島の人々のようだと言うのかと言えば、私たちは十分に大きなコミュニティであり、自分たち自身をとても好んでおり、そしてこの集団的なダンスに入り込んでしまうからです。それは非常に楽しく、素晴らしいものですが、世界の他の人々は私たちのことなど気にも留めていません。つまり、データ管理という分野は、あまりにも群居的であり、漸進的であり、技術ではなくマーケティングによって駆動されているのです。これは私たちが本当に対処しなければならない問題だと考えています。そして、学術研究というものは、企業よりもさらに先の未来を見据えるべきだと私は思います。これは、私たちが集団として変えていかなければならないことです。
3. クラウドとハードウェアを巡る「反応的」な歴史
3.1 クラウドネイティブアーキテクチャの成立経緯とデータセンター税
Gustavo： さて、これは技術系の会議ですので、少し技術的な話に入らせていただきます。なぜ「ハードウェアの時代」なのか、についてです。SIGMODの論文以外も読まれている方はお気づきかもしれませんが、私の講演タイトルは、PattersonとHennessyによるチューリング賞受賞講演のタイトルからの借用です。彼らはコンピュータアーキテクチャにおける黄金時代について語っていました。私はそのアイデアを拝借し、自分の講演を「データエンジニアリング、あるいはデータ管理における黄金時代」と名付けました。私たちは今、まさにその只中にいると考えているからです。そして驚くべきことに、先ほど申し上げた通り、私たちはあの島の人々のように世界の他の場所を無視しようとしているため、IT史上最大級の変化の一つを集団として見過ごしてしまっています。それはLLMではありません。理由をご説明しましょう。私たちがデータベースにおいて持っているほとんどの設計は、少なくとも数年前までは間違いなく反応的なものでした。クラウドプロバイダーの動きによって今は少し変わりつつありますが、私たちはハードウェアに影響を与えることをせず、コンピュータアーキテクトに何が必要かを伝えることもしていません。私たちはただ、彼らが何かを投げてくるのを待ち、それをどう使うかを後から考え出そうとしているだけなのです。さて、ここからはSnowflakeの方々には申し訳ないのですが、まさに皆様の方向に話が向かいます。私たちはどのようにしてクラウドネイティブなデータベースに行き着いたのでしょうか。クラウドが始まった当初、クラウドの構築方法には二つのモデルがありました。一つはGoogleのようなウェブ検索型のモデルで、もう一つはAmazonのようなウェブショップ型のモデルでした。そしてこれらはいずれも、データベースに関わる者であれば誰もがすぐに認識できるものを前提としていました。すなわち、クエリが来るとフロントエンドのようなものに渡され、それがクエリをパースし、分割し、複数のコンピュートノードに送ります。これらのコンピュートノードはローカルな検索を行い、結果を生成し、その結果をフロントエンドに送り返し、フロントエンドから応答が返ってくる、という流れです。しかし人々はすぐに、クラウドにおいてはこの方式がうまく機能しないことに気づきました。非常に大規模なスケールではこの方式は成立しないのです。そこで人々はストレージを取り出し、それをストレージノードに配置しました。これがストレージの分離、いわゆるディスアグリゲーテッド・ストレージであり、Philipが今朝、これがデータベースにどのような問題をもたらすかについて少し話をしてくれました。最終的に人々は、ディスクを持つ機械の集合体を持つのではなく、統一されたレイヤーを提供したいと考えるようになりました。これがクラウドにおけるストレージレイヤーと呼ばれるものです。そしてその上に、ウェブショップや検索エンジンを再び構築し、非常に模式的に言えば、このようなアーキテクチャに行き着いたわけです。Philipが今朝すでに指摘していた通り、クラウドの弾力性や特性は、従来型のデータベースアーキテクチャに本当にうまく適合しません。実際にうまくいかなかったのです。これがまさに、Snowflakeのような企業が、このタイプのアーキテクチャに対応する何かを構築しようとして誕生した経緯です。私がこの図をお見せしている理由は、皆様が「もちろん私たちは重要だ、私たちのデータベースがそこにあるのだから」とおっしゃるかもしれませんが、実際にはこれはこの階層構造の最も底辺に位置しているという点です。そしてこれは、昨日のパネルディスカッションでも語られていた通り、注目やアクションはより上位のレイヤーへと移りつつあるという事実につながります。もし私たちがアーキテクチャの最下層深くに留まり続けるだけであれば、私たちは無関係な存在になってしまいます。さらに悪いことに、そしてここからより実践的な話に入りますが、このアーキテクチャ自体が実は非常に悪いものなのです。私は数年前にある講演でこの問題の一つはクラウドそのものだと発言し、皆に笑われたことがあります。しかし今では、クラウドが問題の一つであることの証拠があると思っています。クラウドプロバイダーがこのようなアーキテクチャを採用したのは、クラウドプロバイダーにとっては、このアーキテクチャが合理的だからです。彼らはアーキテクチャを共有でき、機械を共有でき、多くの仮想マシンを実行できます。しかし、このアーキテクチャが合理的であるようなアプリケーションはほとんど存在しません。そしてこのアーキテクチャが引き起こす性能上のペナルティのために、私たちは非常に複雑な状況に陥っています。ロードバランサーが必要になり、キャッシュが必要になります。ここでキーバリューストアが登場し始めます。ストレージやS3へのアクセスが非常に遅いため、コンピュートノードをメモリノードとして使う必要が出てきます。こうしたことすべてのために、これは非常に高コストなものになってしまうのです。では、私たちの反応はどうだったでしょうか。左側に見えるのはOracleのマニュアルから取ったもので、これは長年にわたり学生に教えてきた従来型のデータベースエンジンのアーキテクチャです。そして私たちは、これを分解し、クラウド向けに再構築したのです。今朝、Snowflakeからのプレゼンテーションで、まさにこのアイデアがクラウドへと翻訳された様子を聞きました。全く同じというわけではありませんが、コンセプトは非常に似ています。もちろん、この高度に分散した環境でどう機能させるかを考える必要がありますし、仮想マシンをどう扱うか、ネットワークがいたるところに存在すること、そしてデータ交換の単位、つまり通常のコンピュータにおけるページのようなものではなく、はるかに大きな単位を扱う必要があること、そういったことがアーキテクチャを変えていきます。しかし、基本原理、私が冒頭で申し上げた中核的な主題そのものは、実質的には変わっていないのです。これはつまり、私たちがクラウドの人々に対して「私たちが扱えるものを提供してほしい」と言いに行く代わりに、自分たちのやり方をこうしたアーキテクチャに適応させようとしてきたということです。これが、例えばAmazonにRDSというものが存在する理由です。RDSは、従来型のデータベースエンジンを実行するために特化した、まるごとのスタックです。なぜなら、それらを通常の仮想マシンに載せようとすると問題が生じるからです。2018年、Eric Breweはこの会議で基調講演を行い、Kubernetesについて語りました。彼はかなりの時間を割いて、コンテナや仮想マシン上でデータベースを実行することがいかに悲惨であるかを説明していました。なぜなら、従来型のアーキテクチャは、そもそもそのようなことをするために作られたことが一度もなかったからです。では、クラウドの何が問題なのでしょうか。単一のシステムで行っていたことをそのままクラウドに移すことの何が問題なのでしょうか。ここに「データセンター税」と呼ばれるものがあります。皆様の中で、データセンター税について聞いたことがある方はどれくらいいらっしゃいますか。明らかに十分ではありませんね。ですから、データベースの論文を読むのはやめて、他のものを読んで自分を教育してください。これは2015年にGoogleがISCAで発表した、非常に基本的な論文です。彼らはそこで、ラック、マイクロプロセッサなど、当時のクラウドプロバイダーの視点から見て、アーキテクチャ上の問題点をすべて説明しています。この論文は、過去15年間にわたるハードウェアの進化を理解する上で基本的なものです。なぜなら、その論文に記述されているほぼすべてのことが、プロセッサの命令アーキテクチャから機械のアーキテクチャ、ラックレベルのアーキテクチャに至るまで、今や実装されているからです。彼らが言及していることの一つが、このデータセンター税です。データセンター税とは何でしょうか。データセンター税とは、当時、彼らがCPUサイクルの25%以上を、単にインフラを動かすためだけに費やしていたということを指します。これはデータ圧縮、メモリ割り当て、ハッシュ化、protobufやRPC、これはリモートプロシージャコールに関連するものですが、そしてメモリコピーといったものです。もし皆様のビジネスモデルがコンピュータを貸し出すことであり、貸し出したいコンピュータのほぼ30%が、インフラを動かすためだけに使われているとしたら、明らかに問題があります。これは、私たちがクラウドに持っているアーキテクチャの背後にある、信じられないほどのオーバーヘッドがどれほどのものかを物語っています。これこそが、クラウドが個々のアプリケーションにとって非常に高コストである理由なのです。
3.2 レイクハウスの実験結果とハードウェア専業化の進展
Gustavo： さて、皆様の中には「Gustavo、私たちは気にしません。私たちはアーキテクトではなく、クラウドを運用しているわけでもありません。私たちはデータベースの人間であり、自分たちのデータベースを動かせれば満足です」とおっしゃる方もいるかもしれません。この点については後ほどまた戻ってきます。さて、今度は私が「レイクハウス」と呼ぶものについてです。レイクハウスは実は、まさにクラウドアーキテクチャの反映です。これは、会場のどこかに座っておられるJonasが行った論文から取ったものです。ぜひ手を挙げて、後で皆さんに質問攻めにされてください。彼はこれをDamonで発表しましたが、そこでDremioを使い、レイクハウス的な処理を行いました。実際にはParquetを読み込む処理です。この実験ではメモリ内、つまりDremioが動作しているのと同じコンピュータのメモリからParquetを読み込んでおり、ネットワークのオーバーヘッドすら含んでいません。そしてこれはTPC-H、TPC-DS、ClickBenchで実施されました。結論を手短に申し上げますと、CPUサイクルの50%がParquetのデコーディングに費やされていました。これはクエリ処理ですらないのです。単にParquetを扱っているだけです。日曜日のフォーマットに関するワークショップでのRaghuの基調講演を聞かれた方であれば、彼が全く同じことを言っていたのを覚えておられるでしょう。彼は、レイクハウスにおいて観察されているのは、サイクルの大部分、オーバーヘッドの大部分が、クエリの実行ではなくインフラの実行に費やされているということだ、と述べていました。ここが私たちが注意すべき点です。もし私たちがやっていることが、単にクエリを少し改善することだけであり、最大のボトルネックが別の場所にあるのだとすれば、私たちの改善、私たちの仕事は、負荷が別の場所にあるために、あまり意味を持たなくなってしまうのです。では、私たちがやっていないことで、世界の他の人々は何をやっているのでしょうか。彼らはハードウェアへと向かっています。この話は手短にまとめようと思いますが、実は私はハードウェアの進化に関する講義をまるまる一つ、それどころかコースをほぼ一つ持っているほどです。しかし、クラウドプロバイダーがCPUサイクルの30%をインフラの実行に費やしたくないために行ってきたことは、重要なものすべてをハードウェアに移すということでした。彼らはスマートNICを持ち、アクティブストレージを持ち、新しいCPUアーキテクチャを次々と生み出しています。もし皆様が、世界は今でもx86だと思っているなら、考え直してください。クラウドにあるプロセッサの多くはARMプロセッサになりつつあり、コアはより小さくなっています。CPUはその重要性を失いつつあるのです。この点については後ほどまた触れます。新しい命令セット、新しいアーキテクチャが登場していますが、これは私たち皆が承知している地政学的な問題によるものでもあります。ヨーロッパでは、ここでのビジネスにも大きな影響を受けており、独自のプロセッサを開発しようという非常に強い動きがあります。同じことがアジアでも起きており、人々はRISC-Vアーキテクチャを構築し、独自の命令セットを定義できるようになっています。例えば、私たちのシステムズグループの長年の共同研究者であるOracleのEric Zecklerとともに、私たちはデータ分析の実行に非常に役立つ命令をプロセッサにどのように組み込めるかを実際に検討しています。これは今日、実際に行うことができることです。20年前であれば、これは不可能でした。Intelに何か命令を組み込ませることなど、説得できなかったでしょう。しかし今は実際にそれができますし、こうしたプロセッサを作る人々も十分に存在しています。さて、問題は、もし私たち以外の世界全体が新しいハードウェアを構築しているのだとすれば、私たちが自問すべきことは、まず第一に、このハードウェアがどれだけデータ処理に役立っているか、そして第二に、私たちがどれだけこのハードウェアに影響を与えているか、ということです。私たちがコンピュータアーキテクトやハードウェアベンダー、こうした専門ハードウェアを構築している人々に対して伝えるべきことは、もしあなたたちがこれをそこに組み込めば、私たちの数千億ドル規模の産業がより優れたものになる、より効率的になる、より速くなる、より大きくなる、ということです。しかし、私たちはこれを行っていないのです。
4. ハードウェア新黄金時代の技術的核心
4.1 NVIDIA NVL72とGammaマシンの教訓
Gustavo： さて、ここで少し質問形式のエクササイズをやってみたいと思います。皆様の中で、NVIDIAのNVL72について聞いたことがある方はどれくらいいらっしゃいますか。明らかに十分ではありませんね。これは非常に興味深い機械です。私のようにインターネット以前の世代の言い方をすれば、これはスーパーコンピュータと呼ぶべきものです。この機械には72基のGPUが搭載されており、それゆえNVL72と呼ばれています。私の記憶が正しければ、このラックレベルの機械には30テラバイトのメモリが搭載されており、そのうち13テラバイトが高帯域幅メモリです。非常に興味深いのは、その接続です。9台のNVLinkスイッチがあり、NVLinkは毎秒1テラバイトの帯域幅を提供します。これは私たちが通常慣れ親しんでいるもの、常にPCIと格闘しているような状況とは比較にならないほど大きな帯域幅です。さらにネットワークインターフェースカードやスマートNICがいたるところに搭載されています。そしてこれが登場してからまだそれほど時間が経っていません。すでに私たちはNVL144、つまり2倍の規模のものに移行しつつあります。もしNVL144が物足りないという場合には、NVL72にLPXを組み合わせたものもあります。これは非常に興味深いアーキテクチャで、一方にGPUがあり、もう一方には専用プロセッサでいっぱいのラックがあります。これはGroqのプロセッサで、NVIDIAに買収された企業のものです。これらのプロセッサが私にとって、そして皆様にとっても興味深いのは、ロジックを直接ハードウェアにコンパイルするという点です。それによって完全に決定論的なレイテンシが得られます。オペレーティングシステムは存在せず、コンテキストスイッチもありません。機械学習の推論にとって、これは非常に重要なことです。これが今存在しているアーキテクチャなのです。さて、皆様の中で、データ処理がこうした機械の上で動くようになると思う方はどれくらいいらっしゃいますか。正直にお答えください、手を挙げてみてください。非常に少数ですね、そしてそのほとんどは私の学生です。彼らには選択肢がなく、私を信じるしかないからです。ですから、もう一度考え直してみてください。もし皆様が1990年代の終わりにいたとして、誰かが、私たちがSnowflakeが辿り着いたようなアーキテクチャのデータベースを構築することになると言ったら、皆様はきっと「正気の沙汰ではない」と言ったことでしょう。エンジン全体を機械間に分散させ、データをあちこちに配置し、スキーマもなく、テーブルの整理も一切なく、ページも4キロバイトではなく数百メガバイトを扱うことになるなど、そんなことは意味をなさない、そう言われたはずです。私たちがそれをやったのは、そうせざるを得なかったからです。今の問題は、まさにこれらが今後のアーキテクチャになるということです。私たちはLLMについて語っていますが、こんな愚かなLLMについて語る代わりに、私たちはLLMが動作しているハードウェアについて語る必要があります。なぜなら、これこそが今後私たちが持つことになる支配的なハードウェアだからです。おそらく全く同じ機械ではないかもしれませんが、これに似たものが今後クラウドで主流になっていくでしょう。もしSIGMODの論文以外に何も読まないという方であれば、機械学習に対してどれほどの投資が行われているかにお気づきでないかもしれません。これはGPUを買うための投資であり、CPUを買うためのものではないのです。もし私たちがすぐにクラウドにおいてそちら側に加わらなければ、ほとんどの計算能力はGPU上に存在することになるでしょう。ですから、AIに注目する代わりに、私たちが注目すべきなのは、AIを可能にしているもの、すなわちトランスフォーマーやアルゴリズムなど、そういったものを可能にしている土台の方です。こうした人々の功績を否定するつもりはありませんが、AIを可能にしているのはハードウェアであり、私たちが今目にしているハードウェアの革命なのです。私たちが本当にすべきことは、その革命に飛び込み、それを理解し、影響を与え、自分たちの利益のために活用することです。LLMのことは忘れてください。音楽が鳴っているのはハードウェアの中なのです。だからこそ、今日最も価値のある企業はNVIDIAであり、OpenAIではないのです。OpenAIも大きな価値を持っていますが、本当に価値があるのはハードウェア企業の方なのです。ですから、ハードウェアの世界に入っていきましょう。データベースにとって、そこに何があるのでしょうか。ここからは少しペースを上げていきたいと思います。データベースにとって何があるのか、私たちに何ができるのか。もし私がまだ皆様を説得できていないのであれば、より高い権威に頼ることにしましょう。Raghuの言葉を引用させていただきます。彼は日曜日の講演を含め、この一週間ずっとこのことを言い続けていました。Raghuは、3年から5年のうちにデータ分析はGPUとFPGA上で動くようになる、と述べています。彼はMicrosoftに在籍していますから、自分が何を言っているか分かっているはずです。もっとも、Microsoftの人間が本当に自分の言っていることを分かっているかどうかは別問題ですが、これはアカデミアのジョークですので、Microsoftの方々に他意はありません。しかし、これは非常に重要なことです。正直に言えば、私たちが無視しているのはまさにこの種のことだと思うからです。これが現実なのです。Raghuは私たちの仲間、つまりデータベースの教授であり、Wisconsin大学にいます。彼は私たちに、世界は別のプラットフォームへ移行しつつあると告げているのです。私たちは集団として、この点に十分な労力を注いでいません。そして問題は、ハードウェアを無視することは自分自身のリスクになるということです。もし皆様の研究がCPU上で行うことに基づいているのであれば、皆様が博士号を取り終える頃には、それはもう過去のものになっているでしょう。なぜなら、3年から5年、つまり博士号を取得するまでにかかる時間のうちに、世界はGPUへと移行してしまうからです。そうなれば、皆様が持ち込む見事なアルゴリズムやCPU向けの見事な最適化には、誰も見向きもしなくなります。実際、CPUはどんどん小さくなり、置き換えられつつあります。CPUは存在し続けるでしょうが、それはパースや配分、いくつかの高レベルの管理のようなことにのみ使われるようになるでしょう。しかし、重い処理は別の種類のプロセッサによって担われることになるのです。では、なぜこのような専業化が可能になったのでしょうか。皆様は「これは以前にも試みられたことがある」とおっしゃるかもしれません。皆様の中で、Gammaデータベースマシンについて聞いたことがある方はいらっしゃいますか。ああ、いらっしゃいますね。45歳、50歳以上の方、手を挙げてみてください。それ以外の方は誰もご存じないようですね。Gammaデータベースマシンは、1990年の論文で、Wisconsin大学のDavid DeWittによるプロジェクトで、データベース専用のプロセッサを構築しようとした試みでした。私が「ハードウェアをデータベースのために作ろうとしている」と言うと、人々はよく「Gammaマシンはうまくいかなかったじゃないか、君はもうだめだ」と言います。しかし、それは遠い昔のことです。あれがうまくいかなかった理由は、当時のハードウェア市場が今日とは全く異なっていたからです。当時はムーアの法則が支配しており、専用プロセッサを構築するのに数年かかっているうちに、汎用プロセッサはすでに2倍、4倍、8倍速くなっていました。そうなると、チップの新しいバージョンを開発しなければならず、その頃にはプロセッサはさらに2倍、4倍、8倍先に進んでいる、という状況でした。つまり、専用プロセッサはムーアの法則に追いつくことができなかったのです。しかし今はもはやそのような状況ではありません。ムーアの法則は消滅したわけではありませんが、鈍化しています。私たちは依然としてより多くのトランジスタを手にしていますが、それをより速くするためには使えなくなっており、代わりにより多くのアクセラレータを搭載するために使われています。IntelやAMDのCPUを見ていただければ分かりますが、そこにはより多くの凝った構成要素が搭載されるようになっていますが、それらは速くなっているわけではありません。より専業化されているのです。そして、こうしたことのいずれも、私たちのために行われているわけではありません。私たちが数千億ドル規模の産業であるにもかかわらずです。なぜこうなっているのでしょうか。私自身の率直な見解では、それは私たちがコンピュータアーキテクトに対して、私たちの産業や研究、アルゴリズムを改善するために何を組み込めばよいのかを十分に伝えていないからです。
4.2 専業化の系譜と研究機会
Gustavo： では、なぜ専業化が可能になったのか。これはRaghuが講演で使っていたスライドの一つを、非常に雑にレンダリングしたものですが、この提示の仕方は非常に良いと感じましたのでご紹介します。私たちは、スタンドアロンのモノリシックなエンジンから始まりました。これは今世紀の変わり目までの状況です。今朝Philipが発表していた通り、2010年前後、そのあたりで人々は、クラウドが本当にデータベースにとってうまく機能しないことに気づき始めました。そして人々はクラウドネイティブなエンジンへと移行し始めました。Snowflakeが登場し、Sparkが登場し、Databricksが登場し、その間に私たちはこうしたものの集合を手にすることになりました。そして最近では、私たちはデータレイクへと移行しました。データレイクとは、Raghuの言葉を借りれば、データの無秩序状態です。ここでは、単にデータをオブジェクトストアに投げ込むだけで、アクセス制御もなく、スキーマもなく、インデックスもなく、あとは運任せ、といった状態です。人々はすぐにこれがうまくいかないことに気づき、そこでレイクハウスへと移行しました。レイクハウスは、並行性制御、一貫性、アクセス制御、セキュリティ、分離性、スキーマ、インデックスといったものを追加することで、データレイクに何らかの秩序をもたらそうとする試みです。この点についても、Raghuが私よりもはるかに優れた説明をしてくれていました。さて、私がこの進化の系譜を用いて言いたいのは、スタンドアロンのモノリシックなエンジンに専用ハードウェアを搭載することは非常に困難だったということです。なぜなら、当時は顧客ごとにコンピュータがあり、また別のコンピュータがあり、という状況で、「専用ハードウェアも買って、自分でそれを保守し、オペレーティングシステムやドライバーのバージョンも管理してください」などとは、とても言えなかったからです。それは悪夢になってしまいます。実際にはできなかったのです。しかし、私たちはもはやスタンドアロンのデータベースを販売しているわけではありません。あるいは、それを行っている人はごく少数です。私たちはクラウドへと移行しました。クラウドにおいては、ハードウェアの技術革新が非常に速いスピードで進んでいます。Amazon、Microsoft、Google、あるいはAlibabaが持つシステムを見ていただければ、そこにある機械は高度に専業化されています。皆様が思い描くような標準的なコンピュータのようなものは、そこには全く存在しません。それらは私たちが頭に思い描くコンピュータとは全く似ても似つかないものであり、非常に専業化が進んでいるのです。これこそが専業化が可能になった理由です。さて、ここから手短に、私が個人的な視点から見て、私たちが本当に十分に探求できていない可能性についていくつか指摘したいと思います。まず、アクセラレータは今後も存在し続けるでしょう。私たちは、これらのアクセラレータを理解し、クエリ処理の観点から何ができるかをもっと研究する必要があります。すべてがうまくいくわけではありませんが、試さなければ何も分かりません。次に、プロセッサや命令セットアーキテクチャについてです。これはコンピュータアーキテクチャの理解とデータベースの理解の両方が必要となるため、より挑戦的な仕事だと理解していますが、非常に重要です。もし皆様が博士論文のテーマとして有望なものを探しているのであれば、私は強くこの方向に進むことをお勧めします。コンピュータアーキテクチャを見て、ハードウェアで何が起きているかを見て、それに合わせてデータベース技術を適応させる試みをしてみてください。そしてAIです。AIはこのハードウェアにおいて多くのことを変えつつあります。新しい数値フォーマットやデータ表現が登場しています。AIは量子化されたデータを扱います。私たちも量子化されたデータを扱うことができるでしょうか。データベースのために、こうした数値表現のいずれかを使うことができるでしょうか。私たちが行っている何かのために、それらを実際に活用できるでしょうか。プロセッサはこうした新しいデータ表現に適応してきています。私たちもそれを活用できるでしょうか。こうしたことが次々と考えられます。思考材料として、データ処理における「行列乗算」に相当するものは何でしょうか、という問いを提示したいと思います。AIが専用ハードウェアの開発において成功を収めたのは、行列乗算があらゆる人が必要とする演算であることに気づいたからです。そして彼らは非常に幸運でした。行列乗算はニューラルネットワークのために設計されたものでしたが、たまたまトランスフォーマーもまた行列乗算を使っていたのです。そうでなければ、彼らは深いヨーグルトの中に沈んでいたことでしょう。なぜなら、彼らはニューラルネットワークのためにプロセッサを設計していたのであり、それがトランスフォーマーにも通用するかどうかは自明ではなかったからです。しかし、行列乗算を行っているのであれば、それはトランスフォーマーにも有効であり、このハードウェアは非常にうまく機能したのです。ですから、挑戦として、データ処理における行列乗算とは何でしょうか。そして、古参の方々にとってのアイデアだけでなく、昨日Tovaが新参者向けのアイデアについて語っていましたが、私が申し上げたいのは、もちろんAIやLLMはデータベースにとって非常に重要ですが、私はTovaが提案していたように機械学習に貢献することは推奨しません。もし機械学習に貢献したいのであれば、機械学習の会議に行って、データベースの技術がいかに優れているかを彼らに説得してください。私たちがデータベースが優れていることを彼らに説得する必要はないのです。しかし、私たちはこの何年もかけて開発してきた中核的な主題としての多くのものを取り出し、私たち自身の文脈に応用することができます。例えば、スキーマ統合とデータベース連合です。Jagadishもこの点に少し触れていましたが、これはデータレイクやレイクハウスの核心にある問題です。もしエージェント的なAIが、データベースに対してさまざまな操作を行おうとするのであれば、サガや複合トランザクションの概念を取り入れ、そうしたエージェントが取り消しや補償を行い、最終的に一貫性を保てるようにする必要があります。クエリ最適化についても、私たちは何十年もの蓄積がありますが、それはすべてCPU向けのものです。今度はGPU向けにそれを行う必要があります。つまり、私たちが長年にわたって開発してきたこの中核的な主題を、CPU向けに、多くの場合スタンドアロンの機械という文脈のために開発してきたものを、完全に見直し、今日私たちが持っているこの新しいハードウェア、アプリケーション、クラウドという風景に向けて再設計することができるのです。これはまさに、データベースシステム研究にとって最良の時代だと言えます。私たちがシステム設計の前提としてきたもの、私たちが大切にしてきた原則のいずれも、もはや当てはまらなくなっているのです。私たちの目の前にある課題は、21世紀のためにデータ処理を再発明することです。これこそが、私たちが今直面している課題なのです。ですから、LLMに時間を無駄にせず、AIに時間を無駄にせず、ハードウェアに集中し、本当に世界を変えつつあるものに集中し、そのハードウェアに影響を与えようとしましょう。その世界の中で、新しいデータプラットフォーム、計算機科学におけるデータ管理という新しい中核的な主題を生み出す当事者になろうではありませんか。実は他にもいくつかスライドがあるのですが、質疑応答の時間を確保するために、それらは割愛したいと思います。私が申し上げたことはすでに十分に議論を呼ぶ内容だと思いますし、この後に続く内容はさらに過激なものになりますので、ここで終わりにしたいと思います。それでは、休憩の際にでも続きをお話しできればと思います。ご清聴いただき誠にありがとうございました。
5. 結論
5.1 21世紀のデータ処理再構築という挑戦
Gustavo： 私たちが持っているシステム設計の前提、私たちが大切にしてきた原則は、もはやどれも成り立っていません。私たちの目の前にある課題は、21世紀に向けてデータ処理を再発明することです。これこそが、まさに私たちの前に立ちはだかっている挑戦なのです。ですから、LLMに時間を無駄にせず、AIに時間を無駄にしないでいただきたいと思います。ハードウェアに集中し、本当に世界を変えつつあるものに集中し、そしてそのハードウェアに影響を与えようとしましょう。その世界において当事者となり、新しいデータプラットフォームを、計算機科学におけるデータ管理という新しい中核的主題を生み出す存在になろうではありませんか。今私たちの目の前に立ち現れつつあるこの世界に対して、そのように働きかけていくことが必要なのです。実は、この後に続くスライドもいくつか用意しているのですが、質疑応答の時間を確保するために、それらについては割愛したいと思います。ここまで申し上げた内容だけでも十分に議論を呼ぶものだと思いますし、この後に続く内容はさらに過激なものになりますので、ここで一旦区切りたいと思います。ご清聴いただき、本当にありがとうございました。もし続きが気になる方がいらっしゃれば、休憩の際にでも喜んでお話しさせていただきます。
6. 質疑応答セッション
6.1 ハードウェア主導か研究主導かを巡る議論
司会者： Gustavo、ありがとうございました。質疑応答の時間を10分ほど設けております。時間通りですね。それでは、Mohan、本日最初の「火炎放射器」役をお願いします。
Mohan： 素晴らしい講演をありがとうございました。個人的な話になりますが、彼は1994年から1995年にかけて私のポスドクだったのです。彼がどれほど成長し、この数十年でこれほどの大物になったかを見るのは感慨深いものがあります。おめでとう。さて、あなたが提起したのは、ある意味で鶏と卵の問題です。ハードウェアが先にあって、私たちのような愚か者たちがそれに適応することを求められるのか、それとも私たちが何をすべきかを考え、それをハードウェアの側に伝えに行くのか、どちらが先なのでしょうか。あなたの語り方だと、まるで「NVIDIAがすでにこれだけのことをやっているのだから、それを活用すべきだ」というように聞こえます。しかし、彼らは本当に世界のあらゆるワークロードについて十分に考えた上でこれを作ったのでしょうか、それとも単にAI関連のものだけを考えたのでしょうか。それはもともとゲームやグラフィックス向けに設計されたものが、たまたま変容しただけではないのですか。それなのに、なぜ彼らが自分たちのやっていることを分かっていると考え、あなたが示したものを既成事実として受け入れ、それに適応すべきだと考えるのですか。
Gustavo： 状況の捉え方としては、まさにその通りです。私が申し上げたいのは、今起きていることは、彼らがハードウェアを投げつけてきて、それをどう使うか私たちに考えさせているということです。しかし、私たちはこれを変えなければなりません。ハードウェアが私たちのために何ができるかを理解する側に回り、それを彼らに伝える必要があるのです。私がどこまで話せるかという制約はありますが、実際に私たちが今取り組んでいることの一つとして、NVIDIAと共同で、リレーショナルなワークロードがGPUにとって何を意味するのかを理解しようとしています。NVIDIAが実際にそれに基づいて何かをするかどうかは分かりません。私は彼らのビジネス計画に関与しているわけではありませんから。しかし、私たちは間違いなく、機械学習ではなくデータ分析に焦点を当てたGPUを開発するとしたら、そのGPUはどのような姿になるべきか、という架空の世界を想定して検討を進めています。もちろん、これは私のグループだけの取り組みであり、十分ではありません。もっと多くの人々が必要です。GPU関連の論文が増えてきているのを見ると、この動きは広がりつつあると感じますが、まだ全く足りていません。CPU上ではなく、お金がGPUや専用アクセラレータの方に向かっているという未来を、私たちはもっと真剣に見つめる必要があります。
Mohan： かつて、Intelが私たちIBMのところに来て、こう言ったことがありました。「私たちはソフトウェアやアプリケーション、ミドルウェアの専門家ではない。今、バイトアドレス可能な不揮発性メモリに取り組んでいるのだが、データベースの専門知識を持つあなた方から見て、これをどう使えばよいか教えてほしい」と。もちろん、後にこのOptaneというものは事業自体が畳まれてしまいましたが。NVIDIAは、大学だけでなく商業組織に対しても、同じようなアプローチを取っているのでしょうか。
Gustavo： はい、その通りです。私が申し上げているのはまさにその点です。かつて、あなたがまだ若かった頃は、Intelに接触して何かをさせるということは非常に困難でした。Intelは本当に市場における支配的な勢力だったからです。彼らはただプロセッサを渡して、幸運を祈る、後は自分たちで何とかしてくれ、というスタンスでした。特徴はここにある、これがみんなに必要なものだと考えているから、というわけです。それは汎用プロセッサであり、あらゆる用途に対応する必要がありました。しかし、これが変わったのです。私が強調しているのは、クラウドが高度に専業化されつつあるということです。人々は特定のアプリケーションのためだけに専用ハードウェアを開発しています。これは明らかです。そしてNVIDIAはGPUを非常に速いスピードで進化させています。それがGPUの魅力的な側面の一つでもあります。彼らは半年ごとに新しいモデルを出してくるのです。あるモデルを売り始めたばかりだというのに、次のモデルがもう発表されているのです。彼らは非常に速く進化しています。そして、それこそが私たちにとってのチャンスなのです。ハードウェアがこれほど速く進化する世界においては、そのハードウェアに影響を与える可能性が実際に存在するからです。
Mohan： しかし、それには多くの混沌もありますね。あまり時間を取りたくないので、この続きはまた後で。
司会者： それではNorman、そしてConstantineのマイクを直している間に次の質問に移りましょう。Norman、お願いします。
Norman： Gustavo、このハードウェアに関する目覚まし時計のような話をありがとうございました。あなたは、今後データセンターではGPUベースのシステムが主流になるとおっしゃいましたが、これらのGPUはスループット重視で調整されており、レイテンシには向いていません。データ管理の分野では、レイテンシに非常に敏感なOLTPワークロードや、トランザクション処理と分析を組み合わせたHTAPワークロードも存在します。こうしたワークロードの部分は、今後どのようにサポートされるとお考えですか。
Gustavo： ここでもまたRaghuの発言を借りたいと思います。彼の意見に同意しているからです。トランザクションは非常に難しい問題です。クラウドにおけるトランザクションは、クラウドプロバイダーが何と言おうと、実際にはうまく機能しません。この分散アーキテクチャがあまりにも多くのレイテンシを引き起こすため、スケールしないのです。だからこそ、今ではOracle ExadataがMicrosoft Cloud上で稼働しているという状況が見られるのです。高い要求水準を持つものについては、クラウドの分散アーキテクチャはうまく機能しません。Raghuもこの点を指摘していました。彼は、レイクハウスはOLAPには非常に適していると言っていましたが、一貫性が必要なためトランザクションも扱うことにはなるものの、それがOLTPを実行する場になるとは考えていないと述べていました。これは私たちがこれから解決していかなければならない別の領域です。実際、これは、皆様の中で古くからこの分野におられる方であればご存じかと思いますが、トランザクション処理をオペレーティングシステムやハードウェアの側に押し出し、そこでサポートを得ようという議論が過去にも何度もありました。ですから、繰り返しになりますが、これはハードウェアの人々を説得する機会なのです。彼らに対して、もしこれを実装してくれれば、トランザクションという数千億ドル規模の産業がはるかに効率的になり、私たちはより多くのシステムを販売でき、より多くのトランザクションを処理できるようになる、そうすれば皆にとって良い結果になる、と伝えるのです。ただし、繰り返しますが、トランザクションについては今のところ事情が異なります。誰もが当然の理由からOLAPに注力しているのが現状です。
6.2 ハードウェアベンダーへの懐疑と検証手法、若手研究者への助言
司会者： Gustavo、やっとマイクが直りました。挑発的なお話をありがとうございました。私からも挑発的な質問をさせてください。
質問者： ハードウェアベンダーは、これまで私たちデータベースコミュニティに対して、次の大きな技術動向について何度も期待を煽ってきました。少し振り返ってみますと、Optaneを例に挙げれば、私たちは一世代分の博士学生をOptaneに関する論文の執筆に費やしてしまい、結果として商業的にはほとんど無意味なものになってしまいました。少し否定的な言い方をすれば、そういうことです。将来のハードウェアトレンドの中で、これは実在しない「ユニコーン」に過ぎないのではないと、私たちはどうやって信じればよいのでしょうか。GPUについては私は十分に納得しています。それらは実在し、支配的な存在ですから。しかし、CXLなど、ハードウェアベンダーが語る他の技術についてはどうでしょうか。どちらの馬に乗り、どちらを見送るべきか、どう見分ければよいのでしょうか。
Gustavo： これは非常に良い質問です。答えは、私たちには分からない、ということです。正直に言えば、ハードウェアベンダー自身にも分かっていません。多くのスタートアップ、多くの企業、大手ハードウェアベンダーを含めて、さまざまなバージョンのハードウェアを打ち出し、何が定着するかを見極めようとしているのです。ここでもまた、私たちのコミュニティの問題点として見えるのは、まず私たちが耳を傾けていないということです。不揮発性メモリについて言えば、「Optaneのことは忘れろ、不揮発性メモリは私たちには本当に向いていない」と言っていた人々もいました。しかしそれでも、その流れは続いていきました。そしてご存じの通り、Intelは最終的にOptaneを打ち切ってしまいました。これは今後、多くのハードウェアについても同様に起こり得ることです。クラウドプロバイダーを含む多くの企業が手がけたハードウェアプロジェクトを、私は長いリストとして挙げることができます。彼らはそれを試し、テストし、うまくいかなかった、という経緯を辿っています。これは以前は起こらなかったことです。なぜなら、当時はハードウェアの進化がはるかに緩やかだったからです。今日私たちが目にしている専業化のレベルにおいては、ハードウェアは非常に速く進化しています。重要なのは、そしてこれが私たちがこうしたことを行う理由でもあるのですが、データベースコミュニティは「不揮発性メモリだ」と言われると、皆が「不揮発性メモリ、不揮発性メモリ」と言い始めてしまうということです。私たちは、本当にデータベースにとって有用なメモリの種類、ハードウェアの種類が何であるかを、きちんと考え抜くことをしません。与えられた概念をそのまま受け取り、それに合わせて動いてしまうのです。そして、その後で彼らに梯子を外され、私たちは宙ぶらりんの状態に置かれてしまうのです。
質問者： しかし、何が最終的に有益であるかを判断するのは実際には難しいことが多いですよね。ここでなぜ私たちは...
Gustavo： 私たちは測定する必要があります。テストする必要があるのです。今日では、そのための優れたツールが存在します。ハードウェアシミュレーションがあり、ハードウェアエミュレーションがあります。私たちがやっているように、FPGAを使うこともできます。念のため申し上げておきますが、私はFPGAを売っているわけではありません。私はFPGAを使って、さまざまな種類のハードウェアやアーキテクチャをエミュレートしているのです。これは今日、非常に簡単に行うことができます。それほど複雑なことではありません。私が申し上げたいのは、他の研究と同様に、これを行うことにはリスクがあるということです。そうでなければ、それは開発であって研究ではなくなってしまいます。しかし、もし十分な数の人々がこうしたことに挑戦しなければ、私たちはMohanが指摘していたような状況に直面し続けることになります。つまり、ハードウェアの側は私たちにハードウェアを投げつけ続け、幸運を祈るだけで、私たちは反応的な立場に留まり、追いつこうとし続けることになるのです。
質問者： ありがとうございました。
質問者： Gustavo、素晴らしい基調講演、そして素晴らしいダンスの動きをありがとうございました。あなたが挙げた問いの一つ、「私たちの行列乗算とは何か」についてですが、私たちはSnowflakeで実際に検討してみました。人々はハッシュジョインなどの最適化を好みますが、大規模なワークロード全体を見渡すと、単一のものが数パーセント以上を占めることはありませんでした。これはゲームやAI、その他多くの分野とは大きく異なる状況です。もちろん、ネットワークやより高速なメモリ、あるいはスクラッチメモリのようなものから恩恵を受けることはできるでしょう。しかし、こうした状況において、本当に希望はあるとお考えですか。
Gustavo： これは非常に難しい問題です。先ほど申し上げた範囲でお話しできることとしては、私たちはまさにNVIDIAと共同でこの点に取り組んでいます。彼らはGPU上での性能モデリングに使っているモデル群を提供してくれました。しかし、こうしたモデルはすべてAI向けのものです。私たちはすぐに、これらのモデルがデータベースには何の役にも立たないことに気づきました。なぜなら、AIは行列乗算であり、行列乗算は同じ演算の繰り返しにすぎず、あらゆることが非常に反復的だからです。そのため、どのカーネルを高速化すべきかを特定でき、全体を最適化できるのです。ところが、TPC-HやTPC-DSを実行してみると分かるのは、そこには膨大な数のカーネルが存在し、非常に多くのことが同時に起きているということです。しかし、私たちは諦めるべきではないと思います。私自身の考え、そして研究者としての私の見方、これがまさにアカデミアの自由なのですが、私たちはこの問題を間違った視点から見ているのではないかと思います。私たちはこれをオペレータの視点、つまりハッシュジョインといった視点から見すぎているのです。もっと下の層、アーキテクチャのより低いレベル、例えばプリフェッチ、並列度のレベル、あるいは私たちが持っている命令のレベルに何かがあるのではないでしょうか。そうしたものが、実際に処理を高速化する助けになるかもしれません。それは必ずしもジョインそのものを高速化することにはならないかもしれませんが、私たちが考え方を変え、もう少しアーキテクチャに近づいていけば、ジョイン全体をハードウェアに実装することは難しくても、ジョインの一部分、例えばハッシュ処理や、文字列処理のための有限状態オートマトンのようなものであれば、ハードウェアに実装できるかもしれません。実際、ジョインの50%は文字列に関するものであるという論文もあります。誰の論文だったか正確には覚えていませんが。文字列処理はハードウェアで非常にうまくサポートできる可能性があります。そうすれば、ハードウェアアーキテクトに対して、これをどう実装すればよいかを示すことができ、実現できるかもしれません。しかし、そのためには、私たちの考え方を少し変える必要があると思います。
司会者： ええ、いいですね。時間が押していますので、最後にもう一つだけ質問を受けたいと思います。Yiannisがずっと待ってくれていますね。他にも長くお待たせしている方がいらっしゃるかもしれませんが。
Gustavo： 私はここに残りますので、もしよろしければ引き続き議論しましょう。コーヒーを飲みに行きたい方はどうぞ、それ以外の方はここに残って私と一緒に続けましょう。
6.3 ハードウェアの多様性・抽象化層、QPUへの言及、行列乗算探索の困難
Amol： 素晴らしい講演をありがとうございました。この分野から少し距離のある立場から見ると、非常に大きなヘテロジニアス性が見えてきて、それが非常に手に負えないもののように感じられます。それぞれのチップ、それぞれのGPUには異なる特性があるように見え、それぞれに特化したアルゴリズムが存在しています。今後数年のうちに、私たちはこのヘテロジニアス性と共存し、CPUやGPUの種類ごとに異なるオペレータを、それこそ何百種類も持たなければならないようになるのでしょうか。それとも、一段階上のレベルで構築できるような抽象化のようなものが登場するとお考えでしょうか。
Gustavo： 今の世界はかつてとは違います。クラウドプロバイダーはそれぞれ独自のスタックを構築しており、正直に言えば、もしこの場にクラウドプロバイダーの方がいらっしゃれば失礼をお許しいただきたいのですが、彼らは相互運用性には全く興味がありません。彼らはそれを理解していないのです。ここでまた、MatteoやNicoの仕事を引き合いに出したいと思います。Microsoftの方々ですが、もしこの場にいらっしゃれば手を挙げていただければ、後で皆様から質問していただけると思います。彼らが行っているのは、抽象化のレイヤーを構築することで、異なるハードウェアと戦わなくて済むようにするということです。Metaが開発したVeloxというライブラリも同様です。Veloxの序文を読んでいただければ、彼らはこう書いています。「新しいハードウェアが登場するたびに新しいライブラリを開発しなければならないことにうんざりし、今ではハードウェアを横断して移植可能な、この抽象化を実現するものを作ろうとしている」と。こうした抽象化を構築することは、私たちの仕事です。私たちは抽象化を理解しています。コンピュータアーキテクトは抽象化を理解していません。彼らが理解しているのは並列性であり、ハードウェアを高速にする方法です。しかし、抽象化は彼らのビジネスではありません。抽象化は私たちのビジネスなのです。ですから、私たちはこうしたアーキテクチャに目を向け、それらを理解し、私たちにとって何が良いのかを理解し、この抽象化のレイヤーを構築する必要があります。そしてそれこそが、私がここで強く推奨している研究の方向性です。素晴らしい質問をありがとうございます。
Amol： ありがとうございます。
司会者： Jagadishのご指摘の通り、PODSを無視してはいけませんので、Florisにお願いします。
Floris： ありがとうございます、Gustavo。PODSの人間として、SIGMODコミュニティがこのように批判されているのを見るのはなかなか嬉しいものですね。PODSの人々を代表して感謝申し上げます。さて、私の質問ですが、もしあなたを2066年頃の基調講演者としてお招きしたとして、GPUをQPU、つまり量子プロセッシングユニットに置き換えた同じ講演をなさるでしょうか。
Gustavo： 私が申し上げていることの一部は、これがどこに行き着くのか私たちには分からない、ということです。この分野は非常に速いスピードで進化しており、しかもその変化は加速しています。20年前、あるデータベースの会議でSnowflakeのようなアーキテクチャを発表していたら、皆から「正気の沙汰ではない、意味をなさない」と言われていたでしょう。当時もクラウドは進化していましたが、これほど速くはありませんでした。今のNVL72という機械は、登場したばかりだというのに、すでに追加ラック付きのバージョンやNVL144が発表されています。Amazonも2万基のGPUを搭載したスーパーコンピュータのようなものを構築しています。物事は非常に速く動いているのです。私たちはこの流れに乗り込む必要があります。これは非常に速く走っている列車です。しかし、私たちがこの列車に乗り込むのが遅れれば遅れるほど、私たちはより取り残されていくことになります。これについては私にはどうしようもありません。そしてPODSについては、あなたに申し訳ないのですが、告白しなければならないことがあります。誰にも完璧な人間はいませんが、実は私が最初にデータベース分野で発表した論文はPODSに掲載されたものでした。そして私が最初にプログラム委員として参加したデータベース関連の会議も、PODSだったのです。Mohanと働いていたようなものですから、私は今でもそこから立ち直ろうとしているところです。それは私の恥ずべき過去です。しかし申し上げた通り、誰にも完璧な人間はいませんから。
Floris： うまくいかなければ、いつでもPODSに戻ってきてください。
質問者： ではさっと一つだけ。素晴らしい講演と素晴らしいダンスの動きをありがとうございました。あなたが挙げた問いの一つ「私たちの行列乗算とは何か」についてですが、Snowflakeで見てみると、人々はハッシュジョインなどの最適化を好みますが、大規模なワークロード全体を見渡すと、単一のものが数パーセント以上を占めることはありませんでした。これはゲームやAI、その他多くの分野とは大きく異なる状況です。もちろん、ネットワークやより高速なメモリ、スクラッチメモリのようなものから恩恵を受けることはできるかもしれません。この状況で、私たちには本当に希望があるとお考えでしょうか。
6.4 NVIDIAへの影響力行使の現実性を巡る最終質疑
質問者： Gustavo、ハードウェアの進展を注視し、それに合わせて調整すべきというご提案には全面的に同意します。しかし、私はハードウェアへの「影響力」という点については、もう少し懐疑的です。この水準での影響力は、結局のところ一つの方法によってしか行使できません。それは、私たちがNVIDIAにどれだけのドルをもたらせるか、という点です。つまり、次世代のハードウェアが「不可能を可能にする」ような、次のデータベースのユースケースを見つけ出す必要があるということです。ですから、count starのようなクエリと、Google DeepMindがAGIをもたらすというような話とを比べれば、私たちはもっとゲームのレベルを引き上げ、計算量的により難易度の高いケースに取り組む必要があるのではないでしょうか。そうでなければ、私たちが望むタイミングでNVIDIAの注意を引くことはできないと思います。
Gustavo： いえ、おっしゃることは理解しています。おそらく私はプロセッサ、特にNVIDIAのことを少し強調しすぎたかもしれません。特にアカデミアにおいては、他にも多くのことができますし、企業も実際にこれを行っています。新しいプロセッサアーキテクチャを考案する必要はありませんし、NVIDIAがGPUのアーキテクチャを変えるのを待つ必要もありません。皆様にできることは、異なる構成を考案することです。私はMatteoから学んだのですが、彼がMicrosoftから来ていて、もしこの場にいらっしゃれば手を挙げていただきたいのですが、質問していただけるかと思います、彼らは自分たちの基板を独自に構築しているのです。プロセッサそのものを作るほど深いレベルではありませんが、独自の基板を構築し、異なるプロセッサを組み合わせ、さまざまなことを試しているのです。これはアカデミアでも可能なことです。少しコストはかかりますが、電気工学の専門家と協力すれば、GPU、FPGA、ASICを取り出して基板に組み込み、システムを構築することができます。そうすれば、あるアイデアが本当に機能するかどうかを実際に検証できるのです。ですから、おっしゃることは理解しています。私は正気を失っているわけではありません。私が行っている研究によってNVIDIAのビジネスを動かすということは起こらないでしょう。しかし、私たちが集団として、何が機能し、何が機能しないのか、どのようにすればよいのかを示す十分な研究を積み重ねていけば、時間をかけて、冒頭で申し上げた通り、私たちは中核的な主題となり、それがこうした産業に影響を与えることになるでしょう。そしてそれは研究そのものにも影響を与え、私たちが常に反応的な立場に留まり、彼らが投げてくるどんなアーキテクチャにも自分たちのやり方を無理やり押し込もうとするのではなく、より良いシステムを構築する方向へと進んでいくことになるはずです。ありがとうございました。少しお待ちください。この質問にはお答えします。
司会者： 誠にありがとうございました。時間を大幅に超過してしまいましたが、この会場はまだ使用可能ですので、Gustavoを称える形で、ちょっとしたアナウンスをさせていただき、その後、次のセッションに向かわれる方はご退出いただければと思います。Gustavoがよろしければ、引き続き質疑応答を続けたいと思います。
Gustavo： ここに残るのは喜んでお受けします。追い出されるまで議論を続けましょう。
7. 閉会
7.1 セッション終了と運営アナウンス
司会者： 素晴らしい講演でした。そして幸いなことに、誰も槍やその他の爆弾をこちらに投げてくることはありませんでしたね。私が壇上を降りた後は、どうぞご自由にそうしていただいて構いません。
Gustavo： さて、真ん中に移動しましょうか。
司会者： ああ、失礼しました。ありがとうございます。
Gustavo： それでは、私と一緒に写真を撮りたい方は、この後すぐに壇上までお越しください。著作権については私の弁護士にお問い合わせください。
司会者： それでは結構です。ありがとうございました。本当に良い会でした。皆様がご退出される前に、重要なお知らせがございます。本日の夕食会は二部制で行います。一部は6時45分から7時開始、もう一部は7時30分から7時45分開始となります。皆様が30分から45分お待ちいただくことのないよう、バッジに貼るステッカーをお配りしております。本日中に受付にお立ち寄りいただければ、バッジ用のステッカーをお渡しし、いつ会場にお越しいただくべきかをお知らせいたします。待ち時間を最小限に抑えるための対応ですので、受付、失礼しました、会議の登録デスクにて、時間をお受け取りいただけるカウンターがいくつかございます。それでは、今質問がある方はこちらにお越しいただければと思います。