※本記事は、Jayant Haritsa氏(インド科学大学院大学教授)によるSIGMOD 2026招待講演「Indian Database Research: The Journey to SIGMOD 2026」の内容を基に作成されています。講演の詳細情報は https://www.youtube.com/watch?v=k4rTIyzzC4E でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。
1. 導入部:スピーカー紹介とSIGMODインド開催の意義
1.1 Karsten Kenによる紹介
Karsten: これから招待講演の講演者としてJayant Haritsa氏をご紹介いたします。原稿を用意してまいりましたので、スマートフォンから読み上げる形になりますが、最後には個人的な感想も付け加えたいと思います。Haritsa氏はこのコミュニティにおけるデータベース研究の指導的人物のお一人であり、30年以上にわたって我々の分野を様々な方向から形作ってこられました。今回のカンファレンスで我々が目にしているような、メンターシップとコミュニティへの貢献という点において、これ以上ないほどの実績をお持ちです。またインド国内はもちろん、国際的にも活気あるデータベースコミュニティを築き上げてこられました。Haritsa氏は1993年からインド科学大学院大学(IISc)の教員を務めておられます。学部時代はIIT Madrasで学び、その後University of Wisconsin-Madisonの博士課程に進み、Mike CareyとMiron Livnyの両氏に師事されました。研究キャリアの中では、Bell Labs、IBM Research、Microsoft Researchでもサバティカルを過ごされており、この分野における重要性と貢献の大きさを物語っています。
Karsten: Haritsa氏はACMおよびIEEEのフェローであり、権威あるShanti Swarup Bhatnagar賞の受賞者でもあります。また工学分野でのInfosys賞も受賞されています。コミュニティへの貢献としては、現在務めておられるSIGMODでの役職だけでなく、VLDB 2016とICDE 2010の共同議長も務められました。現在はACM Indiaカウンシルの会長であり、SIGMOD 2026の大会委員長でもいらっしゃいます。私が個人的にHaritsa氏について特に気に入っている点が二つあります。一つは、彼が心底データベースに情熱を注いでいるにもかかわらず、講演にどうにかしてクリケットの話題を織り込もうとすることです。今日もそれがあるのかどうか、私自身楽しみにしております。もう一つは、彼がスポーツだけでなく芸術にも通じているという点です。キュビズムを世界にもたらしたのは実はPicassoではなくHaritsa氏だと言えば、皆さん驚かれるかもしれません。
Karsten: これは、彼が開拓したPicassoクエリオプティマイザ可視化ツールに由来しています。このツールはプランの選択肢を可視化するもので、最終的にできあがる図がPicassoの絵画のように見えることから、この名前が付けられました。Haritsa氏はこれ以外にもロバストクエリ処理の研究に取り組み、後にPlan Bouquetとして知られる手法を発明されています。そして私自身と最も接点があるのは、データベーステストおよびテストデータ生成の分野です。これは私がPhDを取得した領域でもあり、Haritsa氏もこの方向で複数の論文を執筆されています。彼はこの分野を、以前はコミュニティの中で研究課題として認識されていなかったところから、新たな研究方向として確立させた立役者のお一人です。
Karsten: それに加えて個人的な感想を申し上げますと、Haritsa氏は私がこれまで出会った中で最も謙虚な人物のお一人です。決して自分を前面に出そうとせず、常にコミュニティを助けようとし、深夜まで作業をしながら裏方に徹しておられます。私が真夜中にWhatsAppでメッセージを送った際にも対応してくださったことがあり、これはSudarshan氏についても同様に言えることです。この姿勢は今日の講演タイトルにも表れていまして、本日Haritsa氏は「インドのデータベース研究:SIGMOD 2026への道のり」というタイトルでお話しくださいます。この歩みについて、Haritsa氏とSudarshan氏以上に的確な視点を持ち、より多くの貢献をされた方は少ないでしょう。それでは、Jayant Haritsa氏を温かくお迎えください。
1.2 Haritsa本人による導入
Haritsa: どうもありがとうございます。これで全部ですか。それでは、Karstenさん、大変温かく、そして感動的なご紹介をありがとうございました。皆様、こんにちは。プログラム委員会の議長たちがこのセッションのスピーカーを選ぶ際に発行したSQLクエリは非常にシンプルなものでした。「60歳を超えていて、なおかつビザの問題を絶対に起こさない人物を見つけよ」というものです。そういうわけで私が今この壇上に立つことになりました。
Haritsa: さて、この会議は皆様もご存知の通り、SIGMODが初めてインドで開催されるという歴史的な機会を記念するものです。そこで私は、国際的なゲストの方々、そして我々自身の国内コミュニティの若い世代の両方に対して、データベース分野においてほぼ無名の存在だった国が、数十年をかけて国際データベースコミュニティから、大切な子供とも言えるSIGMODを託されるまでに至った経緯をお話しすることが、興味深く、また有益であろうと考えました。私たちはこの信頼に対して深く感謝しており、良い形でこの期待に応えられるよう努めてまいりました。
Haritsa: そこで私は少し調査をしてみました。これまでSIGMODがどの国で開催されてきたかについてです。今回は52回目のSIGMODになりますが、圧倒的多数が北米大陸で開催されており、アメリカが39回、カナダが4回となっています。もしカナダが51回目を担当することになれば、合計で43回になる計算です。それ以外の国々はすべて一桁台の開催回数にとどまっています。特に驚かされたのは、コアエンジンの内部構造開発において常にデータベース研究の強豪として知られてきたドイツでさえ、昨年になってようやく初めてSIGMODを開催したという事実です。つまり私たちは、かなり良い仲間の中に位置していると言えます。
Haritsa: さらに興味深いのは、この一覧にまだ登場していない国々です。イギリスがありませんし、それ以上に注目すべきはイタリアがないということです。もっとも、この状況はすぐに変わるだろうと思います。ACMの次期会長はイタリア人ですし、SIGMOD Executive Councilの議長もイタリア人です。皆さんもこの先の展開はご想像がつくでしょう。実際、2029年にはローマで開催されることが決まっています。私はAngelaのスライドを事前にちらっと見せてもらったので、この事実を知ることができました。
Haritsa: それでは本題に入りたいと思います。私はデータベース研究に関して三つの異なる側面を見ていきたいと考えています。一つ目はインドの学界における研究、二つ目はインドの産業界における研究、そして三つ目は公共空間における実装についてです。
2. インド学界におけるデータベース研究の黎明期(2000年まで)
2.1 草創期の研究者たち
Haritsa: データベースの教育と研究、その両方の基盤を築いたのはNandlal Sarda教授とD. B. Phatak教授という二人の重鎮でした。お二人ともIIT Bombayのご所属で、本日この会場にお越しいただいていることを大変嬉しく思います。ぜひ立ち上がっていただけますでしょうか。お二人とも根っからのデータベース研究者ですが、これ以外の機関でもデータベース研究は行われておりました。ただしそうした機関の教員にとっては、データベースはあくまで手がけている多くのテーマの一つに過ぎませんでした。ちょうどGustavo Alonsoが多方面にわたる研究をしているのと同じような状況です。当時IIT KharagpurにはArun Majumdar教授、IITにはVenkatesh Raman教授がいらっしゃいました。Ramanについては皆さんもご存知の通り、Lakshmanのアドバイザーでもありました。それからD.K. SubramanianとLata Narayananもこの時期に活動していました。
2.2 「若きトルコ人」世代の帰国
Haritsa: ただし、こうした国内的な足場から国際的な可視性を獲得する段階への転換が起きたのは1990年代のことでした。これは、当時世界最高峰のデータベース系大学院であったUniversity of Wisconsin-Madisonから若い研究者たちが帰国したことによるものです。SudarshanとKarstenが先ほど言及した通り、私は1992年に帰国しました。Sudarshanは Jeff Nortonの学生で、私はMike CareyとMiron Livnyのもとで研究をしており、IIScに着任しました。その数年後にSudarshanも合流し、私たちは三人組となりました。彼はBell Labsでの勤務を経てIIT Bombayに着任しました。さらに数年後には、Wisconsin大学とはまた違う「カリフォルニア大学」、つまりUC Berkeleyから別の研究者が私たちに加わりました。Sunita Sarawagiです。彼女も今回のカンファレンスにお越しくださっています。
Haritsa: これが「若きトルコ人」世代でしたが、私たちは非常に幸運なことに、当時すでにリアルタイムシステムとデータベースの両分野で伝説的存在であったKrithi Ramamritham教授を得ることができました。
2.3 Krithi Ramamritham教授の帰国
Haritsa: Ramamritham教授はUniversity of Massachusetts Amherstで数十年を過ごされた後、1998年に帰国してIIT Bombayに着任されました。本日もChennaiからわざわざお越しいただいており、大変感謝しております。Ramamrithamにもぜひ立ち上がっていただければと思います。私たちが若さゆえのエネルギーを供給する一方で、Ramamrithamは方向性と経験を供給してくださいました。おかげで私たちは正しい道を歩み続けるための優れたメンターシップを得ることができました。ここで申し上げておきたいのは、今でこそ他国から帰国してくる研究者は珍しくありませんが、当時これは非常に大胆な決断とみなされていたということです。実際、私たちのメンターの多くは、インドに戻れば研究者としてのキャリアが終わってしまうと言って、帰国を思いとどまるよう助言してくれました。帰国後、私たちはその助言が善意によるものであり、決して的外れではなかったことを実感しました。しかし同時に、その予測が現実にならないよう努める責任があるとも感じました。SudarshanもTaro同じ思いで、私たちは常に国際的な可視性を維持し、こうした障壁を乗り越えて、インドを世界地図に載せるのだという強い決意を持ち続けました。
2.4 2000年までのSIGMOD/PODS論文の実態
Haritsa: さて、こうした状況の中で、2000年までにインドの学界がSIGMODとPODSに残した足跡はどのようなものだったのでしょうか。実は、この二つの会議を合わせてもわずか7本の論文しかありませんでした。その内訳をご紹介します。最初の論文は非常に意外な場所から生まれています。Mumbaiにある、Tata Institute of Fundamental Researchの一部門であったNational Center for Software Technologyからのものでした。そこで修士課程に在籍していたMulsaという人物が、IIT Bombayの二名の教員とともにこの論文を執筆しています。この二人の教員はその後二度とデータベース分野で論文を書くことはなく、これは一回限りの出来事だったようですが、それでもインド人著者による論文が初めてSIGMODに掲載された瞬間となりました。
Haritsa: その後1993年にはSudarshanがPODSに論文を発表しました。これはIBM Almaden Research Centerのグループとの共同研究で、Peter HaasやArun Swamiといった、皆さんもよくご存知の名前が名を連ねています。そして1997年のSIGMODでは、我々のインド科学大学院大学(IISc)から2本の論文が採択されました。ここには興味深い逸話があります。あるPCメンバーから聞いた話ですが、これらの論文が審査されていた際、一人のPCメンバーが採択を推薦したところ、他の複数のメンバーが反対したそうです。その理由は、著者たちが「自分たちの郵便番号すら正しく書けていない」というものでした。実は、インドの郵便番号(ピンコード)は6桁であるのに対し、アメリカの郵便番号は5桁です。当時は、論文はすべてアメリカから投稿されるものだという暗黙の前提があり、それがほぼ正しい時代でもありました。そのため、6桁の郵便番号を見た彼らは「この著者たちは何か勘違いしているのではないか」と考えたのです。結局、これはインドから投稿されたものであると説明する必要があり、PCチェア自身も「この著者たちは一体何者で、どこから来たのか」と大変驚いたそうです。これはまさに、当時私たちが直面していた認識のずれの大きさを象徴する出来事でした。
Haritsa: そして2000年のSIGMODでは3本の論文が発表されました。この時期はSudarshanが中心となり、そこから複数の方向に広がりが生まれていました。私自身もSudarshanと共にこの流れに関わっており、ようやくインドの研究者による継続的な可視性が生まれ始めたと言えます。頻度としてはまだ理想には遠いものの、散発的にではありますが、着実に成果が出始めていました。とはいえ、2000年時点で振り返ってみると、少なくとも国際水準にあると言えるデータベース研究は、事実上IIT BombayとIISc(インド科学大学院大学)というわずか二つの機関でのみ行われていたというのが実情でした。
3. 過去25年間の研究拠点の広がりと主要プロジェクト
3.1 地理的拡大の可視化
Haritsa: それでは、この26年間で状況がどのように変化したのか見ていきましょう。良い知らせがあります。現在の地図を見ていただくと、ここに表示されている円は、過去25年間に何らかの形でSIGMODに論文を発表した拠点を示しています。ご覧の通り、はるかに大きな広がりが見られます。これは、昨日私たちが目にしたダンスの様子とよく似ています。それぞれの州が独自にダンスを踊っているような状態です。SIGMODのプログラムへの参加拠点が数多く存在していることがお分かりいただけると思います。
Haritsa: ここで皆さんを驚かせるようなものをご紹介したいと思います。おそらくこの会場にいらっしゃるインドの方々でさえ、この緑色の円がどこを示しているか分からないのではないでしょうか。Madhya Pradesh出身の方であれば見当がつくかもしれません。これは皆さんがよくご存知のBhopalやIndoreではありません。Madhya Pradesh州で三番目に大きな都市です。Gwaliorでもありません。正解はJabalpurです。この論文は非常に長い名前を持つ機関、Pandit Dwarka Prasad Mishra Indian Institute of Information Technology, Design and Manufacturingから発表されました。おそらく名前を付ける際にネタが尽きてしまったのでしょう、ほとんど何でもやっているような機関です。これはまったく無名の存在でしたが、昨年のSIGMODでフルペーパーとして採択されています。さらに今回のSIGMODでも、Telanganaの拠点からの論文があります。Hyderabadではありません。皆さんお分かりになりますか。正解はWarangalです。そして最後の一つは、Moanが生まれた場所からの論文で、これはRourkela Institute of Technologyです。こちらはSIGMODのワークショップに論文が採択されています。
Haritsa: さらにこの地図を見ていただくと、いくつかの大きな円があることにお気づきになるかと思います。これは複数の機関が同一地域に存在していることを示しています。例えばHyderabadにはIIT HyderabadとIIIT Hyderabadがあり、Bangaloreにも私たちのIIScに加えてIIIT Bangaloreがあります。こうした機関の研究者たちは、コアな内部構造の研究から、ナレッジグラフ、情報検索に至るまで、実に多様な形でデータベース研究に貢献してきました。ただし、本日は特にリレーショナルクエリ処理という分野において、とりわけ影響力の大きかった研究に焦点を絞ってお話ししたいと思います。ここで取り上げるプロジェクトに共通しているのは、それらが単に他者がすでに定義した研究に追随していたわけではなく、新たな研究方向そのものを定義していったという点です。その意味で、これらの研究には明確な主体性とリーダーシップが存在していました。自分自身の研究についても同様のことを申し上げるのをお許しいただければと思いますが、まずは全体の土台を示したいと思います。
3.2 主要研究プロジェクト群
Haritsa: マルチクエリ最適化を実用可能なレベルにまで引き上げた非常に早い時期の研究は、2000年にSudarshanのグループから生まれました。彼らは、多様な貪欲的コストベースのヒューリスティックと、プランツリーにおける共有可能ノードという概念、さらには一定のベネフィット単調性の基準を組み合わせることで、それまで理論的にしか分析されていなかったマルチクエリ最適化を実際に実装可能な形に落とし込めることを初めて示しました。この成果はその後この分野に大きな影響を与えることになりました。
Haritsa: 続いて、Karstenが先ほど言及してくださった、私たち自身が「アーティスト」となった取り組みについてお話しします。私たちはプランダイアグラムという概念を導入し、データベースクエリオプティマイザが選択率パラメータ空間全体にわたってどのような異なるプラン選択を行うかを捉えようとしました。この図では、X軸とY軸がパラメータ空間を表し、色の違いが異なるプランを表しています。赤いプラン、黄色いプラン、青いプランといった具合です。実際にこの図を作成してみたところ、多少の想像力を働かせれば、まるでキュビズムの絵画のように見えることに気づきました。そこでこれを「Picasso」と名付けることにしたのです。実を言うと、最初はM.F. HusainやRaviといったインドの画家の名前を使いたいと考えていたのですが、この図を見た瞬間、他に選択肢はないと確信しました。あまりにもキュビズムの絵画に似ていたからです。私たちはこの研究に約10年間にわたって力を注ぎ、学界からも産業界からも大変好意的に受け入れられました。
Haritsa: もう一つ、IIT Bombayから生まれた非常に優れたプロジェクトがあり、こちらもSudarshanが牽引したものです。今朝Gustavoが「あなたたちは視野が狭すぎる、エンドツーエンドで見るべきだ」と指摘していましたし、Jagdishも同様に「自分たちの内部アルゴリズムだけでなく、アプリケーション全体を見るべきだ」と述べていました。実際、彼らはまさにそれを実践しました。データベースアプリケーション全体をエンドツーエンドで最適化するという視点に立ち、クエリをどのようにバッチ処理するか、ネットワーク越しにどう送信するか、すべてのクエリに対してどのようにプリフェッチとキャッシングを行うかといった点について、非常に優れた技術を開発しました。さらに彼らは、命令型のコードを宣言型の文に変換する取り組みも行い、それによってそれらの文もクエリオプティマイザによって最適化できるようにしました。このプロジェクトは2008年に開始され、DBridgeと名付けられました。その後、商用製品にも実装されるまでに至っています。
Haritsa: 続いて、Karstenも先ほど触れてくださいましたが、クエリテストというテーマは極めて重要であるにもかかわらず、コミュニティの中で長らく軽視されてきた領域です。というのも、多くの人が「自分はコーダーであり、テストは別の誰かの仕事だ」と考えてしまいがちだからです。データベーステストという営みには、こうした不幸な、いわば見下されたようなイメージがつきまとってきました。しかし実際には、データベーステストの手法を設計すること自体が重要な研究テーマであり、Karsten自身も彼の博士論文の中でこのテーマに取り組み、逆リレーショナル代数という新しい代数を発明する「逆クエリ処理」という研究を行いました。これは非常に洗練されたアイデアです。私たちもこのクエリテストというテーマに時間を費やしてきました。
Haritsa: これに関連したもう一つのプロジェクトも、やはりIIT Bombayから生まれています。彼らはXDataプロジェクトを立ち上げ、データベースクエリの正しさを論理的な評価だけでなく、小さなデータセットを実際に作成してそれを実行し、誤りが顕在化するかどうかを確認するという方法でテストしようとしました。このプロジェクトの息の長さは特筆すべきもので、今回のSIGMODでも彼らの論文が採択されています。16年が経過した今もなお、このプロジェクトは継続しており、着実に成果を積み重ねています。これは昨日のセッションR17で発表されたものだったと思います。さらに彼らが行ったもう一つの美しい研究として、採点の考え方に関するものがあります。従来、インドでは早い時期から、クエリの採点は満点かゼロかというデジタルな方式が基本でした。しかし彼らは、あるクエリに小さな誤りしかなく、教員が用意した正解クエリと比べてほとんどの部分が正しいのであれば、部分点を与えるべきだと考えました。そこで彼らは、ある一つのSQLクエリが、いわば理想的な、あるいは元となる正解クエリからどれだけ離れているかを測定するという方向へと研究を進めていきました。
Haritsa: そして私たち自身の研究室では、2014年頃からロバストクエリ処理という分野に取り組み始めました。これがKarstenが先ほど言及してくださったPlan Bouquetというシステムです。ここでの目標は、データベースの性能について定量的な保証を与えられるかということでした。この点については、講演の次のパートで詳しくお話ししたいと思います。
4. ロバストクエリ処理研究:Plan Bouquetの理論と実践
4.1 問題提起と背景
Haritsa: ここで一つ、なぜこのテーマを取り上げるのかについてお話ししたいと思います。昨日、ある方から「機械学習全般、特にLLMが既存のデータベース技術に勝てない分野があるかどうか」という質問がありました。その答えがまさにロバストクエリ処理です。2000年前から存在するユークリッド幾何学が、機械学習に勝てるのです。これから15分ほどかけて、この主張を皆さんに納得していただけるよう努めたいと思います。
Haritsa: さて、現実の世界ではどのような状況になっているのでしょうか。私たちは、クエリオプティマイザが指数関数的な空間を動的計画法や様々な統計モデルを用いてコストベースの評価を行うことで、最適なプランを得られていると考えがちです。しかし、コンパイル時に最適だとされたプラン選択が、実際には著しく準最適なものになってしまうことがしばしばあります。「著しく」という言葉の意味するところは、100倍、1000倍といった桁違いの性能劣化です。皆さんは、この分野が50年も研究されてきたのに、なぜこれほど悪い結果になるのかと疑問に思われるかもしれません。その理由は、クエリオプティマイザへの入力となる二つの統計モデルにあります。一つはオペレータのコストモデルですが、これが与える影響は限定的です。もう一つは、オペレータの出力である結果の件数、すなわちカーディナリティのモデルであり、こちらは非常に大きな誤差を生む可能性があります。
Haritsa: もし私の言葉を信じられないという方がいらっしゃれば、DB2のクエリ処理システムの生みの親であるGuy Lohman博士が述べた、美しい一節をご紹介したいと思います。彼は2014年にこれを書いています。今朝Gustavoが行っていたのと同じような、長く辛辣な批判の文章ですが、非常に読み応えのある記事で、読んだ後には謙虚な気持ちにさせられます。彼は「Is query optimization a solved problem?」というタイトルの投稿を書いており、その中に私が常に気に入っている一節があります。彼はこう記しています。クエリ最適化のアキレス腱、あらゆる問題の根源はカーディナリティの推定にあると。そして、カーディナリティモデルは桁違いの誤差を容易に生み出しうるとも述べています。つまり、データベースの人間が間違えるときは、決して些細な間違いではなく、劇的に間違えるということです。そして最後の二文が実に痛烈です。彼はこう言います。これほどの誤差があるのだから、不思議なのはなぜオプティマイザが悪いプランを選んだのかということではなく、そもそもなぜ良いプランが得られることがあるのか、その方が不思議だと。つまり、良いプランが得られるとすれば、それは相当な幸運によるものだということです。
Haritsa: この問題に対処するための先行研究は、これまでに数多く存在します。異なるアプローチの系譜をいくつかご紹介しましょう。一つ目は、単なる区分線形近似であるヒストグラムを超えて、より洗練された数学的手法を用いようとするアプローチです。これについてもSIGMOD、VLDBなどに多数の論文があります。二つ目は、カーディナリティ推定の誤差にある程度ロバストなクエリ実行プラン、つまり誤差の影響を大きく受けにくいプランを選択しようとするアプローチです。これについても数多くの論文が存在します。三つ目は、動的プランあるいは実行時再最適化と呼ばれるアプローチです。これは、クエリオプティマイザから得られた当初のプランを実行に移しつつ、常にモニタリングを続け、想定していた結果と実際の結果を比較するというものです。もし両者が近ければそのまま実行を続けますが、大きな乖離があれば、つまり蛇口をひねって数滴の水が出ると思っていたら津波が来たというような状況であれば、これは大きな不一致があるとみなし、もう一度検討し直すという再計画を行います。この再計画の際には、推定値ではなく実際の値という情報が手に入っているため、新たに選ぶプランはより良いものになることが期待できます。これは、実際の値を得るたびに誤差を取り除いていくという反復的なプロセスとして進めることができます。このアプローチについても、Mike Stonebrakerによる2019年のICDEでの発表を含め、複数の論文があります。
Haritsa: これらはいずれも素晴らしいアイデアです。実は当初、クリケットとの関連付けについては名前を伏せておこうかと思っていたのですが、Karstenがすでに触れてくださったので、少なくとも地元の聴衆のために申し上げますと、これはVVS Lakshmanに例えられます。彼はインドのクリケット界において非常にスタイリッシュなバッツマンでした。ロバストなプランの選択は、どんなピッチでも実力を発揮したRahul Dravid、通称「壁」に例えられます。そして実行時再最適化は、その場で臨機応変に適応するMahendra Singh Dhoniに例えられます。これらはいずれも私たちのコミュニティを代表する優れた研究者たちによる素晴らしいアイデアであり、優れた理論的分析と成果を伴うものです。しかし、これだけの研究の蓄積があってもなお、根本的には指を交差させ、つま先まで交差させて、とにかく祈るしかないという状況でした。なぜなら、これらはいずれも証明可能な形でロバストであるとは言えなかったからです。
Haritsa: ではこの10年間で何が起きたのでしょうか。世界の大半は学習ベースの技術に向かいました。今朝Gustavoが述べていたように、機械学習、機械学習、機械学習です。誰もがそれに取り組みました。従来のパラメータ化されたコストモデルを、精緻に学習されたモデルに置き換え、システムが最もよく知っているという発想です。ここにも文字通り津波のような数の論文が存在します。私が2019年のICDEと2020年のVLDBで行ったチュートリアルには、これらの関連文献が一通りリストされています。私たちインド科学大学院大学は、これとは異なる道を選ぶことにしました。これは主に、私たちが他の研究者たちに追いつくことはできないと分かっていたからです。そこで私たちは独自のアプローチを取らなければならないと考え、代わりに幾何学的な手法を用いることにしました。
4.2 幾何学的アプローチへの転換
Haritsa: 具体的には、選択率パラメータ空間にわたるプランコスト関数の軌跡を活用するというものです。次のスライドでこれを詳しく説明します。興味深いことに、これはインドの学界において、まったく異なる複数のグループによって取り組まれてきた伝統でもあります。IIT KanpurのSumit Ganguli、彼はAvi Silberschatzの博士課程の学生でもありますが、彼はボトムアップのアプローチからこの問題を捉え、すべてを数学的に厳密に処理するクエリオプティマイザをどう作るかを研究しました。また、SudarshanとArun Hulgeriは、パラメトリッククエリ最適化という概念に着目しました。これは、あるプランがある地点で理想的であり、別の地点でも理想的であるならば、その二点を結ぶ直線上でも同じプランが理想的であると補間できる、という考え方です。こうした伝統がこの分野にはすでに存在していました。
Haritsa: さて、私たちの解決方法をお話しする前に、学習ベースの手法がどのようなものかをお見せしたいと思います。こちらはあるサンプル性能を示したものです。X軸はクエリ中の結合数、Y軸はThomas NeumannとGuido Moerkotteによって定義されたQエラーです。これは、理想的な値である1を基準として、それより上に行けば過大評価、下に行けば過小評価を意味します。これは対数スケールで示されている点にご注意ください。PostgreSQLを見ると、この箱ひげ図はしばしば深刻な過小評価を行っていることを示しています。これが全体としてのメッセージです。2019年のVLDBには、この分野に大きな弾みをつけた論文がありました。マルチセット畳み込みニューラルネットワーク、いわゆるMSCNに関するものです。その性能を見ると、理想的には1のところに平坦な線が引かれること、つまりまったく誤りがない状態が望ましいわけですが、確かにPostgreSQLよりは改善しているものの、結合数が増えるにつれて深刻な誤差が生じていることが分かります。中央値がほぼ100に近づいているこの点をご覧ください。つまり改善はしているものの、まだロバストとは言えない状態です。
Haritsa: それでは、幾何学的な手法がこの状況にどう役立つのかを見ていきましょう。私は、選択率パラメータ空間上のプランコスト関数に対して、いわば「データの法則」を適用できるのではないかと考えました。例えば一つの性質として単調性が挙げられます。パラメータ空間上でより多くのデータをクエリに投入すれば、より多くのコストがかかるはずだという考え方です。これは否定演算子などが絡む場合には必ずしも常に成り立つわけではありませんが、一般的にはデータベースクエリの99%はこの性質に従います。より多くのデータを処理させれば、より多くの時間がかかるということです。加えて、滑らかで微分可能な振る舞いをするという性質も期待できます。二つ目は、プランコスト関数が凹型の形状を持つ、つまり追加されるタプルごとにコストの増分が逓減していくという性質です。劣モジュラ性の良い点は、これが線形結合に対して閉じているということです。三つ目は成長の有界性です。これはスペースシャトルのように急激に立ち上がるのではなく、より緩やかな曲線を描くという性質であり、パラメータ空間上でプランコスト関数がどのような速さで変化するか、その傾きに上限を設けることができます。この他にもいくつか幾何学的な性質を検討することができますが、時間の関係で割愛します。ここで申し上げたいのは、プランそのものを見るのではなく、プランコスト関数の振る舞いに着目し、こうした概念を用いて何かできないかを考えるべきだということです。
4.3 Plan Bouquetの仕組みと理論的保証
Haritsa: こうした考え方から生まれたのが、私たちがPlan Bouquetアルゴリズムと呼ぶものです。これは最初にSIGMOD 2014で発表され、その数年後にTODSに拡張版が掲載されました。私たちの前提は次のようなものです。それまでの研究の多くは、選択率の問題を「修正しよう」としてきました。より優れた数学を用いて選択率を推定しよう、あるいはより安定したプランを選ぼう、あるいは動的な再最適化を行おうといった具合に、いずれにせよ「推定しなければならない」という発想が根底にありました。しかし私たちは、選択率推定という問題はRajinikanthでない限り解決できないと考えました。国際的なゲストの皆様のために補足しますと、Rajinikanthはインド映画界、特にタミル映画界における最大級のヒーローの一人であり、1から無限大まで二回数え上げたことがある世界で唯一の人物です。分かりやすく言えば、Arnold Schwarzenegger、Clint Eastwood、Elvis Presleyを合わせたような存在です。それほどまでに大きな存在感を持つ人物であり、多くの人は彼を「Rajini Sir」と呼びます。
Haritsa: さて、選択率推定というのは越えられない壁であると確認できたところで、私たちはこう考えました。この壁を突破しようとするのではなく、迂回しようと。つまり、推定すること自体をやめてしまい、代わりにこのプロセスを放棄する新しい処理手法を考案し、コンパイル時に選定された「プランの花束(bouquet)」を用いて、実行時にクエリの選択率を発見していくというアプローチです。単一のプランを使うのではなく、複数のプランからなる一式を使うわけです。興味深いことに、この方法によって最悪ケースの性能保証を与えられることを示すことができます。ここで重要なのは、これを「理想」と比較するという点です。多くのデータベース論文では、自分たちの手法を最先端(state-of-the-art)と比較しがちですが、これはある意味で下限との比較にすぎません。長期的に見て本当に重要なのは、上限、すなわち「理想」との比較です。ここでの理想とは、すべての正しい選択率を魔法のように知っているオプティマイザを指します。例えば単一の誤差を含みやすい選択率について、理想に対して常に4倍以内に収まるという相対的な保証を与えることができます。これについては次のスライドでお見せします。さらに興味深いのは、これは理論的な保証にすぎませんが、経験的にはこの範囲内に十分収まるということです。実際には2倍から3倍程度に収まることが多くあります。
Haritsa: それでは具体的に見ていきましょう。こちらは、あるクエリに対するパラメトリック最適プラン集合の図です。このクエリは、学生データベースからstudent、course、registerというテーブルを用いて、コースの受講料がパラメータ「1ドル」未満であるコースに登録している学生の氏名とタイトルを求めるものです。もしこの1ドルという値が小さければ、安いコースを探していることを意味し、大きければほとんどのコースが対象になることを意味します。このパラメータを用いることでcourseリレーションの選択率を制御でき、それがX軸に示されています。選択率は対数スケールで0.1%から100%まで示されています。Y軸は、データベースクエリオプティマイザが決定した最適プランの推定コストで、こちらも対数スケールで6,000から600万程度まで示されています。これが、それぞれの選択率における最適プランコストのプロファイルですが、実際にはこの軌跡は複数の異なるプランから構成されています。例えば初期の部分では、courseとregister、そしてstudentをネステッドループ結合するプランP1が理想的です。これはデータ量が少ない、低い選択率では理にかなっています。選択率が上がるにつれて、他のプランへと移行していきます。結合の順序や結合アルゴリズムが変化し、P3、P4、P5といったプランが登場します。
Haritsa: ここで私たちが行ったのは、先ほどの図で見えていたのが各曲線の下限包絡線であったのに対し、それぞれのプランの振る舞いを空間全体に拡張してみるということでした。すると、P1は初期には非常に良好ですが徐々に悪化していくのに対し、この緑色のプランは終盤で良好な性能を示す一方、初期のコストが非常に高いことが分かります。対数スケールなので分かりにくいですが、初期では非常に高い位置にあります。そこで次に、それぞれのプランについて、通常のクエリオプティマイザを使った場合に生じうる最悪ケースの振る舞いを見てみましょう。これが理想であり、こちらが最悪ケースです。最悪ケースはどう求めるかというと、ある地点において、そこで用いるプランの準最適性という観点から、最も悪い選択率の推定を想定してみるということです。例えば、ある地点にいて選択率を1%と推定したとします。しかしコンパイル時にはそう見積もったものの、実行時になって蓋を開けてみると実際には99%だったとします。つまり本来はハッシュ結合を使うべきだったところを、P5の位置でP1のネステッドループ結合アルゴリズムを使ってしまうことになります。この場合、緑色の地点で赤いP1を使ったことによる準最適性はおよそ20倍と計算できます。逆に、P5のハッシュ結合アルゴリズムをごく少量のデータに対して使ってしまうという状況もありえます。80%と推定したためにその地点にいたが、実際には0.1%しかなかったという場合です。この場合の準最適性は100倍にもなります。空間全体を見渡すと、この最悪ケースの準最適性は100倍に達しています。
Haritsa: それでは、この単一次元の誤差選択率空間においてPlan Bouquetをどう設計するかを見ていきましょう。先ほどと同じ曲線を用い、等コスト線を描きます。これはコストに関して一定間隔で水平に引かれた線であり、比率2の等比数列になっています。対数スケール上ではこれらが等間隔になる点が重要です。そして、この等コスト線と最適プロファイルの交点に存在するプランを見つけます。この例ではP1が四つの交点を持ち、続いてP2、P3、P5となります。P4はこれら二つのカット線の間に位置していたため、この空間から脱落していることに注意してください。
Haritsa: では次に何をするのでしょうか。仮にこのクエリの実際の選択率が5%だったとします。私たちはこれを知りません。また先ほど述べた通り、決して推定はしないという方針ですので、常にゼロに近いところから開始します。まず、最適プロファイルとP1の交点にあたるコスト、この場合はおよそ12,000という予算を与えて、プランP1を実行します。この予算内で実行を試み、完了するかどうかを確認します。もし完了すれば、それで完璧です。しかし今回のケースでは、実際の選択率は5%ですので、当然完了しません。完了しなかった場合はどうするかというと、P1で得られた結果をすべて破棄します。そして、予算を倍にした24,000でもう一度P1を実行します。それでもうまくいきません。さらに倍にして48,000、96,000としても失敗します。かなり焦ってきたところで、190,000という予算でP2を実行する段階に達します。それでもうまくいきません。続いてP3を実行し、今度はようやく成功します。与えられた予算は380,000でしたが、実際には340,000で完了します。なぜこれが分かるかというと、単調性という要件によるものです。つまり、あるプランがこのデータ量で380,000という時間内に完了できるのであれば、それより下の任意の地点でも同じかそれ以下の時間で完了できるはずだということです。ここで幾何学的な考え方が実際に組み込まれているわけです。
Haritsa: さて、これまでに要したコストの合計を見てみましょう。試行錯誤にかかった12,000、24,000といった数値をすべて足し合わせます。これを合計すると710,000になります。理想と比較してみましょう。もし最初から選択率が5%だと分かっていれば、340,000というコストで済んだはずです。710を340で割ると2.1となり、いくつかの最適化を施せばこれを1.8まで下げることができます。これが私たちの手法です。これを選択率空間全体にわたって同様に計算すると、赤と緑の間、しかも緑にかなり近い青い線が得られます。この場合、最悪ケースは中央付近で生じ、その最大準最適性はわずか3.1倍にとどまります。
Haritsa: ここで皆さんは、これはPostgreSQLや商用のクエリオプティマイザが100倍もの誤差を出す状況の中で、たまたま都合の良い状況を選んで3.1という結果を得られたにすぎないのではないかとお考えになるかもしれません。しかし次にお見せするように、実はこれが普遍的に成り立つことを示すことができます。なぜかというと、私たちが要するコストは、まさに先ほどの等コスト線のカット、12、24、48という等比数列の和そのものだからです。ここでは公比2としましたが、一般的には初項aと公比rの等比数列として扱えます。これは等比数列の総和になります。すべての選択率を知っている理想のオプティマイザが必要とする最小コストは、この値によって下限が与えられます。なぜなら、もしこれより少ないコストで済むのであれば、単調性によって、その時点ですでに実行が完了していたはずだからです。この二点の間にある場合にのみ、次の地点にジャンプする必要が生じます。つまり、公比2でジャンプしながら適切な地点を探しているということになります。したがって最小値は、a掛けるrのk-2乗によって下限が与えられます。そこで、最悪ケースの準最適性は、この総和をこの最小値で正規化することで求められます。これを計算すると、いくつかの単純な代数操作によって、r²をr-1で割った値によって上限が与えられることが示せます。ここでrは、選択率空間の等コスト線をジャンプする際に用いる公比です。興味深いのは、この上限がkに依存しないという点です。つまり選択率直線上のどこに位置しているかには依存しません。そして、この式はrが2のときに最小値、すなわち最大準最適性4倍という値に達することも容易に示せます。
Haritsa: ここで皆さんは、4という数字はインド科学にとっては十分かもしれないが、他の機関ならもっと下げて3や2にできるのではないかとお考えになるかもしれません。しかし実はそうではありません。これは、いかなる決定的(deterministic)なオンラインアルゴリズムであっても達成可能な最良の性能であることも証明できます。ランダム化アルゴリズムを用いればもう少し改善できますが、決定的アルゴリズムの世界においては、これが到達できる最良の値なのです。ここまで来ると、4というのは1と比べればまだ悪いではないかとお考えになるかもしれません。しかし私が申し上げたいのは、以前は10倍、100倍、10,000倍といった劇的な誤りが生じる絶望的な状況だったのに対し、私たちはそれを「なんとか耐えられる程度の悪さ」にまで変えたということです。それが私たちが成し遂げた変化です。
Haritsa: さて、ここで一次元ではなく多次元の場合はどうなるのかという疑問が生じるかと思います。仕組みはずっと複雑になり、分析もはるかに困難になりますので、ここでは詳細には立ち入りません。詳しくは論文をご参照いただければと思いますが、良い結果として、d次元の空間であっても、d²+3dというオーダーの二次関数的な係数の範囲内に収まるという保証を与えることができます。ここに示されている数値が、それぞれの最悪ケースの振る舞いです。繰り返しになりますが、40倍というのは大きく見えるかもしれませんが、理想に対して10,000倍遅いという状況に比べれば、はるかにましだということです。また、この種のアルゴリズムに対しては、線形の下限が存在するという美しい幾何学的証明も与えることができ、結合グラフがチェーン状であるといった特定のタイプのクエリについては、この下限を線形のオーダーにまで引き上げることも可能です。もう一つ重要な点は、この結果がプラットフォームに依存しないということです。これは単に、クエリの中でどれだけの次元において選択率の推定を行っているか、そのうちどれだけの次元が誤差を生みうると考えられるか、という点だけに依存しています。このテーマについてもっと詳しく知りたい方のために、昨年出版したサーベイ論文がございます。これはFoundations and Trends in Databasesのシリーズから刊行されています。
5. インドのデータベース産業の変遷
5.1 2000年以前の状況
Haritsa: それでは、インドのデータベース産業の方に話を移したいと思います。2000年以前の初期の時代には、インドで行われていた仕事の大半は、保守、文書作成、サポートに限られていました。つまり、あまり目立たない周辺的なサービスがここから提供されていたわけです。これはインドにアウトソーシングされ、テストやバグ修正、あるいはソフトウェアの保守、ドキュメントの作成といった作業を担ってもらうという位置づけでした。当時の状況をもう少し詳しく申し上げますと、人々はツールの使い方については知っていましたが、システムの内部構造についての理解は持ち合わせていませんでした。これはちょうど、車の運転はできるけれども、内燃機関がどのように動いているかは分からない機械エンジニアではない、という状況に似ています。皆さんの中には、Bangaloreの交通事情を目にして、そもそも運転できることすら疑わしいと思われる方もいらっしゃるかもしれませんが。Angelaが話してくれたのですが、彼女がこちらに来た際、運転手が誤ってShangri-Laではなく Hiltonホテルに連れて行ってしまったそうです。彼女が「これは間違いだ、引き返してほしい」と伝えたところ、本来であれば大きくUターンをして戻る必要がありました。しかし運転手は簡単な方法を選び、その場でくるりと車を反転させ、クラクションを鳴らしながら逆走してホテルに到着したそうです。幸い彼女はその経験を無事に乗り切りました。つまり、車の運転はできても、内燃機関の仕組みを理解している機械エンジニアではないということが、当時のインドの状況に確かに当てはまっていたわけです。
5.2 転換点となった集中講義
Haritsa: そうした状況の中、2003年にSudarshanと私は、Bangaloreにいたヒューレット・パッカード(HP)グループのエンジニアたちを対象に、1週間の集中講義を行いました。その後、彼らはさらに長期のリフレッシャーコースを受けるためにカリフォルニアへ渡っています。また私たちの学生の何人かもPuneへ赴きました。というのも、当時Sybaseがそのエンジニアリング部門をPuneのサイバーシティへ移転していたためです。彼らは2004年から2010年にかけてSybase ASEの開発に貢献しました。こうした内部構造に関する詳細な指導と教育が行われたことで、彼らはそれまで周辺的なサービスに限定されていた立場から、コアな領域での仕事に携われるようになっていきました。
5.3 現在の深層技術拠点化
Haritsa: それでは現在の状況はどうなっているのでしょうか。今では、クエリオプティマイザ、実行エンジン、ストレージエンジンといった、いわば縁の下の力持ちとも言える細部の技術から、分散SQL制御に至るまで、様々なチームがこれらに取り組んでいます。例えばGoogleのNapaやAlloyDBは、コアのデータベースと分散プラットフォームの両方が、ここBangaloreで大々的にエンジニアリングされています。これには本格的なソフトウェアの技術力が求められますが、ここのエンジニアたちは今やそれを備えています。他にもAmazon Aurora、PostgreSQL、Oracle Cloud、Teradata、YugabyteDBといった企業がここに拠点を持っており、これらの一部は今回のカンファレンスのスポンサーでもあります。
Haritsa: また、Anand Deshpande氏が率いるPersistent Systemsという企業もあります。彼は今回のカンファレンスのスポンサーシップ議長も務めてくださっています。この会社は非常に成功を収めており、フィンテック、ヘルスケア、そしてソフトウェアという三つの垂直分野で事業を展開し、時価総額は100億ドルに達しています。ソフトウェアエンジニアリングの世界、特にデータベースの文脈において、完全に様変わりさせた存在です。
Haritsa: さらに、私たちにはpgconf.inという非常に成功しているカンファレンスもあります。これはインド発のオープンソースデータベースへの貢献を象徴するイベントで、主にPawan Deshpande氏が牽引してくださっています。彼は今回のカンファレンスの広報議長も務めており、皆さんもすでに何度かお目にかかったり、メールでのやり取りをされたりしているかもしれません。今年は570名を超える参加者があり、およそ70名のスピーカー、そして50件を超える技術セッションが行われました。重要なのは、そのアジェンダの内容です。単に「データベースをどう使うか」といったサービス的な話にとどまらず、内部構造への深い掘り下げが行われており、並行性制御、トランザクション、リカバリといったテーマについて盛んに議論されました。これはMoanが聞けば大喜びしそうな内容で、まさにシステムの内臓部分に踏み込んだ議論です。パフォーマンスチューニング、GISプラットフォーム、マルチマスターレプリケーションなど、あらゆる領域が扱われています。
Haritsa: 一例として一社だけご紹介しますが、他の企業でも似たような状況が見られます。Microsoftは、SQL Serverに関するインド開発センターを持っています。これはKarthik Ramachandra氏によって立ち上げられたもので、彼はIIT BombayでSudarshanのもとで博士号を取得し、その後Jim Gray Labで数年間勤務してから帰国し、このグループを立ち上げました。注目すべきは、わずか5年という期間で、ほぼゼロだった人員規模が200名近くにまで拡大しているという点です。これはサービス側の仕事ではなく、皆コアな技術に取り組んでいます。拠点はBangaloreだけでなく、Pune、Hyderabad、その他のインド国内の各地、そしてNoidaなどにも広がっており、システムスタック全体について深い知識を持つ質の高いエンジニアが、国内に幅広く分布していることが分かります。
Haritsa: 彼らはSQL Server 2025の多くの機能やハイパースケール関連の領域においても重要な貢献をしています。特に興味深く、また驚かされるのは、彼らがライブサイトのインシデントに対して「フォロー・ザ・サン」方式での対応まで担えるようになっているという点です。これは、世界のどこかで問題が発生した際に、それにリアルタイムで対応しなければならないということを意味します。オフラインでの対応であればまだ容易ですが、これはSatya Nadellaから直接「何かがおかしい、直してくれ」という連絡が入るような、まさにオンラインでの即応が求められる仕事です。しかし彼らはこれをやり遂げるだけの経験と能力を持っており、その実績が高く評価されています。彼らはSQLエンジン全体、SOSと呼ばれるオペレーティングシステムを含むコア部分すべてに貢献しており、さらにハイパースケールにおけるコンピュート、ストレージ、そしてそれらの三層、すなわちストレージ・コンピュート・データベース統合のすべてに関わっています。ここで理解していただきたい重要な点は、私たちが単にシステムの表面的な、化粧品のような層に関わるだけの存在から、こうしたシステムの内部そのものを設計する存在へと変貌を遂げてきたということです。
Haritsa: 私がこの点を強調する理由は、以前は海外企業がインドに現地拠点を設立する際、表向きには対等なパートナーであると謳いながらも、実際にはそうではないケースが多かったからです。実態としては、海外から見て地味で目立たない、いわば「裏方」としての役割が多く、外部で発生した退屈な仕事がここに流されてくるという構図でした。しかし今日では、彼らは自分たち自身の実力で対等に渡り合っており、プロジェクトを主導する立場にあります。単に他者を手伝う、追随するだけの存在ではなくなっているのです。加えて、彼らはインド国内のMicrosoft Researchのグループとの連携にとどまらず、RedmondやGSLの人々とも協働しており、世界最高峰の人材と直接つながり、対等な存在として扱われていることが分かります。
6. インドにおけるデータベース技術の社会実装
6.1 Aadhaarによる生体認証ID基盤
Haritsa: それでは最後に、インドにおけるデータベース技術の社会実装についてお話ししたいと思います。2009年という比較的最近の時点においてさえ、インド人の銀行口座保有率は20%に満たない状況でした。そのため、事実上、現金ですべてが処理される並行経済のようなものが存在していました。これによって生産性、税収、そして社会経済的な発展の面で大きな損失が生じていました。実際、私たちの人口は非常に大きく、15億人という規模ですが、その3分の1にあたる人々が身分証明書を一切持っていないという状況でした。これはかなり深刻な数字です。そこで登場したのがAadhaarというシステムです。Aadhaarとはヒンディー語で「基盤」を意味しますが、このシステムは生体認証に基づいてすべての人にIDを付与するという取り組みでした。彼らはわずか5年で10億人以上をカバーすることに成功しました。生体認証と携帯電話を組み合わせることで、誰もこのIDに異議を唱えられないような仕組みを作り上げたのです。紙の書類は一切用いず、他者によって否認されえないような形で、すべてがデジタルに処理されました。この身分証明のレイヤーを整備し、「自分が自分であると証明できる」という土台を作ったことで、その上に積み重なる次の二つのレイヤーも、社会そのものを変革することになりました。
6.2 UPI決済とデジタル文書化
Haritsa: 身分証明の層の上に構築されたのが決済のレイヤーです。これによって、誰から誰へでも送金ができるようになりました。今では私たちのほとんどが財布を持ち歩きません。現金も持ち歩かず、携帯電話一つだけを持って、どこへ行ってもそれを提示するだけです。UPI、つまりUnified Payment Interfaceを通じて、QRコードをスキャンし、それだけで送金が完了します。例えば道端でココナッツウォーターを買うような場合でも、QRコードで支払いができ、現金をまったく持ち歩く必要がありません。これが非常にうまく機能している理由は、誰から誰にでも支払いができ、相互運用性があり、非常に高速かつ低コストだからです。しかもスマートフォンだけでなく、レガシーなシステムでも動作します。
Haritsa: そして三つ目のレイヤーとして、決済の枠を超えて文書のデジタル化も進みました。例えば銀行から融資を受けたいという場合、以前であれば担保となる不動産があることを証明するために、様々な政府職員の署名がなされた複数の書類を取得しに行かなければなりませんでした。しかし今では、これが完全にオンラインで完結します。認証を行うリポジトリが存在し、暗号化された機密性の高い形で、望む受取人へ確実に届けることができます。そして、これは常にオプトインの仕組みであり、本人が主体的に管理する立場にあります。
6.3 証券取引所における大規模処理
Haritsa: 時間の関係もありますので、これは飛ばして最後の一点だけお話しさせていただきます。公共への実装という話に加えて注目すべきなのが、私たちの資本市場、すなわち証券取引所と清算のシステムです。私たちは実は、一日あたりの株式市場取引量において世界最大の規模を誇っています。これはMumbaiにあるNational Stock Exchange(NSE)のことです。Sudarshanはここ6年間、この取引所と密接に関わっており、技術委員会の議長を務めていました。私自身は清算の側で仕事をしていました。取引所がフロントエンドとして取引のマッチングを行い、バックエンドである清算機関が、銀行やデポジトリとの実際の決済を担っています。特筆すべきは2024年6月5日という日付です。この日が重要な理由は、選挙結果が発表された直後というタイミングで、株式市場の取引が急増したことにあります。この日、200億件の注文と3億件の取引が発生し、毎秒およそ100万件のメッセージが処理されましたが、システムはダウンすることなく美しく機能し続けました。これは驚くべきことです。つまり、高いパフォーマンスを発揮するシステムであると同時に、堅牢性も備えているということです。
Haritsa: さらにこのシステムは公正であり、透明性が高く、非常に厳格に規制されています。多くの他国の規制当局とは異なり、インドでは小口投資家が被害を受けないよう細心の注意が払われています。「あなたは欲張ったのだから、損をしても自己責任だ」という考え方ではなく、政府が小口投資家をきちんと保護しようとする姿勢を取っているのです。とりわけ興味深いのは、取引が行われてから実際の決済までに何日かかるかという点です。インドではT+1決済、つまり取引が行われた当日にはすでに取引所での取引が成立し、その翌日に決済が完了するという方式を2022年から採用しています。アメリカでさえこれを導入したのは2024年になってからのことであり、ヨーロッパ、オーストラリア、日本は今なおT+2の状態にとどまっています。他の国々では取引が行われてから実際の資金移動までに数日かかるのが一般的ですが、驚くべきことに、インドでは約2年前からT+0、つまり即日決済を導入しています。中国も同様の仕組みを持っているとおっしゃる方がいるかもしれませんが、中国の場合は株式のみに限定されているのに対し、インドでは株式と現金の両方についてこれを実現しています。つまり、これは単に他国に追随しているというレベルの話ではなく、この分野において実際にリーダーシップを取っているということを意味しています。
Haritsa: さらに、災害復旧についても、MumbaiとChennaiの間で45分以内という体制が整っています。つまりプライマリのデータセンターはMumbaiにあり、リカバリ用のセンターはChennaiに置かれています。これは、仮に地震が発生したとしても、その影響はおそらく国土の一部にとどまり、両拠点が同時にダウンすることはないだろうという前提に基づいています。また私たちは、独自のソフトウェア相互運用モデルも備えています。仮にNational Stock Exchangeがダウンした場合、その競合相手とも言えるBombay Stock Exchangeに対して、リスク管理業務の肩代わりを依頼できるという仕組みです。これは規制当局によって義務付けられているものです。つまり、仮に自社のソフトウェアに欠陥があったとしても、その同じ欠陥のあるソフトウェアがプライマリセンターとリカバリサイトの両方に存在してしまうことになりかねないため、そうした場合には、いわば姉妹組織にあたる相手に業務を委ねて、自分たちが問題を修正している間、その組織に対応を任せることができるのです。これは今日、世界の他のどこにも存在しない、非常にユニークな仕組みです。
7. まとめと質疑応答
7.1 講演の総括
Haritsa: それでは締めくくりとさせていただきます。ここまで、インドにおけるデータベース研究の歴史的な歩みを、駆け足ではありますがご紹介できたのではないかと思います。大人数の研究者を教育できるような機関が数多く育ち、その基盤の上に産業界の能力が支えとして加わったことで、私たちのデジタルインフラの大部分は非常に優れたものになっています。市民インフラの方もいつか同じ水準に追いつくことを願っておりますが、少なくともデジタルの面では、私たちはかなり良い仕事をしていると思います。そして、これを国全体という規模で、完全に全国的な展開として実現してきたという点が重要です。インドにおいて何かを規模を持って展開するということは、それだけで直ちに10億人以上に関わる話になるということであり、これは非常に大きな意味を持ちます。
Haritsa: これまでお話ししてきたことをまとめますと、かつては非常に限られた研究の足跡しかなかった状況から、今日では世界的な影響力を持つ多層的なデータベースのエコシステムへと変貌を遂げたということです。これは単なる影響力にとどまらず、リーダーシップも伴うものです。以前は残念ながら私たちに欠けていたものですが、今日では「私たちは世界の他の国々よりも優れたことができる」という自信を持てるようになりました。そしてもちろん、草の根レベルでの社会的な広がりも本物です。街の物売りや露天商に至るまで、誰もがUPI決済インターフェースを使っています。そしてこの背後には、データベース技術があるのです。
Haritsa: ご清聴いただき、ありがとうございました。インドにおけるデータベース分野での変遷について、皆様に何かしらの感触をお伝えできたのであれば幸いです。そして、この会場にいらっしゃる多くの方々が、この変遷の一部を担ってこられたのではないかと思います。これほど多くの方々によってなされてきた貢献に、心より感謝申し上げます。そして改めて、SIGMOD Executive Councilが私たちを信頼し、Bengaluruで初めてSIGMODを開催する機会を与えてくださったことに、深く感謝いたします。ありがとうございました。
7.2 質疑応答
司会: それでは講演はここまでとなりますが、あと一つ、二つほど質問を受け付ける時間がございます。会場に設置されているマイクをご自由にお使いください。
質問者(会場参加者): 一つ質問させてください。私たちはこれほど長い間データベースのエコシステムに関わってきたわけですが、インドから大規模なデータベースシステムが実際に登場するのはいつになるとお考えでしょうか。私自身も少しばかり取り組んでいるのですが、この点についてのお考えをお聞かせいただければ幸いです。
Haritsa: そうですね、この点における主な課題は、データベースの内部構造そのものは構築できるとしても、それに関連する周辺コンポーネント、例えばスキーマアドバイザやインデックスアドバイザといったものを十分に整備できていないことにあると考えています。こうしたものを作るための技術や専門知識自体は存在していますが、これには潤沢な資金も必要になります。というのも、これは長期にわたる事業だからです。データベースシステムは一朝一夕には作れません。LLMに「バイブコーディング」で世界最高のデータベースシステムを一晩で作ってくれ、というわけにはいかないのです。膨大な量のコードを書き、テストしなければなりませんし、私たちには厳格に守らなければならない保証も数多くあります。ですから、これに取り組むのであれば、長期的な視野を持って臨む必要があります。
Haritsa: そしてある程度、インドの資金提供機関にも責任があると思っています。Sudarshanがここにいないので言ってしまいますが、私たちは非常に大きな間違いを犯しています。人を最初から信頼しないのです。常に肩越しに見張って「お前は何をしているんだ」と問い詰めてしまいます。政府の多くのプロジェクトでは、3か月ごとにプロジェクトレビューが行われ、「この3か月で何を達成したか」を問われます。しかし研究というものは、1年間何も成果が出ないこともあれば、その後に世界を一変させるような「ユリイカ」の瞬間が訪れることもあるとご存知の通りです。ですから、私が政府にいつも申し上げているのは、「このプロジェクトのために資金を出してほしい、そして放っておいてほしい」ということです。戻ってこないでください。5年待ってください。その期間が終わったら、プロジェクトを見に来てください。私たちが報告書を提出します。うまくいっていれば、また資金を続けてください。それ以外に何もする必要はありません。もしうまくいっていなければ、私たちの先祖を呪って、二度と資金を出さないでください、と。
Haritsa: しかし実際には、「昨日は私のために何をしてくれたのか」という短期的な発想が根強くあります。これはインドの官僚制度における姿勢の問題だと思っています。ビザ関係の方々であれば、この点を身近に痛感していらっしゃるでしょう。私たちは、長期的な影響に賭けるべきものとして研究を捉える姿勢を持てていません。数多くの間違いを犯してもよいのです。一つの大きな成功があれば、他の失敗など霞んでしまうほどの成果になるのですから。
Moan: すみません、追加で質問させてください。
司会: それではMoanさん、どうぞ。
Moan: 非常に見事なプレゼンテーションでした。皆さんご存知の通り、私はインドの動向を定期的に追ってきました。ですから、あなたやSudarshan、そして他の何人かの方々のように、まだ状況がそれほど明確ではなかった時期にインドへと大きな一歩を踏み出した方々を、私はずっと尊敬してきました。今日お話しいただいた内容を伺えて、とても嬉しく思います。ただ一つ、私がずっと気にかけている問いがあります。私たちは物事を本当にスケールさせられているのでしょうか。確かにこうした活動の拠点はいくつも存在しています。私が比較の対象として考えているのは、やはり中国です。博士号取得者の数、論文の数、製品の数、さらには研究トラックの論文を書くようなプロダクトの人材の数といった点において、インドがこうした拠点による優れた活動を、中国と比較しうるレベルにまでスケールさせる段階に至るのは、おおよそいつ頃だとお考えでしょうか。これは私がずっと気になっている点です。
Haritsa: はい、これは非常に妥当な問いであり、いわゆるNP困難な問題ですね。中国と比較すると、確かに私たちにはまったく比較にならない部分があります。まずそれは率直に認めなければなりません。私が思うに、これは部分的には、私たちが表向きは学術の世界を称賛していると言いながら、実際にはそうではないという事情によるものです。特に二流、三流の機関においては、多くの人にとって学界は本当に興味があるから入る場所ではなく、単なる「仕事」になってしまっています。トップ層は非常に優れていて、彼らは本当にそれを愛しているからこそ取り組んでいますが、そのすぐ後で急激に質が落ちてしまいます。二流、三流の機関を見てみると、そこではまともな内部構造の教育が行われていません。彼らはただ、ソフトウェア産業で職を得られるかどうかだけを気にしており、サービス業に職を得られれば、それでインドの文脈では十分に高い給与が得られ、一生安泰だと考えてしまいます。
Haritsa: ある意味では、LLMの登場は私たちにとってむしろ良いことなのかもしれないと思っています。これはソフトウェア産業の底辺の部分を一掃し、人々に本当に考えることを強いるようになるかもしれないからです。もはや簡単な解決策は通用しません。きちんとした理解を得るための努力を払う必要が出てきます。ですから、もし単にコースをざっと流し読みしただけの人であれば、当然生き残れません。LLMの方がはるかに優れた仕事を、しかもスペルミスもなくこなしてしまうのですから。ですから私はむしろ、LLMの登場によってソフトウェア産業の底辺の層が淘汰されることを歓迎しています。ただし、学術機関において本格的な研究をしたいのであれば、学生たちが単に「ソフトウェア産業で職を得た」で満足するのではなく、本当に良い仕事ができるだけの訓練を受けられるよう、後押しをしていく必要があります。そうしなければ、「その後の人生はただの余興に過ぎない」ということになってしまいます。
Moan: 私がもう一つ気にしている点は、先ほど挙げていただいた海外企業がインドに拠点を設けて本格的な仕事をしているという例についてです。それは確かにその通りですが、それでは地元企業はどうなのでしょうか。Alibaba、ByteDance、Huaweiなど、中国には長いリストがあります。私たちが海外企業の支店にとどまらず、そうした水準の独自技術開発を、地元企業が担うようになるのはいつ頃になるとお考えですか。
Haritsa: なるほど、Karstenからは手短に答えるようにと言われていますので、簡潔にお答えしますと、次にSIGMODがここで開催される頃には、実現しているのではないかと思います。
司会: それでは素晴らしいですね。改めてJayant Haritsa氏に大きな拍手をお送りいたしましょう。
Haritsa: ありがとうございました。
司会: それでは、続けてスケジュール上の次の議題であるビジネスミーティングに移ります。Angelaに登壇していただきましょう。