※本記事は、Alistair Moffat氏(メルボルン大学)によるThe ACM Web Conference 2026の基調講演「(Everything You Never Knew You Needed To Know About) Rank-Biased Measurement For Web Search」の内容を基に作成されています。動画の詳細情報は https://www.youtube.com/watch?v=94U3XxiGc5c でご覧いただけます。本記事では、講演内容を要約しております。なお、本記事の内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご覧いただくことをお勧めいたします。また、Alistair Moffat氏はメルボルン大学の教授として40年にわたり在籍し、索引圧縮に関する初期の研究から、近年は情報検索評価(ユーザーのクエリ形成や検索結果の閲覧行動、ランクバイアス測定など)に関する研究に取り組まれています。2021年にはSIGIR Academyに selected され、検索システムの実装と評価への貢献によりACM Fellowにも選出されています。関連情報については、ACM Web Conferenceの公式サイトもご参照ください。
1. オープニングと講演の枠組み
1.1 講演者紹介とタイトルへの言及
おはようございます。今日はWeb Conferenceの2日目ということで、素晴らしいプログラムが用意されていると伺っております。Zoomでの発表というのは、正直なところ少し気が引けるものです。会場の様子が見えず、どこで欠伸が出ているのか、どこで眠そうな目をしている人がいるのかが分からないからです。もしかすると、聴いてくださっている方が本当にいらっしゃるのかもしれませんし、あるいは私がメルボルンの部屋に一人で座っているだけの、単なる悪戯なのかもしれません。そうでないことを願っております。
タイトルについては、少々気取った印象を与えてしまったかもしれず、申し訳なく思っております。「Everything you never knew you needed to know about rank biased measurement and web search」というタイトルにいたしましたが、実はこのタイトルにはもう一つの案がありまして、それは講演の最後にお見せしたいと思います。存在量化と全称量化の混ぜ合わせ方が少し異なるもので、論理学に詳しい方々には、どちらがより正確で、私が個人的にお伝えする内容の真実に近いのかを議論していただければと思います。
さて、今日私がお話しするのは、一つの物語です。良い物語というのは、必ず「昔々」から始まるものです。そこから複数の章にわたって展開があり、最後には驚きの結末が待っている、という構成になっています。もっとも、その驚きは特に驚くべきものというわけではないのですが、驚きであるという体裁だけは取らせていただきたいと思います。ただ、新しい内容であることは確かです。それでは、物語を始めましょう。
1.2 昔話:集合対集合の評価
物語は「昔々」から始まります。1970年代から80年代にかけて、私たちが情報検索の実験を行っていた頃、検索システムはブーリアン検索でした。当時のやり方は、あるシステムを文書集合に対して実行し、その結果として回答集合を得る、というものでした。そして、その回答集合の質を、何らかの参照システムと比較して測定する必要がありました。
ここで、私はこの講演全体を通して一貫して使う二つの言葉を導入したいと思います。一つは「参照(Reference)」であり、これは実験における目標、いわば正解として私が捉えているものです。もう一つは「システム」であり、これが「観測(Observation)」を生成します。この講演では常に観測と参照という対比で話を進めます。観測は常にBと表記し、参照は常にRと表記します。
「昔々」の世界では、観測Bはある領域から抽出された順序に依存しない対象の集合でした。これはブーリアンクエリを行っていたからです。そして参照、つまり私たちが検証対象としていたもの、目標として捉えていたものも、同様に集合でした。したがって、私たちが持っていた図は、観測Bが集合であり、参照Rも集合であり、その観測をもたらしたシステムの質を評価しようとする、というものでした。参照はシステム間で共通であり、観測は個々のシステムに依存します。おそらく皆さんもこの図を、教科書や情報検索の講義で目にしたことがあるかと思いますし、中にはご自身で講義でこの図を使われた方、あるいは今週すでにこの図を使われた方もいらっしゃるかもしれません。
この状況において、次に登場するのは精度(Precision)です。精度についてはあまり長く説明する必要はないかと思います。精度とは、本質的には観測のうち、興味の対象となる部分の割合のことです。これは標準的な書き方ですが、私はこれをBのRに対する条件、つまりB given Rという表記で書いています。観測を得た上で、それが参照に対してどのようなスコアになるかを考えたいためにこの表記を用いています。さらに、精度を表現するために、集合の指示関数に似た表記も使います。これは、Bのi番目の要素がRのメンバーであれば1、そうでなければ0という値を取るもので、この比率を計算していくことになります。これが精度であり、皆さんもすでにご存知の内容かと思いますので、これ以上は立ち止まりません。
同様に、再現率(Recall)についても触れておきます。再現率は精度の反転形であり、私たちが求めているもののうち、実際に観測集合に含まれたものの割合です。そして、ここには美しい対称性、いわば双対性が存在します。すなわち、BのRに対する精度は、RのBに対する再現率と等しい、という関係です。これは皆さんもすでにご存知の内容であり、私が何か新しいことをお伝えしているわけではないと思います。私はこれを「集合対集合(set given set)」の測定と呼んでいます。つまり、観測と参照の両方が集合であり、観測をその有用性の観点から、同じく集合である参照に対して定量化する、という測定の枠組みです。
この点をよく念頭に置いていただきたいと思います。なぜなら、これから第1章、あるいは数え方によっては第2章に移り、1990年代に情報検索の世界で何が起こったのかについてお話しするからです。
2. 第1章:ランキング対集合の評価(1990年代〜DCG/NDCGの時代)
2.1 深さ別精度と平均精度の限界
1990年代に入って何が起こったかと申しますと、類似度スコアリングという考え方が登場してきたのです。TF(term frequency)に基づく仕組みが生まれ、そしてそれを実際に使うための計算能力も整ってきました。ここで一つ申し添えておきたいのは、こうした手法自体が発明されていなかったわけではなく、単純にそれらを実用的な形で使うだけの計算能力が私たちになかった、という点です。これは意外と見落とされがちな事実です。
この世界において、観測は順序付きランキングへと変化しました。皆さんもよくご存知の、いわゆる「10個の青いリンク」あるいは「100個の青いリンク」といった検索結果の形式です。ここでは、ランキングの1番目の要素が10番目や100番目の要素よりも重要である、という順序関係の感覚が明確に存在します。しかし一方で、関連性の判定そのものは依然として順序のない集合として扱われていました。つまり、観測がランキングであり、参照が関連文書の集合である、という「ランキング対集合(ranking given set)」という測定環境に私たちは置かれることになったのです。
さて、では何をしたかと申しますと、1990年代初頭には「とりあえず深さ5での精度を測ろう」というやり方が取られました。それに加えて深さ10での精度も測り、さらに深さ20、深さ100でも測る、といった具合です。そうなると、二つの選択肢が生まれます。一つは、精度5の列、精度10の列といった巨大な表を作るというやり方です。もう一つは、人間が好んでやる方法、つまり本来平均すべきではないものを平均してしまう、というやり方です。たとえば、異なる深さにわたって平均を取ることで、単一の数値を得ることができます。あるいは、再現率のレベルにわたって平均を取ることもできます。再現率レベルの究極的な指標は、関連文書がどこに位置しているかということですので、関連文書の位置にわたって平均を取ると、平均精度(Average Precision)が得られることになります。これは皆さんもすでにご存知のことと思いますので、平均精度についてはこれ以上申し上げることはありません。
2.2 DCGの提案とその問題点
物語の次の部分は、SIGIR 2000、アテネでの出来事です。Kalervo JärvelinとJaana Kekäläinenが、この論文を発表しました。彼らは高度に関連性の高い文書の検索について論じていたのですが、この論文の核心となる部分は、割引累積利得(Discounted Cumulative Gain、DCG)です。これは私たちがよく知るDCGのことです。
DCGの仕組みはこうです。観測はランキングであり、参照は集合です。そして、ランキングの各要素が参照集合に含まれているかどうかを計算し、そこに割引を適用します。この割引というのが、log底2の(1+i)分の1という形の関数です。ご存知のようにlogは非常にゆっくりと増加する関数ですので、log底2の(1+i)分の1は非常にゆっくりと減少する関数ということになります。彼らは、この関数を使えば上位に重点を置くことができ、これまで行っていた精度レベルにわたる平均化という作業をしなくて済む、と考えたわけです。これが2000年代の物語です。
ただ、残念なことに、この関数には一つ問題があります。この和は有界ではなく、どんどん増加し続けてしまうのです。logがゆっくり増加し、1/logがゆっくり減少するとはいえ、1/logの和は無限に発散してしまいます。したがって、比較可能な数値を得るためには、何らかの深さパラメータを設定する必要があります。そうなると、話が再び複雑になってきます。DCGをある深さで計算しなければならず、しかもランキングの範囲を超えてしまわないように注意しなければならない、ということになるからです。少し厄介な状況になってきます。
さらに、なぜ1/logなのか、という点も気になるところです。この関数の根拠は何なのでしょうか。論文中には、対数の底を選ぶことで、より鋭い割引、あるいはより滑らかな割引を計算し、様々なユーザー行動をモデル化できる、という記述があります。しかし、これは実際には正しくありません。私はまだKalervo本人にこの点を議論したことはありませんが、いつか勇気を出して挑んでみたいと思っております。というのも、対数というのは互いに乗法的に関係しているため、どの底を選んでも、異なる値の間の比率はおおよそ同じになってしまうのです。つまり、これは実際には固定された仕組みであり、ユーザーに応じて変化するものではないということです。
この研究はさらに発展し、2002年にTOISに論文が発表されました。「Cumulative gain-based evaluation」というタイトルのこの論文が発表された頃には、実は「高度に関連性の高い文書を検索する」という当初のテーマはやや脇道であり、興味深いのはその測定の仕組み自体だったということが認識されるようになっていました。
2.3 NDCG・SDCGによる正規化とDCGの弱点
そこで登場するのが、正規化されたDCGであるNDCGです。ここでは、値をある範囲に収めるためのスケーリング処理が用いられます。NDCGにおけるスケーリングの方法は、理想的なDCG(ideal DCG)によるものです。つまり、最も関連性の高い文書をすべて先頭に並べ、関連性の等級に従って順に並べていくことで、そのクエリに対して得られる最良のランキングを作り、それを基準にする、という考え方です。
しかし、この方法には問題があります。すべての関連文書(Qrels)を事前に知っている必要があり、これはクエリごとに固有の値になってしまうということです。もし新たに判定を行い、追加の関連文書が見つかった場合、スコアはすべて変化してしまい、上がることもあれば下がることもあります。DCGを正規化する別の方法として、単純に得られる最大の分母を考え、それを使ってnから1の範囲に収める、という方法があります。これは単に(1+i)分の1の対数の和であり、私はこれを「スケール済み割引累積利得(Scaled Discounted Cumulative Gain、SDCG)」と呼んでいます。これは大域的に正規化されたDCGと考えることもできます。
そして、ここで重要なグラフをお見せしたいと思います。これから何枚か同様のグラフをお見せすることになりますので、まず最初の一枚を丁寧に説明したいと思います。ここでは、10の3乗、10の5乗、10の7乗という三つの異なるパラメータの組み合わせを示しています。それぞれのパラメータについて、二本の曲線を示しています。一本は減少していく曲線で、これはランクに付与される重みを表しています。横軸は深さ(ランキングにおける位置)であり、縦軸はその深さに付与される重みです。対数スケールで見ると、たとえばパラメータdが1000の場合、DCGあるいはSDCGの深さ1000における重みは、上部でおよそ10の-2乗を少し下回り、下部の深さ1000ではおよそ10の-3乗を少し下回るという値になります。つまり、重みは実際にはかなりゆっくりと減少していく、ということが分かります。
もう一方の曲線は累積和を示すもので、最終的には1に到達します。10の0乗が1であることは自明ですから、これが測定について全てを把握した状態を示す線ということになります。DCGの問題は、この累積和を示す線、つまり上昇していく線が、非常にゆっくりと成長していくという点です。私たちがスコアに確信を持てるようになるまでには、非常に多くの関連性判定が必要になるのです。これは非常に重要な点であり、この講演の中で何度も立ち返ることになります。もし1から累積和の線までの間を、スコアの不確実性として描くとすれば、たとえば最初の10文書しか判定されていない場合、スコアの範囲のうち9割以上が未知の情報によって占められてしまい、実質的には何も測定できていないことになります。しかも、より深い深さまで見ようとすればするほど、この状況はさらに悪化します。もちろん、実際にDCGを深さ10,000や1,000万で計算する人はいないでしょう。しかし、これらのグラフをお見せしたのは、後ほど別のグラフと比較していただきたいためです。
3. 第2章:Rank-Biased Precision(RBP)の開発
3.1 RBP誕生のエピソードと幾何分布
物語の次の部分は、この地図から始まります。SIGIR 2005は、ブラジルのサルバドールで開催されました。もしかすると、この会場にも当時参加された方がいらっしゃるかもしれません。これは、メルボルンからオークランド、そしてサンティアゴ、サンパウロ、そしてサルバドールへと向かう、私たちが実際に取った飛行ルートです。何時間かかったかは覚えていませんが、24時間か28時間ほどのフライトだったと思います。私はJustin Zobelと同じ飛行機に乗り合わせ、隣同士の席に座りました。これはある意味失敗だったかもしれませんが、私たちは隣り合って座り、時にはお互いを苛立たせながら過ごし、時には評価について語り合いながら過ごしました。
この物語の次の部分が、Rank-Biased Precision(RBP)と呼ばれるものです。これが私の「rank biased」という言葉を使った最初の研究であり、TOISに2008年に発表されました。これは、そのフライトの中で開発が始まり、帰りのフライトの中でプログラミングと論文の執筆に取り組み始めたものです。しかし、実際に出版されるまでには3年かかりました。その時間の大半は私たちの責任によるものでした。修正作業に手間取り、査読者との議論を避けたいと思っていたためです。査読者との議論というのは、皆さんもご存知のように厄介なものですから。
Rank-Biased Precisionは、同様の重み付けの仕組みを用いていますが、決定的な違いは、正規化係数を持つ幾何分布を使用している点です。重み付けの仕組み自体は先ほどと同じように、ランキング中の要素が集合に含まれているかどうかを見るものですが、DCGと比較すると、二つの大きな違いがあります。一つは収束する級数であるという点です。これが重要である理由については、この後すぐに例をお示しします。もう一つは、ユーザー行動モデルを持っているという点です。
このユーザー行動モデルがなぜ意味を持つのか、元の論文からのスクリーンショットをお見せしながらご説明したいと思います。ただ、元の論文では私たちはうっかりパラメータとしてPという文字を使ってしまいました。しかし、Pという文字は他の用途で使われることが非常に多いことに後で気づき、現在ではφ(ファイ)という文字を使うようにしています。ですので、元の論文の図のP の上にφを重ねて表示しています。
この仕組みの考え方は、まず一人のユーザーがランキングを消費する場面を想像することから始まります。ユーザーは検索サービスからランキングを受け取り、まずランキングの1番目の項目を見ます。そこで、何らかの利得を得るか、得ないかのいずれかが起こります。つまり、その項目が関連しているか、していないかということです。利得を得た場合、そのユーザーはその利益を受け取り、その上で次の決断をします。すなわち、確率φでランキングの次の項目に進むか、確率1-φでランキングから離脱するか、ということです。もし離脱すれば、そこで検索は終了し、そのユーザーは「検索コスト」を支払うことになります。この検索コストとは何かと申しますと、それはユーザーが費やした時間のことです。リストを見ながら「もうたどり着いたか、もうたどり着いたか」「十分な満足や効用は得られたか」と考えながら過ごした時間ということです。この単純なユーザー行動モデルでは、常に確率φで先に進み続けるということになります。つまり、ループを回り続け、常に確率1-φで離脱するという構造です。
これが一人のユーザーの行動モデルです。では、これが100万人、あるいは10億人、あるいは無限のユーザーがいた場合にはどうなるかを考えると、当然ながら確率分布が得られることになります。幾何分布から、このような行動を取るユーザーの無限集団にわたる期待値を計算することができるのです。これが、評価という考え方における大きな飛躍だったと私は考えています。
3.2 ユーザー行動モデルと計算例
ここで一つ例をお示ししたいと思います。少々申し訳ないのですが、RBPについて私の経験上、広く理解されている一方で広く誤解されてもいる点があり、それについて丁寧に説明する価値があると思っております。
具体的なランキングの例として、文書番号7、文書番号4、文書番号11、といった順に並んだランキングを想定します。そして、参照として、私たちの基準、つまりQrels、私たちが望む正解の集合を想定します。観測はシステムから得られたランキングであり、参照は私たちの基準です。ここでRBPスコアを計算したいわけですが、そのためにはパラメータを選ぶ必要があります。この例では、パラメータを0.8として計算を進めます。つまり、各段階でユーザーの80%が次の文書を見に進み、20%が「もう十分見た」と判断して離脱する、ということを意味しています。ランキングを下っていくにつれて、ユーザーを失っていくことになります。
計算を始める前は、RBPスコアの範囲は0から1まで、つまり何の情報もない状態です。ランキングの最初の文書は、幾何分布の性質上、1-φという重みを持ちます。つまり、最上位には0.2の重みがあります。そこで、文書番号7を見て、それが参照に含まれているかを確認します。含まれています。これでRBPスコアの下限が0.2だけ増加するという証拠が得られたことになります。0.2という値になるのは、現在の重みが0.2であり、それは文書番号1であるため1-φだからです。
次に進むと、重みは減少します。母集団の16%が見ているという計算になります。これは実際には80%の母集団なのですが、合計が1になるように正規化されているため16%となっています。そして文書番号4を確認すると、これも含まれています。したがって下限のスコアは0.36まで上昇します。次に文書番号11を確認すると、これは含まれていません。残念な結果です。これにより、上限のスコアが0.128だけ減少します。まだ範囲が残っているのは、これまでに見たのはランキングのうち3つの文書だけであり、残り7つの既知の文書があるためです。そして、矢印の末尾には「…」がついています。つまり、ランキングはまだ続いており、これは全コレクションに対する順序付けであるということを、極限まで押し詰めれば示しているわけです。
このように、少し速度を上げて計算を進めていきますと、見つからなかったもの、見つかったもの、見つからなかったもの、と繰り返され、既知のランキングの末端に到達したところで、RBPスコアが0.494から0.602の範囲にあるということが分かります。このスコアには不確実性が残っており、その不確実性は幾何分布に由来するものです。その大きさ自体は既知であり、φのD乗という値になるというのが幾何分布の性質です。範囲のどこにスコアが位置しているかは分からないのですが、もし文書がさらに10件あれば、この範囲を狭めることができ、より小さな部分区間に絞り込むことができます。こうした範囲は常に収束していきますが、ランキング中のすべての文書を考慮するまでは、常にある程度の不確実性が残ることになります。
3.3 残差とパラメータ選択
これがRank-Biased Precisionです。深さDまでのすべての文書が判定されている場合、深さDにおけるスコア範囲は、私たちが「残差(residual)」と呼ぶρによって与えられます。幾何分布の場合、残差はφのD乗として簡単に計算できます。そして、末尾に含まれる未見の文書によって、最終的なRBPスコアはその可能な範囲のどこかに位置することになります。
φというのは、ユーザーの集団全体を表す記述であり、無限のユーザー集団を表すものです。もし「せっかちなユーザー」を想定するとしましょう。たとえば、典型的なウェブユーザーであれば、最初の文書は全員が見ますが、半分は2番目の文書を見て、4分の1は3番目の文書を見て、8分の1は4番目の文書を見て、というように減っていく、非常にせっかちなユーザー集団を想定します。この場合の計算を行うと、RBPスコアの範囲は実際にかなり高い値、0.79になり、しかも範囲が非常に狭く制約されます。小さなφであれば小さなスコア範囲が得られますが、それはユーザーがせっかちであると仮定する場合に限られます。つまり、ユーザーモデリングというのはとても重要な意味を持つのです。測定を行う前に、どのようなユーザーを想定しているのかについて、まず何かを言わなければならないということです。
反対に、「慎重なユーザー」、つまり平均して上位20文書ほどを見るようなユーザーを想定すると、少々厄介な事態が起こります。RBPから得られるスコア範囲が非常に広くなり、ほとんど使い物にならないほどになってしまうのです。たとえば「0.175と測定しましたが、実際には0.774くらいまで広がっているかもしれません」というようなことは、実験としては考えられないことです。しかし残念なことに、私たちは実際にこうしたことをしてしまっているのです。ただ、それを、スコア範囲がどの程度になるかを検討せずに隠してしまっているだけなのです。
このスライドから見えてくるもう一つの重要な点は、異なるユーザーペルソナは異なる経験をするということです。Rank-Biased Precisionで測定するときには、母集団全体にわたって彼らが経験するものを測定しているのであり、異なるパラメータを与えれば、彼らは当然異なる経験をすることになります。したがって、このパラメータは、まさにユーザーの種類の違いを反映するものとなっています。
ここで、実験的な観点から少し余談を挟みたいと思います。私たちがこの研究から導き出せたのは、正確な実験を行いたいのであれば、低い残差が必要である、ということです。そして、低い残差を得るためには、小さなφを持つか、あるいは深さDまで判定を行き渡らせる大きなDを持つか、のいずれかが必要になります。ここで、三者間のトレードオフが生じます。私たちが望むのは、ユーザー行動を反映した測定です。なぜなら、あるシステムを測定しようとするのであれば、その測定が、実際にそのシステムのユーザーが経験するものを反映していてほしいからです。また、私たちは正確な測定を望みます。つまり、「実際にはどこにあるのか分からない、まったく見当がつかない」というような、非常に広い残差を持つものは避けたいのです。上限がどこにあるか、下限がどこにあるかは伝えられても、その間のどこに実際の測定値があるのかが分からない、というのは避けたいということです。そして、実験のクエリ判定コストがあまり高くならないようにも望みます。この三者の間には複雑な緊張関係があり、見過ごされがちなものです。しかし、RBPを使い、残差を計算して報告することで、少なくとも自分の実験が正確な測定を与えているのか、あるいは闇の中で当てずっぽうをしているだけなのかについて、目を開いておくことができます。
では、パラメータをどのように選べばよいのでしょうか。もちろん、多くのユーザーを研究して、彼らが何をしているのかを調べる、という方法があります。私たちはクリックログを使ってそれを行いましたし、アイトラッキングを使っても行いました。こうしたことから、Rank-Biased Precisionの評価に適合するパラメータを実験的に定めることができます。あるいは、もっと考え方から出発することもできます。私がここでお示ししているのは、実験から何を得たいか、何をしたいかという観点からの考え方です。ランキングの最上位の文書に対して望む重みが分かっているのであれば、φを1マイナスその重みとして選べばよいのです。これでφを選ぶ一つの方法が得られます。ただ、実験によっては、残差の深さに上限を設けたい場合もあります。つまり、ある値より下では残差が小さいことを知っておきたい、という場合であり、これによって実験の忠実度をある程度制御できるようになります。逆に、深さDにおける残差が少なくともその値であることを望む場合もあります。これは、ランキングの末尾にある文書もまた影響力を持っていることを確認したいからです。このように、望ましい残差深さの組み合わせによってパラメータを選ぶこともできます。しかし、少なくとも幾何分布を使う限りは、両方を同時に目標とすることはできません。この点については、講演の後半で再び触れたいと思います。
では、実際のカーブはどのような形になるのでしょうか。何度も申し上げてきたように、こうしたグラフをまたお見せしたいと思います。これがRBPの減衰グラフです。幾何分布は速く減衰します。累積和が有界であるためには、速く減衰する必要があるのです。たとえば、最初の文書の重みを0.1にしたいのであれば、パラメータを0.9に選ぶ必要があります。重みはかなり速く減衰していき、すぐに非常に小さな重みになってしまい、残差も小さくなります。したがって、正確な実験になるわけです。このことは累積和を見ても分かります。0.9の場合の累積和を見ると、深さ20から30あたりまでいくと、総残差が非常に小さくなっていることが分かります。残差というのは、この累積和の線と、グラフの上端との間の距離のことを覚えておいてください。したがって、小さな残差、正確な実験が得られるわけです。
一方、より慎重なユーザー、つまり平均して1,000文書ほどを検査するユーザーを想定すると、その場合には1,000文書にわたってかなり強い重みが付くことになります。そのあたりまでは重みがしっかりと保たれ、それを過ぎたところで減衰していきます。このグラフには様々な情報が含まれていますが、先ほどお見せしたDCGのグラフと比較していただければと思います。
これで、第1部、つまり観測がランキングであり、参照が集合であるという状況の測定についての説明は終わりです。次に進みまして、ランキング対ランキングの測定についてお話ししたいと思います。これが、この物語における次の部分になります。
4. 第3章:ランキング対ランキングの評価とRank-Biased Overlap(RBO)
4.1 相関係数による評価と応用例
ここで、次のような図をお示ししたいと思います。観測と参照の両方がランキングである場合には、これまでとは異なる種類の測定が必要になってきます。典型的には、こうした場面では相関係数を用いることになります。私たちはPythonのツールキットを取り出して、Kendallのτ(タウ)のようなものを使うわけです。私たちが求めているのは、参照ランキングRとより多く一致する観測ランキングBに、より高いスコアを与えるということです。そして、そこで問題になるのが、「一致する」とは何を意味するのか、「より多く」とは何を意味するのか、ということです。もちろん、これによって測定が何を示すのかが決まってくるわけです。
この種の測定の応用例について、いくつかご紹介したいと思います。まず最初に出てきたのは、枝刈りヒューリスティック(pruning heuristics)について議論していたときのことでした。私たちには高コストな計算があり、それに対してより安価な計算のバージョンがあります。たとえば、類似度スコアを計算するにあたって、すべてのポスティングを見るのではなく、ポスティングを迂回しようとする場合です。そこで、私たちが本来得るべき正しいスコアがあり、それに対して、計算時間の4分の3を節約することで得られるスコアがあります。では、どれだけの損失が生じるのでしょうか。ここでは、完全な計算によって得られる「参照」ランキング、つまり完璧なランキングに到達したいという目標があり、それに対して、私たちのヒューリスティックなランキングが、計算時間を節約しながらどれだけこの目標に近づけるか、ということを見ようとしているわけです。これが最初の応用例です。
もう一つの応用例としては、複数のシステムを比較して、どのシステムが互いに似ているのか、誰が誰から借用しているのか、誰が誰に外注しているのか、誰が誰にクエリを転送して回答を得ているのか、といったことを知りたい場合があります。たとえば、1,000件のクエリのセットについて、Baiduのランキングと、Bingのランキングと、Googleのランキングを比較すれば、どのシステムがどのシステムに近いのかが分かります。
そして、昨晩Munさんの講演を聞いていたときにふと思いついたものが、もう一つの応用例です。生成モデルの推論から得られる、次に来うるトークンの候補リストと、それに付随する確率値というものがあります。こうしたリストがあれば、それらをランクバイアス、つまりランキング対ランキングの測定によって比較することができます。ですので、情報検索やウェブ検索の世界には、少なくとも三つの明確な応用例があるということになります。そして、これらすべてにおいて、私たちが求めているのはトップ重み付け(top-weightedness)です。実は、相関係数を紹介した際に、この点について触れていませんでした。
4.2 RBOの提案と4象限の整理
Kendallのτはトップ重み付けではありません。もしランキングの上位に歪みがあり、また下位にも別の歪みがあるとすれば、両方に対して同じスコア、同じだけ低下したスコアが与えられてしまいます。しかし、私たちが求めているのは、ランキングの上位における不一致が、下位における不一致よりも大きな重みを持つように評価されることです。というのも、これはランキングであり、上位の方が下位よりも重要であるという感覚があるからです。なぜかと言えば、これらのランキングは無限の深さまで続いていくものだからです。したがって、下位には無限に近づくにつれてゼロに近い関心しか存在しないはずなのです。実際、これらはコレクションの深さまで、つまり実質的には無限の深さまで続いていくものなのです。では、どうすればよいのでしょうか。ここで、物語の次の部分が登場します。それがRank-Biased Overlap(ランクバイアス・オーバーラップ、RBO)です。
Rank-Biased Overlapは、二つの系列の間で、ユーザーが観察する期待されるオーバーラップを計算するものです。少し記憶を辿っていただきたいのですが、これは10分か15分ほど前にお見せしたスライドの、別の編集版になります。ここでも、最初のペアの項目を見て、何が見えるかを考えます。つまり、ここにもユーザーモデルがあるわけです。ユーザーは最初の二つの項目を見て、確率φで先に進み、確率φで先に進み、確率φで先に進み、そして最終的に離脱する、という行動をとります。その過程で、ユーザーが見た二つのランキング部分の間にどのようなオーバーラップが見えるのか、そして、同様の行動をとるユーザーの集団全体にわたって、この量の期待値がどうなるのか、という問いを立てます。すると、これまでと似た形の式が得られます。実際には、幾何分布がまた組み込まれた形になっており、あるユーザーが深さiまでで観察するオーバーラップを、すべての深さにわたる期待値として合計したものです。これがRank-Biased Overlapの定義であり、TOISに2010年に発表されました。この研究は、ウェブ検索や情報検索のコミュニティだけでなく、同一ではない可能性のあるランキングを比較したいと考える、あらゆる分野のコミュニティにおいて、かなり広く採用されています。
さらに、私たちはここでも残差という考え方を持っています。これは幾何分布であるためで、末尾の和を数学的に有界に定めることができます。したがって、私たちがランキングを十分な深さまで見たかどうか、あるいはさらに見続ける必要があるのか、さらにランキングを生成する必要があるのか、といった感覚を持つことができます。
RBOがKendallのτのような手法と大きく異なる点は、単にトップ重み付けであるというだけではありません。もう一つの重要な違いは、ランキングが順列(permutation)である必要がないという点です。二つのランキングが互いに素であっても構いません。その場合はスコアがゼロになります。逆に、二つのランキングが深さ無限大まで完全に同一であれば、スコアは1.00000000になります。そして、もし二つのランキングの接頭部分が同一である場合には、「ここまでは同一である」ということが言えるので、スコアは0.99になりますが、それ以降については、まだ見せていただいていないので分かりません、ということになり、残差が生じます。つまり、Rank-Biased Precisionと同じような良い性質を、ここでも持っているということです。
さて、ここまでの物語を整理してみましょう。最初に集合対集合の測定からお話をしました。次にランキング対集合の測定について話をしました。そして今、ランキング対ランキングの測定について簡単にお話ししました。この図を見て驚くべきことは、Rank-Biased Overlapという発想が頭に浮かんでから、つい数年前に起こったことまで、15年もの時間がかかっているということです。
これが、これまでの物語です。このように図で示すと、皆さんはきっと「あの隅には何が入るのだろう」と思われるのではないでしょうか。もし15年前にそのことを疑問に思っていたら、私たちより先にそこに到達できていたかもしれません。というのも、これから私たちがすることは、まさにその隅を見ていくことだからです。ここから、集合対ランキング(set given ranking)の測定について話をしていきたいと思います。講演の第3部にあたる部分で、この隅を埋めていくことにしましょう。
5. 第4章:集合対ランキングの評価とRank-Biased Recall
5.1 第1段階評価とRecallの問題点
さて、こちらが問題の図になります。観測Bが集合であり、参照Rがランキングである場合、私たちは何をすべきでしょうか。おそらく皆さんは、私が何か無理な話を持ち出しているのではないかと思われているかもしれません。もし長年誰もこの組み合わせを求めていなかったのであれば、なぜ今それが面白いと言えるのか、と疑問に思われることでしょう。ですので、これが本当に実在する状況なのかどうかについて、少し話を脱線させて説明したいと思います。実は、これは実在するだけでなく、非常に実在する状況なのです。
多段階検索システムにおいて、ユーザーからクエリが入力されます。そして、それが高速な第1フェーズに渡され、そこから集合が得られます。つまり、第1フェーズは文書の集合を返すのです。次に、第2フェーズがその集合を再ランキングし、それをユーザーに返すランキングとして提示します。ですので、もし第1フェーズを評価しようとするならば、私たちが評価しているのは何かと言えば、それはこの集合です。これが観測であり、私たちはこれを何と比較して評価するのかと言えば、私たちが本当に得たいものと比較するのです。それはランキングです。
つまり、第1フェーズの質を測定するためには、それを、第2フェーズをコレクション全体に適用して生成された参照ランキングと比較するべきである、ということになります。もちろん、これは実際には非常にコストの高い処理です。本番のシステムでこれを行いたいわけではありません。しかし、第1フェーズの有用性を定量化するためであれば、テストコレクションを構築することができます。具体的には、高コストな第2フェーズを、1,000件のクエリそれぞれについてコレクション全体の全文書に適用し、コレクション全体にわたる完全なランキングを1,000件分作成します。そして、私たちが求めているのは、それらのランキングの上位を返してくれるような第1フェーズである、ということになります。ですので、これは非常に本格的で興味深い測定の応用例だと言えます。ここで測定対象となる観測は集合です。
そして皆さんは、「それならRecallを使えばいいのではないか」とおっしゃるかもしれません。実際、みなさんはこれをよく測定されていることと思います。というのも、この研究はごく最近、わずか数年前に行われたばかりのものだからです。しかし、ここでRecallを使いたくない理由を、いくつかの例でお示ししたいと思います。
まず、この左側の集合の質を測定するために、深さ5におけるRecallを使う例です。Bが観測であり、目標ランキング全体に対する観測です。第1フェーズから得られた集合には5つの項目があり、Rの方には10個以上の項目があります。「…」で下に続いていくことを示していますが、この特定の組み合わせでは、Recallを測定すると、集合には3つの項目が含まれています。そして深さ5まで見ると、Rから5つの項目の集合が得られます。したがって、Recallは0.6になります。これが測定値です。これについては、なるほど0.6になる理由は分かる、と思われるかもしれません。観測から持ち越された5つのうち3つが、参照の中に存在しているからです。
ここで一旦話を進めて、また戻ってくる形にしたいと思います。エトセトラの話として、「ここではより鋭く」「ここではより滑らかに」といった話をしたときと同じ構造です。話を先に進めて、もう一つの可能性をお見せしたいと思います。同じランキングに対して、今度は異なる集合を用意します。ここでは、集合の中に文書11、文書7、文書4という3つの項目があります。これらは、たまたま目標ランキングの最初の項目でもあります。そして今回は、欠落している2つの文書がどこに位置しているかも分かっているものとします。それらは6番目と7番目の位置にある、と仮定します。しかし、これでもRecallのスコアは0.6になります。これも、Recallのスコアとしては0.6です。
さて、ここで問いを立てたいと思います。この集合は、先ほどの集合と同じだと言えるでしょうか。両者は3つの項目で重なっています。しかし、先ほどの例では上位2つの文書を見落としており、残りの2つがどこから来たのかも分かりません。それに対して、今回の例では文書4と文書5を見落としているのですが、残りの2つがどこから来たのかは分かっており、それは6番目と7番目の位置からだ、ということが分かっています。
私はここで、あくまでレトリックとして主張させていただきたいのですが、皆さんには私の言うことを信じていただくか、あるいは受け入れていただくか、あるいは考えてみて「はい、確かに」と思っていただく必要があります。もちろん、単に私がそう言ったからではなく、私が話していることが真実だからです。R1(1番目の参照文書)を観測から見落とすことは、R2やRkを見落とすことよりも悪いことです。そして、RK+1を観測に含めることは、RK+2やRK+99を含めることよりも良いことです。集合のどの要素が含まれているか、どの要素が省かれているか、そしてどの要素が新たに含まれているかは、確かに重要な問題であり、実際に違いをもたらすのです。ですので、ここで、まさに私たちがランクバイアスの研究を終えたと思っていたときから、およそ15年後に登場したのが、Rank-Biased Recallです。
5.2 Rank-Biased Recallの提案と検証実験
Rank-Biased Recallは、まさにこのような式で表されます。式の詳細をここで細かくご説明することはしませんが、注目していただきたいのは、これがRank-Biased Precisionにとっての宝石のような存在である、ということです。両者はパートナーのような関係にあります。実際、これはRecallとPrecisionが持っている関係と同じ関係を、Rank-Biased Precisionに対して持っているため、これをRank-Biased Recallと呼ぶことは適切なのです。
そして、皆さんはきっと「では、それは実際に何をしてくれるのか」とおっしゃることでしょう。それでは、先ほどと同じ二つの例を、簡単に見ていきたいと思います。上位5つの中で最も興味の薄い3つの文書が観測集合に含まれている場合、比較的低いスコアが得られます。そして、残り2つの文書がランキングのどこに位置しているのかが分からないため、残差の範囲があります。つまり、Rank-Biased Recallのスコアには範囲があるということです。これは、この論文が発表される以前、すべての人がこうした環境で測定していたRecallの、最悪の可能性に対応するものです。0.6というRecallに対応する、最悪のケースということです。
そしてもう一方の状況では、今度はRank-Biased Recallが0.606という値になります。これはずっと高いスコアであり、しかも正確なスコアです。なぜなら、私たちはすべてがどこに位置しているかを正確に知っているからです。したがって、不確実性の余地がありません。観測集合Bに含まれるすべての要素の位置が分かっているため、スコアの範囲は狭くなります。つまり、正確な測定が得られ、実際に起こっていることをより良く反映しているということです。
では、これは実務上、何か違いをもたらすのでしょうか。情報検索の講演をするからには、実験の話をせずに済ませるわけにはいきません。ここで、数年前の論文からの結果をいくつかご紹介したいと思います。このスライド自体はあまり重要ではありませんが、私が理解していただきたいのは、実際のシステムと実際の実行結果を用いて、Recallが0.8になった26,000件の実行結果を得た、ということです。この背後には多くのデータがあります。
こちらがそのグラフです。もしRecallが0.8であれば、深さ10におけるRecallは0.8ということになります。つまり、2つの項目が見落とされたことになります。10個の中から2個を選ぶ組み合わせの数は45通りです。したがって、このカーブの下側に沿って45個の区間があり、それぞれが異なる2つの項目の組み合わせが見落とされたケースに対応しています。上端にあるのは、見落とされた2つの項目が文書9と文書10であるケースで、これが最も高いRank-Biased Recallスコアを得ます。左端の下の方にあるケースでは、見落とされたのが1番目と2番目の文書であり、これは低いスコアしか得られません。このグラフに含まれるすべての実行結果は、Recallが0.8であったものだということを覚えておいてください。
そして、この45個のゾーンのうちの一つの中で、そのカーブに沿って歩いていくと、今度は「代わりに何が含まれたか」ということが測定されていることになります。このカーブの上端では、見落とされた2つの代わりに含まれたのは文書11と文書12でした。カーブの下端では、見落とされた文書9と文書10の代わりに含まれたのは、文書1000や文書101といった、非常に順位の低い文書でした。その場合には、非常に低いスコアになります。このようにして、26,000件の観測結果から、Recallがこの応用場面において良い測定手法ではないということが示されました。
つまり、実務上の違いをもたらすのかという問いに対する答えは、確かにもたらす、ということになります。そして、ここからが講演における「新しいもの」の部分に入っていきます。もちろん、良い物語というものは、皆が幸せに暮らしましたという結末を迎えるものです。ですので、私はここに「そして皆、幸せに暮らしました」と入れずにはいられませんでした。もっとも、これがまだ物語の終わりではないだろうとは思っております。
6. 新展開:2パラメータ分布への拡張(未発表の最新研究)
6.1 1パラメータ制約と新たな要求
さて、ここで、少し前にお見せしたスケール済み割引累積利得(SDCG)のグラフを、もう一度お見せしたいと思います。先ほど私はこのグラフについて、私たちが持っているパラメータは深さだけである、と批判的に申し上げました。この深さは必ずパラメータとして必要になります。なぜかと言えば、この系列は収束せず、しかも非常にゆっくりとしか減衰しないためです。したがって、大きな残差が生じてしまいます。実際、DCGやスケール済みDCGを使って実験の正確さを測定しようとすると、皆さんはその結果を見たくないと思われるはずです。それは合理的とは言えないのです。
一方、私たちはこれに対する代替案として、Rank-Biased Precisionを持っていました。これは異なる系列を使うことで、収束を実現し、小さな残差を得ることができるものです。かなり有用な、小さな残差が得られるのですが、その減衰があまりに速すぎるという問題があります。そして、こちらについても、私たちが持っているノブは一つしかない、という点を指摘しておきたいと思います。DCGの場合、このグラフにおける一つのノブは測定の深さでした。RBPの場合は、そのノブはφというパラメータであり、これはユーザー母集団を代表するものとして私たちが設定するものです。
そこで問いが立てられます。これは比較的最近の問いであり、おそらく半年ほど前に出てきたものです。私たちが本当に欲しいものは何なのか、あるいは、もし何でも手に入るとしたら、何が欲しいのか、という問いです。私が欲しいのは、トップの重みを自分で選べるということです。たとえば、ある実験を行っていて、ランキングの最初の項目が最終スコアに対してこれくらい重要であってほしい、というときに、2.3、0.05、0.01といった具体的な数値を、最初の要素に付与できるようにしたい、ということです。最初の項目がこれくらい重要である、と言いたいわけです。そしてさらに、ランキングのもう少し下の方の、ある深さにおいて、残差がこれくらいであってほしい、ということも指定できるようにしたいのです。
そして皆さんは、「それは可能なのか」とおっしゃるかもしれません。ここで私たちは二つの制約を持つことになります。ですので、答えはイエスです。それは可能です。ただ、そのためには2パラメータの分布に移行する必要があります。
6.2 逆べき乗則分布による解決
そこで私たちが使うのが、2パラメータの並行移動逆べき乗則分布(translated inverse power law distribution)です。ここには、平行移動を表すα(アルファ)パラメータと、逆べき乗則を表すε(イプシロン)パラメータがあります。そして、εはこの値より大きくなければならない、αは負であってはならない、といった一定の条件を満たしていれば、無限級数が有界になる、つまり私たちが求めているものが得られることになります。これによって、残差を計算し、実際に何が起きているのかを確認する、という先ほどと同じ手法を適用することができるようになります。
講演を締めくくるにあたって、この式の詳細についてはお話ししませんが、二枚のグラフをお見せしたいと思います。ここでは、三つの異なるパラメータの組み合わせを用意し、すべての場合において最初の重みを0.05にしたいとしています。まず一枚目は、残差についてのグラフです。冒頭では残差を0.95にしたいのですが、その一方で、あるカーブでは深さ10の3乗の地点で残差を0.1に、別のカーブでは10の6乗の地点で0.1に、さらに別のカーブでは10の9乗の地点で0.1にしたい、という設定にしています。Pythonのプログラムを実行すると、必要な重みカーブ、そして2パラメータの逆べき乗則分布に必要なパラメータが出力されます。実際に、残差が求められた点を正確に通過することが確認できます。パラメータの計算方法についてもっと詳しく知りたいという方は、SIGIR 2026、メルボルンでの発表にお越しいただく必要があります。これは、SIGIR 2026で発表される予定の研究だからです。
このように、これが「新しいもの」の部分であり、そしてまた皆、幸せに暮らすことになりました。ここで結論に入り、講演を締めくくりたいと思います。
7. まとめ
7.1 研究の総括と残された課題
さて、これで結論に入り、講演をまとめたいと思います。私がここまでお話ししてきた物語は、20年にわたる研究の積み重ねであり、それが一つの枠組みへとつながってきました。この枠組みでは、システムの測定というものを、観測Bを、標準的な参照Rに対して相対的にスコア付けする行為として捉えます。そしてBとRは、それぞれ独立に集合であるか、ランキングであるかのいずれかを取り得ます。
この枠組みを使うことで、私たちは、皆さんがよくご存知の精度と再現率の図と比べて、残りの3辺を完成させることができました。トップ重み付けされた測定アプローチを、精度、オーバーラップ、再現率のすべてについて用意することができ、この格子をすべて埋めることができたのです。
ただ、今日の講演でお話ししなかったこともいくつかあります。まず、rank-biased centroidsについてはお話ししませんでした。rank-biased fusionについても、rank-biased alignmentについても触れませんでした。また、ランキングにおける同順位(タイ)の扱い方についてもお話ししませんでしたし、これらのパラメータをどのように計算するかについても詳しくは触れませんでした。しかし、それは問題ありません。関連する論文を見つけて、それらをお読みいただければと思います。
さらに、私がお話ししなかったこととして、より洗練されたユーザーモデルについても挙げられます。今日お示ししたのは、非常に単純なユーザーモデルであり、ユーザーモデルとしては最初の一歩にすぎません。私たちはこれまでに、一連の論文を通じて、ユーザーという概念とその行動について発展させてきました。ある目標を持ち、ランキングを下っていく途中で目にするものがある場合に、ユーザーの母集団が何をするのか、ということを記述するための研究です。この一連の研究の中で最も新しい論文は、SIGIR 2022、マドリードで発表されたものです。
7.2 謝辞と次回イベント告知
ここで、Australian Research Councilに感謝を申し上げたいと思います。彼らは長年にわたって多くの資金を提供してくださり、私はその資金を、サルバドールやブラジルといった場所に出かけていくために使ってきました。そして、Rank-Biasedの物語の前半は、当時RMIT大学に在籍しており、現在はメルボルン大学に戻ってきているJustinと共有したものです。それ以外の一連の論文は、Paul Thomas、Falk Scholer、Ulises Cerviño、Peter Bailey、Joel Mackenzie、Matthias Petri、そして私の博士課程の学生であったWilliam Webberとともに執筆してきました。Justinについては既にお名前を挙げました。
こちらのスクリーンショットは、数時間前、スライドを最終調整していた際に撮影したものです。SIGIRまで、今はあと2週間と3日となりました。まだ登録を受け付けておりますので、もしお越しいただけるようでしたら、ぜひご参加ください。
そして、最後に、修正版の可能なタイトルをお約束していたかと思います。「Maybe I told you something you didn't already know about rank biased measurement in web search(おそらく、ウェブ検索におけるランクバイアス測定について、皆さんがまだ知らなかったことを、いくつかお伝えできたのではないかと思います)」というものです。そして、よく見ていただければ、私は同じシャツを着ています。これで終わりです。
8. 質疑応答
8.1 RAGとモバイル時代のユーザー行動
素晴らしい講演をありがとうございました、Alistairさん。とても楽しませていただきました。特に、第1段階の検索においてRecallについて触れられた点には感銘を受けました。私自身は業界の出身なので、Recallがいかに今でも広く使われているかを知っていますし、あなたが指摘された欠点と、それに対する解決策の可能性を知ることができて、目を開かれる思いでした。ありがとうございます。それでは、質疑応答の時間に入りたいと思います。オンラインで質問していただいても構いませんし、プラットフォーム上で入力していただいても構いません。少し時間を取りますので、その間に私からも質問をさせていただきたいと思います。
かなり大きな問いになるのですが、検索拡張生成(RAG)という、最近非常に人気のある技術の文脈において、ランクバイアス測定についてどのようにお考えでしょうか。RAGはユーザー行動をあまり直接的には含まないと思うのですが、それでもこの考え方は依然として関連性を持つとお考えでしょうか。それとも、ここでは再現率や精度といった種類の測定に戻るべきなのでしょうか、という質問をいただきました。
良い質問ですね。実は、私はこの点については少し過去に留まっている部分があります。私が考えているのは、画面上に表示され、直接的な動作を伴う文書の順序としてのランキングです。もう一つ、よく聞かれる質問として、ショッピングの提示画面、たとえばスキャンや画像検索のような場合はどうなのか、というものもあります。
では、検索拡張生成システムについて考えてみますと、まず最初のフェーズが何を次のフェーズに渡すのかを決める必要があります。もしそれが集合を渡しているのであれば、これは集合対何か、という話になります。そして、次のフェーズに何を渡すのかを決める必要があります。もし求めているものが集合であれば、これは再現率と精度の話に戻ることになります。しかし、求めているものがランキングであるならば、実際にはランクバイアス再現率(Rank-Biased Recall)が必要になってくる、ということになります。
ありがとうございます。実は、私たちのシステムにも同じ質問が届いていました。今の回答で十分にお答えいただいたかと思います。もう少し具体的な質問を、私から追加でさせていただきたいと思います。より複雑なユーザーモデルについて触れられていた点についてです。2010年に発表されたRank-Biased Precisionのことを思い出しますと、当時はまだ、10個の青いリンクのようなウェブ形式のインターフェースが主流だったと思います。その後、モバイルへの大きな移行が起こり、ユーザーが検索結果を辿る方法もかなり違ったものになってきたのではないかと思います。少数の結果だけを見るユーザーもいるかもしれませんし、φというパラメータでは単純すぎる場合もあるかもしれません。この間に、そうしたユーザー行動を反映するために取り組まれた興味深い研究はあるのでしょうか。
その期間に何か興味深いことをしたかどうか、という点についてですが、それはどれくらいお時間があるか、という話になります。私たちが行った研究の一つに、アイトラッキング実験があります。これは10個の青いリンクという環境で行ったものではありますが、このアイトラッキングによって発見したことの一つは、おそらく皆さんも理解されていると思うのですが、それが一度に一つずつ前進していくという単純な進行ではない、ということでした。Rank-Biased Precisionがモデル化しているのは前進していく形ですが、実際には、下って戻って、下って戻って、下って戻って、という動きになる傾向があるのです。というのも、ユーザーはある文書に注目を固定し、「この文書はさっきのものより良いのか、悪いのか」を考えているからです。「ああ、こちらの方が良い」となれば、そこに注目を再固定し、さらに見ていき、最終的にどこかをクリックする、というわけです。
したがって、私たちは2013年頃の論文で、条件付き移動テーブルというものを作成しました。そこで示していたのは、ユーザーが見た文書の総量が多数のユーザーにわたる累積的な質量として表れるだけではなく、実際にどのような跳躍(ジャンプ)をしているのか、ということです。たとえば、プラス1のジャンプは、しばしばマイナス1のジャンプに続く、といったことです。そしてプラス2のジャンプは、しばしばマイナス2のジャンプに続く、というようなことです。つまり、ユーザーは何かを基準にして、そこに注目を固定し、1つ下って戻り、2つ下って戻り、3つ下って戻り、そして先に進んでいく、という行動を取っていたのです。これは非線形な系列であり、この場合、ユーザー行動モデルがユーザーの得る利益を正しく反映しているという私の主張は、もはや成立しないということになります。
そして、ショッピングのインターフェースの話に戻りますと、皆さんも、人々が画像表示を見るときのヒートマップをご覧になったことがあると思いますが、そこでも奇妙な跳躍が見られます。ですので、線形化の仕方は多数存在し得るということになります。それぞれについて、あるユーザーがその経路をたどる確率はどれくらいか、そしてその経路にどのようなスコアを与えるべきか、を考える必要があります。そして、確率分布が分かっていれば、無限のユーザーにわたる期待値として、その計算を行うことができます。ですので、実装の詳細は違っていても、いくつかの考え方自体は同じだと言えます。
とても興味深いですね。ありがとうございます。
8.2 LLM判定と人間判定の違い
時間になってしまいましたが、投票で興味深い質問が来ていますので、それだけ簡単にお伺いしたいと思います。関連性判定がどこから来ているかということに関わる質問です。関連性判定が機械から来ている場合と、人間から来ている場合とで、違いはあるのでしょうか。
良い質問ですね。まず、少し戯れた答えを最初にさせてください。それが私にとって違いをもたらすかどうか、という点では、特にそうではありません。というのも、それらを判定として捉えるのであれば、それを使うことができるからです。そうなると、より根本的な問いに戻ることになります。それは、LLMは良い判定を下すのか、という問いです。これについては既に多くの研究が行われており、私の理解では、適切なプロンプトと適切な配慮を与えれば、クラウドワーカーと同程度、あるいは専門家と同程度の質の判定を下すことができる、という結論になっているかと思います。
ですので、違いをもたらすかどうかについては、そうなるとは言い切りにくいのですが、それでも同じ注意点が当てはまります。つまり、文書のランキングを生成するのに使うシステムとは異なるシステムを、判定を行うために使う必要がある、ということです。そうしないと、自己強化的な状態に陥ってしまいます。つまり、「これらが上位に来るべきだと言われている、なぜなら私がそれらを上位に置いたからだ」という状態になってしまうのです。
なるほど、分かりました。ありがとうございます、Alistairさん。今日も本当に素晴らしい経験でした。それでは皆さん、30分後のディスカッションでお会いしましょう。
司会者に、オンラインで参加されている人数がどれくらいか、伺ってもよろしいでしょうか。皆さん気になると思いますので。司会者はすでに午前のお茶休憩に行ってしまったようですね。分かりました、でもその答えは後ほどAlistairさんにもお伝えするようにいたします。私も知りたいです。
そして、SIGIRについてですが、まだあと2週間、登録を受け付けておりますので、ぜひご参加ください。ありがとうございました。皆さん、また近いうちにお会いしましょう。さようなら。