※本記事は、Joydeep Biswas氏(テキサス大学オースティン校コンピュータサイエンス学科准教授、Texas Robotics副ディレクター)による講演「AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot」の内容を基に作成されています。講演の詳細情報は https://www.youtube.com/watch?v=URNbETgvMBM でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演をご視聴いただくことをお勧めいたします。
1. 導入:登壇者紹介と天体写真という趣味
司会: 本日は会場にお越しの皆様、そしてオンラインでご視聴の皆様、ようこそいらっしゃいました。今日は二人の素晴らしい登壇者をご紹介できることを大変嬉しく思います。まずはJoydeep Biswas氏からお話しいただきます。BiswasさんはUT Austinのコンピュータサイエンス准教授であり、Texas Roboticsの副ディレクターも務めていらっしゃいます。実は先ほど伺ったのですが、天文データにも強い関心をお持ちだそうです。
司会: Biswasさんはこれまでにも多くの賞を受賞されており、その中にはNSFキャリアアワードも含まれます。しかし本日のトークにとりわけ重要なのは、BiswasさんがAAAI-26の副プログラム委員長を務められたという点です。今日は「AI支援による大規模査読」についてお話しいただきます。それでは、よろしくお願いいたします。
Biswas: お招きいただき、また温かいご紹介をいただき、そしてこの場でお話しさせていただけることに感謝いたします。今日はAAAI-26のAI査読パイロットについてお話ししたいと思います。まず最初に、この取り組みを支えてくれた大きなチームに感謝を伝えたいと思います。これは本当に大変な作業でした。チーム全体による絶え間ない努力が必要でした。ですので、まずこの場を借りて全員に感謝いたします。プログラム共同委員長を務めたChadとMatt、副プログラム委員長のKiriとMatt、そして素晴らしいワークフロー委員会のメンバー、さらに本プロジェクトの協力者であるJesseにも感謝したいと思います。
Biswas: さて、これは「コズミックAI」のトークでもあります。AIによる査読の話に入る前に、少し宇宙に関連した話をすることが大切だと感じていますので、まずは天体写真についてお話しさせてください。私はアマチュア天文家として天体写真を趣味にしており、UT Austinから西へ2時間ほど行った場所にある施設で、仲間のアマチュア天文家たちと一緒に撮影を行っています。そこには75mmの屈折望遠鏡を設置しており、今回ご紹介する対象については1000時間を超えるデータを収集しました。この対象は超新星残骸のSNR G126と呼ばれるものです。
Biswas: 会場の照明のせいで見えにくいかもしれませんが、後でスライドにアクセスしていただければご覧いただけます。画像の赤い部分は水素アルファによる発光で、青い部分は酸素IIIの発光です。この対象で興味深いのは、非常に淡いフィラメント状の構造が多数存在しており、こうした構造は非常に長時間の積分観測でしか浮かび上がってこないという点です。私がこの趣味に惹かれたのは、これがまさに信号処理と確率的推論の問題であり、私の本業であるロボティクス研究と深く結びついているからです。そして何より、宇宙を理解することへの畏敬の念を与えてくれます。
Biswas: この1000時間の撮影を通じて、私たちは二つの発見をしました。一つは新しい惑星状星雲の候補です。これは発見者たちの姓の頭文字を取って名付けられました。ここに写っているのが、これまで一度も観測されたことのないかすかな発光です。もう一つは、それに関連する中心星で、IRSカタログに登録されているものです。これについてはさらなる追観測が必要です。もし1.8メートル級の望遠鏡にアクセスできる方がいらっしゃれば、ぜひ声をかけていただきたいと思います。分光観測によるフォローアップをぜひ実現したいと考えています。以上が、私個人としてのコズミックな部分のお話になります。
2. 査読危機とAI査読という着想
Biswas: それでは通常の予定していた内容に戻りたいと思います。まずお話ししたいのは、私たちが何を解決しようとしているのか、つまりこの取り組みが向き合っている課題についてです。第一に、科学的な査読は今、非常に大きな重圧にさらされています。これは皆さんもご存知の通りだと思います。ここにお見せしているのはAAAIの視点からの数字です。Mattさん、あなたは副プログラム委員長としてこの状況の渦中にいましたね。2024年には1万件の投稿があり、2026年には3万件の投稿がありました。査読者は完全に過負荷の状態です。
Biswas: 新しい発見はますます短い時間スケールで生まれるようになっており、必要な規模で査読の質を維持することがますます困難になっています。同時に、AI for Scienceの分野では最近大きな進展が見られます。論理、数学、科学的推論の能力において顕著な進歩がありました。ほぼ毎日のように、新しいモデルが数学オリンピックのような課題を打ち破ったというニュースを目にします。この二つを組み合わせたとき、頭に浮かぶ中心的な問いは、「AIツールは実際に科学的な査読プロセスを支援できるのか」というものです。
Biswas: この問いを立てたとき、三つのハイレベルな問いが浮かび上がってきました。第一に、最先端のAIシステムはそもそも技術的にそれを担えるだけの能力があるのか。第二に、それらは人間が書いた査読とどう比較されるのか。第三に、それらは査読プロセスにどのように効果的に統合できるのか。これらが、私たちがこのパイロットに取り組む大きな動機となった問いです。
Biswas: そして、このハイレベルな問いを立てると、AIシステムの能力に関するより低レベルな問いも次々と出てきます。これは、AIによる査読をやると誰かに話したときに必ず出てくる質問でもあります。たとえば、本質的に全く新しい研究に対して、AIは意味のあるフィードバックを提供できるのか。単に幻覚を起こしてエラーをでっち上げるだけではないのか。読者を喜ばせるためだけに、やたらとポジティブな査読を書くだけではないのか。引用を捏造してしまうのではないか、といった質問です。これは非常によく聞かれる質問です。
Biswas: こうした低レベルな問いは、幸いにも長らく答えのないまま放置されてきたわけではありません。多くの研究者がこの分野に取り組んできました。ここにお見せしているのは先行研究のごく一部にすぎません。これは私たちが本研究を実施した時点での最先端のスナップショットです。その後、状況はかなり進展しました。ただ、分野全体を見渡すと、大まかに言えるのは、合成的な、あるいは事後的な研究が数多く存在し、最先端の推論モデルやツール利用の限定的な活用例があり、また限定的な実世界での研究もあるということです。
Biswas: しかし結局のところ私が申し上げたいのは、AAAI 2026以前には、誰も見たことのない実際の論文を対象に、実際の大規模な学会でAIによる査読を全面的に実施した研究は存在しなかったということです。
3. パイロットの設計方針とプロセス
3.1 AAAIの2段階査読プロセスと設計方針
Biswas: それでは、私たちが実際に何を行ったのかについてお話ししたいと思います。何を行ったのかを正確にお伝えするためには、まずAAAIの査読プロセスがどのように機能しているかをご理解いただく必要があります。これは他の学会と少し異なっており、二つの段階から構成されています。第一段階では、論文はまず一連の初期査読を受けます。そして、少なくとも一つでも肯定的な査読があった論文は第二段階に進みます。第二段階では、追加の査読が行われ、著者によるリバッタル、査読者間の議論があり、その上で最終的な判断が下されます。
Biswas: この土台を踏まえて、私たちが最初に行った設計上の判断についてお話しします。まず、査読プロセスにおいて人間の査読者を一切代替しないということを徹底しました。次に、AIによる査読が推薦や論文へのスコア付けを行わないようにしました。AIはあくまで事実に基づく情報のみを提供するというものです。機密性とデータプライバシーについては最高水準を維持し、ゼロデータ保持を実施しました。また、すべての論文が同じ査読プロセスの対象となるようにすることも重視しました。
Biswas: そのため、残念ながらというべきか、私たちは学会内でRCT、つまりランダム化比較試験を行わないという選択をしました。すべての論文が全く同じ扱いを受けるようにしたかったからです。この判断については賛否両方の緊張関係があることは理解していますが、私たちはこの道を選びました。さらに、妥協のない最先端の技術を使うことも重視しました。これがどのように実現できるかを理解したかったのです。これはOpenAIによる非常に寛大なスポンサーシップに支えられており、彼らの最大規模のモデルを使用することができました。そして、このプロセスとワークフローはAAAI学会および倫理委員会と協力しながら、徹底的にテストと改良が重ねられました。
3.2 フェーズ1での実装とメタレビュー
Biswas: それでは、この土台の上で実際にフェーズ1において何を行ったかをお話しします。フェーズ1では、明確にAI査読であるとラベル付けされた追加の査読が一件導入されました。AI査読はスコアや推薦を一切行わず、また査読者やプログラム委員長に対してこれをどう使うべきかを指示することもしませんでした。あくまで、彼らが望むのであれば利用できる追加情報として位置づけられていました。
Biswas: このプロセスでは人間が誰も代替されることはなく、査読者、SPC(シニアプログラム委員)、AC(エリアチェア)は、査読者が自分自身のスコアを提出した後にAI査読を閲覧することができました。SPCとACについては、いつでも閲覧が可能でした。これは他の査読と同じような扱いです。
Biswas: もう一つ私たちが行ったのは、AI生成のメタレビューを導入したことです。これは査読者間の合意点や相違点を要約したもので、帰属情報も含まれていました。この点については後ほど詳しくお話しします。
4. システム構築:パイプラインと発見された課題
4.1 パイプライン構成とOCR改善の経緯
Biswas: ここからは、私たちが実際に何を構築したのかについてお話ししたいと思います。この段階になるとよく聞かれる質問があります。それは「プロンプトは何を使ったのか」というものです。まずこの質問に明確にお答えしたいと思います。単一のプロンプトというものは存在しません。正直なところ、この質問にどう答えればよいのか分からないほどです。なぜなら、これは非常に詳細な多段階のプロセスだからです。多くのステップが関わっており、お伝えしたいことはたくさんありますが、ここではいくつかの要点に絞ってお話しします。
Biswas: まず、論文の前処理という段階があります。ここではすべての画像を固定の一貫した解像度にリサンプリングしています。また、機械学習モデルを用いて構造化されたマークダウンを生成しています。ありがとう、Kyle、もう少しです。そして、数式やLaTeX記法、表を抽出する処理を行っています。その後、それぞれ異なるツールを用いた複数のステージが続き、それぞれが異なるタスクを担っています。このシステムは一度に構築されたものではなく、現在お見せしているような順番で作られたわけでもありません。構築とテストのために、テスト用の論文セットを用意し、生成される査読を確認しながら、何が拾われているか、どう改善すべきかを検証していきました。
Biswas: 時間の関係もありますので、一つ具体的な事例をご紹介します。技術的正確性のチェックの過程で、ある時点でコードインタープリタを導入しました。これによって、言語モデルは数式を作り出し、それをPythonでプログラムし、入力と出力をテストして正しさを検証できるようになりました。これは非常に有効で、実際に多くの技術的なチェックを行うことができました。しかし、その後問題が見つかりました。時折、数式を誤って読み取ってしまうことがあったのです。
Biswas: この経験から、数式の読み取り精度を改善する必要があると強く認識しました。そこで私たちは、様々なOCR手法を改めて検証し直しました。その結果、当時としては、あるOCR手法が群を抜いて優れていることが分かり、それを採用することにしました。これは一つの事例にすぎませんが、同様の発見は他にも数多くありました。
Biswas: ここで少し立ち止まって、AI査読とベンチマーキングに関する課題についても触れておきたいと思います。既存のAI査読のベンチマークは数多く存在し、この時点で調べれば何百とも見つかります。しかし、既存のベンチマークは、人間による介入を必要とするか、あるいは技術的なエラーの検出、図表の読み取り、引用の正確性といった特定の一つの性質のみを評価するものがほとんどです。一方で、査読というものは本来、様々な役割を同時に果たすべきものです。あるいは、JSON出力のような構造化された形式や、非常に技術的で定型的な英語での出力を要求するベンチマークもあり、完全な形の査読そのものを評価するものではありません。ベンチマーキングは依然として大きな未解決の課題であり、私たちもこの点について大きな取り組みを進めていますが、今回はこれ以上詳しくお話しすることはできません。ただ、追ってお伝えできることがあると思います。
5. 運用実績とスケーラビリティ上の発見
5.1 処理実績とダッシュボード
Biswas: このシステムは大規模運用を前提として設計されています。ここにお見せしているのは、実際に運用していた最中のダッシュボードです。論文を取り込み、処理プロセスを開始すると、査読のさまざまな段階が時間とともに進行していく様子を確認することができました。
Biswas: ここでの重要なポイントは、まずすべての査読が24時間以内に生成されたということです。コストは論文一件あたり1米ドル未満でした。消費したトークンの総数はおよそ380億という規模です。この数字の規模感をお伝えすると、GPT-3の学習にはおよそ3000億トークンが使われました。つまり、私たちが消費した量はそれほどかけ離れた規模ではなかったということになります。
5.2 スケーリング課題と質疑応答
Biswas: この過程で私たちは、いくつか独自の課題を発見しました。まず、論文によってトークンの使用量に大きなばらつきがあることが分かりました。おおよその目安として、一件の論文につきおおよそ2万トークン程度を要します。また、数式や表を読み取る際にエラーが生じることがあり、これがOCRを導入する必要性につながりました。ただし、OCRを導入すると、今度はOCRの結果と元のPDFとの間に不一致が生じる場合があり、査読プロセスの側ではどちらをより信頼すべきか判断できないという問題も発生しました。
Biswas: コストと時間のスケーリングについても大きな課題がありました。ここにお見せしているのは私が作成したスプレッドシートです。私たちのパイプラインは論文一件あたりおよそ25分を要し、この段階に入ってくる論文の数はおよそ2万2000件でした。私たちは1分あたりのリクエスト数の上限や利用ティアによる制約を受けており、必要な並列度が128なのか、256なのか、512なのか、それとも1024なのか、そしてそれぞれの場合にどれだけの時間がかかるのかを検討する必要がありました。
Biswas: ここで興味深い経験的な発見がありました。最先端のモデルを用いた場合、幻覚は思っていたほど大きな問題にはならなかったのです。全くの的外れな幻覚が生じることはほとんどありませんでした。また、私たちが構築した仕組みの性質上、引用を過度に捏造することもあまり見られませんでした。さらに、著者の身元が査読内で露見してしまうという点についても、実際には問題にならないことが分かりました。
Biswas: ここで一度質疑応答の時間を取りたいと思います。まずこちらの質問からお願いします。
質問者A: PDFの解像度についてお伺いしたいのですが、特定の解像度にダウンサンプリングされたとおっしゃっていましたが、たとえば対数軸のグラフで目盛りが細かい場合など、崩れてしまうケースはどのように扱われたのでしょうか。
Biswas: 良い質問をありがとうございます。著者向けのガイドラインには、図の中で許容される最小フォントサイズが明記されています。私たちは解像度として300dpiを選択しました。300dpiというのは、ガイドラインに従って作成されていれば十分に読み取れる水準です。もし読み取れないとすれば、それは残念ながら、フォントサイズをガイドラインより小さくしてしまったことによる問題だということになります。
質問者A: 曲線同士が交差しているような、細かい部分についてはいかがでしょうか。
Biswas: ええ、それについては個別にオフラインでお話ししましょう。
質問者B: 私も同じような質問だったのですが、図表などがきちんと判読できるかどうかは、どのように確認されたのでしょうか。
Biswas: はい、まず私たちはテスト用の論文セットを用意して確認していました。それに加えて、著者向けガイドラインで定められているフォントサイズ、たしか8ポイントだったと思いますが、これが図の中でしっかりと再現されているかを確認しました。実際、300dpiであれば6ポイントのフォントでも十分に読み取ることができ、まったく問題にはなりませんでした。
Biswas: ここでいくつか技術的な詳細についてもお話ししておきます。私が申し上げたOCRモデル、そしてベースとなる言語モデルはGPT-5です。ゼロデータ保持の設定にしており、これはデータが学習に使われないということはもちろんのこと、この業界では当然の水準ですが、それだけでなくディスクに一切保存されないという意味です。OpenAIにクエリが送られる際、データはメモリ上にとどまり、結果が返ってくるだけで、ディスクには何も残りません。私たちは最高レベルの推論努力の設定を使用し、また彼らが新たに提供していたフレックスティアという仕組みを利用することで、コストを抑えることができました。さらにコードインタープリタとWeb検索ツールを使用し、512倍の並列度で運用しました。ワークフローの管理にはMakefileを使いました。Makefileは本当に優れた仕組みです。昔ながらのコンピュータサイエンスの知恵は今でも健在です。ぜひ皆さんも使ってみてください。Makefileによるチェックポイント管理と、リトライの際の適切なバックアップ処理を行いました。
Biswas: 各論文の処理にはおよそ20分から25分を要すると申し上げましたが、OCRについてはH100サーバー一台でおよそ12時間を要しました。そして、この全プロセス全体は24時間以内に完了しました。ちょうどこの時期、AAAI 2026が3万件もの初期投稿を受け付けたことが判明し、私たちはこれをどう査読していくのか頭を悩ませていました。人間の査読者をかき集めようと奔走していたのですが、この処理が完了した後、私はChadとMattに連絡し、「最悪のシナリオになったとしても、少なくともすべての論文に対してAI査読が一件は用意できている」と伝えました。これは、少なくとも何か手を打てているという安心material材料になったのです。
6. 品質管理体制とその限界
6.1 自動チェックと人手オーバーサイト
Biswas: それでは、私たちがどのようにオーバーサイトを行っていたかについてお話しします。まず、自動化された品質チェックと人手によるチェックを組み合わせるという方針を取りました。自動化された品質チェックでは、批評役の言語モデルに対して特定の懸念事項を明示的に確認させるようにしています。いくつか具体例を挙げますと、プロンプトインジェクションのようなインジェクション攻撃のチェックを行っています。これについては徹底的に検出を行い、該当する論文は却下しました。
Biswas: また、人手によるオーバーサイトも行っていました。デプロイの各段階において、査読を手動でサンプリングして確認していました。この過程では、私自身が週に数百件もの査読に目を通していました。さらに、SPCに対しても問題を指摘するよう依頼しており、実際に彼らはいくつかの問題を的確に見つけ出してくれました。
Biswas: このLMチェッカーが確認していた質問には、たとえばポリシー違反がないか、つまり査読が著者の身元を明かしてしまっていないか、倫理的な懸念を提起していないかといった項目が含まれていました。こうした一連の質問への回答結果は、2万2000件すべての論文について、スプレッドシートとして保存されるようになっていました。そして、私たちはそのデータをサンプリングして確認し、「はい」という回答が出た場合には、実際に何が起きたのかを遡って確認するようにしていました。
6.2 AI生成検知と環境負荷
Biswas: ここで興味深いのですが、私たちはこの中に一つ、「この査読はLMによって生成されたように見えるか」という質問も入れていました。実際にはすべての査読がLMによって生成されたものであるにもかかわらず、この質問に対しては、およそ30%の査読しか「AI生成である」と判定されませんでした。これは、AI生成の検出というものが、まさにいたちごっこのゲームであることを示しています。最新のモデルは、以前の検出手法では見抜けないような能力を備えており、検出側もそれに追いつこうとしますが、また新たな世代のモデルが出てくるという繰り返しなのです。Mattさん、質問をどうぞ。
Matt: 先ほど30%としか判定されなかったとおっしゃっていましたが、その数字自体がそもそも正確なものかどうかは分かっているのでしょうか。
Biswas: 完全に間違っています。なぜなら、私たちが扱っているのはすべてAI生成の査読、つまり100%がAI生成だからです。ですので、あの数字は完全に誤りです。
Matt: ええ、私たちはただ興味本位で聞いてみただけです。
Biswas: そうですね、査読の内容そのものに対する評価とは別の話として、あの質問を差し込んでみたということです。それについては後ほど触れます。それでは、Jesseさん、どうぞ。
Jesse: n-gramベースの手法や、GPTZeroのような、より専門的に構築された検出ツールを試されたことはありますか。
Biswas: ご指摘の通りです。当時はその規模で使えるようなツールはまだ存在していませんでした。今であれば利用可能ですし、実際にいくつかのそうしたモデルの提供元と話をしているところです。おっしゃる通り、現在ではこうした専門的なモデルの精度はかなり向上しています。ただ、この点についてはまた後ほど戻ってきたいと思います。
Biswas: ここで、この取り組みにどれだけのエネルギーを投じていたのかを把握するために、いくつか留意点についても触れておきたいと思います。私たちが使用していたベースモデルはクローズドモデルであり、そのモデルがどれほどの規模なのかは私たちには分かりません。コミュニティの中ではさまざまな推測がありますが、それを踏まえた上で、簡潔に申し上げると、この取り組みによって発生したCO2排出量は、JFKからシンガポールまでの往復便に28人の乗客が搭乗した場合に相当する規模です。ちなみにシンガポールは、この学会が開催された場所でもあります。これが、いわば私たちが投じたエネルギーの規模感になります。
7. AI査読の内容例とサーベイ調査結果
7.1 査読事例とサーベイ設計
Biswas: それでは、AI査読が実際にどのような内容を含んでいるかについてお話しします。AI査読には、論文の簡潔な概要、査読内容の要約、明確な強みと弱み、改善のための建設的な提案、そして非常に詳細なフィードバックが含まれています。ここに一つ具体例をお見せします。これは非常に詳細な内容で、数式の記法も含まれています。アルゴリズム2やレンマ2における弱点について言及しており、たとえば「表記上の誤りの可能性がある」といった指摘がなされています。これはベストペーパー賞の候補となった論文に対する査読です。私たちはこれを詳しく検証し、実際に意味のある指摘が含まれていることを確認しました。
Biswas: こちらはメタレビューの例です。査読者X、Y、Zがどのような点について合意しているか、関連する弱み、査読者間のコンセンサス、そして意見が分かれている点、最後に一文での要約がまとめられています。
Biswas: ここまでで、私たちが構築したものについてお話ししてきました。次は、サーベイの回答内容とその分析についてお話ししたいと思います。サーベイは二つのパートから構成されていました。一つは、自分が受け取った特定の査読に対するフィードバックです。もう一つは、AAAI 2026の査読全般に対する印象や、AI査読に対する感情についての、より一般的な質問です。この研究はUT AustinとUberta(アルバータ大学)のIRB(倫理審査委員会)によって審査されたものです。
Biswas: これはかなり詳細なサーベイであり、決して簡易なものではありませんでした。多くの質問項目があり、いくつかのバリエーションが存在しています。査読者のみを対象とした質問、著者のみを対象とした質問、AI査読のみを対象とした質問などがありました。ただし、これはAI査読だけでなく、人間による査読についても同様に実施しています。私たちは全体を通して多くの回答を得ることができ、合計でおよそ5,834件の回答が集まりました。AI査読と人間査読の両方について回答を得ており、人間査読については査読の総数自体が多いため、著者からの回答数もそれだけ多くなっています。これは自然なことだと思います。
7.2 サーベイ結果と比較分析
Biswas: まず全体として、AI査読は実際に有用だったのかという点についてお話しします。「AAAI 2026のAI査読は有用である」という設問に対しては、53%が同意し、20%が同意しないという結果でした。さらに、「今後の査読プロセスにおいて」という将来を見据えた設問に対しては、人々はより肯定的な回答を示しており、61%が同意し、14%が同意しないという結果になりました。
Biswas: 次に、人間査読とAI査読の比較についてお話しします。これらの設問はすべてリッカート尺度による質問で構成されており、このような分布が得られました。私たちが行ったのは、AI査読と人間査読についてこれらの分布の平均値を比較するということです。評価にあたっては9つの基準を設けました。たとえば、「この査読は学会にふさわしい徹底したものか」「これまで考えたことのなかった論点を提示しているか」「論文の意義やインパクトを正確に伝えているか」といった質問です。このグラフでは、右側の値がAI優位、左側の値が人間優位を示しています。否定的な感情については符号を反転させ、AIに対して肯定的な方向が一貫して右側に来るように統一しています。
Biswas: ここでの高いレベルでの結論としては、平均すると9つの基準のうち6つの基準において、AI査読が人間査読よりも高く評価されたということです。これは平均値についての話ですが、では、その有意性や不確実性についてはどうでしょうか。私たちが得たp値は、サンプルサイズの大きさゆえに非常に小さいものでした。私たちはMann-Whitney U検定を実施し、これらのサンプルが同一の基礎分布から抽出されたものかどうかを検証しました。その結果、非常に強いp値をもって、基礎分布が同一であるという帰無仮説は棄却されました。最大のp値でも10のマイナス6乗という水準です。
Biswas: また、この人間査読とAI査読の差は、著者からの回答においてより顕著に現れています。一方で、査読者、シニアプログラム委員、エリアチェアからの回答では、この差はより弱いものになっています。これには理由があり、後ほどお話しします。
Biswas: ここで気になるのは、これらの回答が論文の採否によってどう変化するかという点です。この図では、左側の列が採択された論文、右側の列が却下された論文についてのものです。上段が人間査読への回答、下段がAI査読への回答で、いずれも著者からの回答です。
Biswas: まず目を引くのは、人間査読には非常に大きなばらつきがあるという点です。これは科学者としては残念ながらあまり驚くべきことではありません。二つ目に注目すべきは、AI査読の分布は右側にピークがあり、より集中した分布を示しているという点です。これは、私たちが尋ねたほとんどの質問において一貫して見られる傾向です。
Biswas: 次に、これらの回答が事前の印象とどう相関しているかについても見てみたいと思います。「そもそもAI査読は有用だろうと事前に考えていたか」という質問に対しては、およそ57.8%の回答者が、程度の差はあれ「はい」と回答しています。さらに、「この査読はAIに対して自分が事前に期待していた水準を超える能力を示しているか」という質問もしており、多くの人が有用だろうと事前に考えていたにもかかわらず、およそ55%が「事前の期待を超えていた」と回答したことには、私たち自身も驚かされました。
8. 総括:3つの問いへの回答と個人的見解
8.1 3つの問いへの回答
Biswas: それでは、最初に提起した大きな問いに戻りたいと思います。最先端のAIシステムは実際に技術的な理解と関与を行う能力があるのか、これらの査読は人間が書いた査読とどう比較されるのか、そしてこうしたツールはどのように効果的に統合できるのか、という三つの問いです。これらについては話したいことがたくさんあるのですが、できる限り簡潔にまとめてお伝えしたいと思います。
Biswas: 一つ目の問いへの答えは、「イエスであり、ノーでもある」というものです。AIは技術的なエラー、時には深刻な技術的エラーも含めて、それを捉える能力があります。しかしその一方で、数式を正しく読み取る能力には限界があり、問題の深刻度をランク付けすることには難しさがあります。技術的なエラーを見つけることはできても、それが論文の結論を左右するような重大なエラーなのか、それとも簡単に修正できる些細なものなのかを判断することは、また別の話なのです。
Biswas: 二つ目の問いについては、最先端のAI査読は人間の査読とどう比較されるかということですが、平均すると著者は9つの基準のうち6つの基準においてAI査読の方を好んでおり、しかもばらつきも小さいという結果になりました。
Biswas: 三つ目の問い、こうしたツールをどのように査読プロセスに効果的に統合していくかについては、まだまだ多くの検討が必要だというのが答えです。
8.2 登壇者の個人的見解
Biswas: ここからは、私個人の見解をお伝えして締めくくりたいと思います。まず一つ目に、これは極めて意見の分かれるトピックであるということです。これは驚くべきことではないと思います。
Biswas: 二つ目は、これは今回の取り組みを実際にやってみて初めて理解できたことなのですが、唯一絶対に「最適な査読」というものは存在しないということです。査読の焦点は、それが著者向けなのか、査読者向けなのか、エリアチェア向けなのかによってカスタマイズされる必要があります。これは実際の査読の内容にも表れています。詳細なレベルのフィードバックは著者にとっては素晴らしいものです。彼らは自分の研究を改善するための詳細なフィードバックを得られるからです。実際、著者からは「これはAAAIでこれまで受け取った中で最高の査読だ」という声を、こちらから頼んだわけでもないのに寄せられたこともあります。しかし、査読者はというと、一貫してこれを好みません。単純に情報量が多すぎるのです。査読者は、致命的な正確性の問題があるかどうかを見極めようとしています。そしてエリアチェアは、もっと高い視点で物事を捉えようとしており、貢献や意義が課題を上回るかどうか、そして採択すべきかどうかを判断しようとしています。
Biswas: ですので、唯一絶対に最適な査読というものは存在せず、それぞれの対象者に合わせて最適化される必要があるのです。私は、AIの技術的な能力はすでに十分に進歩しており、有用であると確信していますが、それは決して完全無欠ではありません。人間の洞察は依然として不可欠であり、科学の発展は本質的に人間の営みであるということです。
Biswas: そして、潜在的な便益をもたらすシステムを構築すること自体は、それほど難しいことではありません。しかし、同じシステムが悪用されないようにすることは、はるかに困難です。何らかの潜在的な便益を持つシステムというものは、非常に容易に悪用されうるものです。これがまさに難しい部分なのです。ですが私は、人間とAIの能力を相乗的に融合させ、査読というものを楽しく、かつ効果的なものにする道が必ず存在すると信じており、その希望を持ち続けています。あとは、その方法を見つけ出すだけなのです。
Biswas: それでは、チームのメンバーをスライドに映し出したいと思います。残りの時間で質問をお受けしたいと思います。