※本記事は、Alexander Long氏(Pluralis)による講演「Unextractable Protocol Models」の内容を基に作成されています。本講演は、ICLR 2026(リオデジャネイロ)にて開催された「Protocol Learning Workshop」で収録されたもので、Pluralis Researchが主催しています。このワークショップには、分散型・低帯域幅ネットワークを跨いだ大規模モデルのトレーニングに取り組む研究者たちが集いました。動画の詳細情報は https://www.youtube.com/watch?v=_2_S2qzsNXU でご覧いただけます。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。また、プロトコル学習に関する詳細は https://pluralis.ai をご参照ください。
Alexander Long氏は、Pluralisの創業者であり、参加者全員が重みの全体を一度も保持することのない形で分散的にフロンティアモデルをトレーニングする「非抽出可能プロトコルモデル(Unextractable Protocol Models)」を紹介しています。
1. イントロダクションとPluralisの問題意識
1-1. ワークショップ冒頭の挨拶とトークの位置づけ
本日はようこそお越しいただき、ありがとうございます。この日をとても楽しみにしておりました。見知った顔がたくさんあり、皆さんがこのテーマに関心を持ってくださっていることを実感できて、大変嬉しく思います。非常に良いスケジュールが組まれており、私自身も今日は新しい取り組みについてデモをお見せする予定ですので、きっと刺激的な時間になると思います。この分野はまだ生まれたばかりの新しいサブフィールドであり、こうして早い段階から皆さんと知り合い、交流できることを非常に光栄に思っています。今日集まってくださった皆さん、そして共にスライドを準備してくださった他の登壇者の方々にも感謝申し上げます。
私からお話しするのは、基本的になぜPluralisが存在するのか、私たちが何を目指しているのか、そしてより大きな枠組みであるプロトコル学習という分野全体について、その背景と動機をお伝えすることです。
1-2. クローズドウェイトへの批判(社会的影響力・国有化懸念)
現在の基盤モデル層を見渡しますと、リリースと開発には基本的に二つの道筋しかありません。クローズドウェイトとオープンウェイトです。Pluralisが目指しているのは、この二つに加えて第三の選択肢を切り開くことであり、私の見解では、この第三の道こそがはるかに優れたものになると考えています。
クローズドであることがなぜ良くないのかについては、あまり時間を割くつもりはありません。この点については、Ricardoが今日の午後にまるまる一つのトークを行う予定です。ただ、いくつか簡単な所感だけは述べておきたいと思います。この技術はあまりに影響力が大きく、あらゆるものに影響を及ぼしていくでしょう。そして、クローズドな企業体というビークルは、この技術の開発を担うのにふさわしい形ではないと考えています。人々は、大学進学や誰と関係を築くかといった人生の重要な決断を、どのように訓練されたのか、これから何をするのかを外部から解釈することが非常に困難なシステムに委ねてしまっています。私は、この影響が最終的には何らかの形での国有化につながっていくと考えています。したがって、これは単に「企業を信頼できるかどうか」という問題ではなく、いずれこうしたものは何らかの形でアメリカ政府に吸収されていくだろうというのが私の見立てです。そしてこれは非常に危険で望ましくない道筋だと考えています。
1-3. オープンウェイトの持続可能性への疑問
よく言われる「いや、素晴らしいオープンウェイトモデルがあるから大丈夫だ」という逃げ道についても、私は非常に持続可能性に欠けると見ています。誰かが無償で重みセットを公開し続けてくれることに依存し続けるのは間違っていると思うのです。オープンウェイトのAIは、オープンソースソフトウェアとは構造的な性質が大きく異なります。非常にコストがかかるものであり、結局のところ、誰かが莫大な費用を投じ、その成果を無償で提供してくれることに、何らかの形で依存しているにすぎません。そして実際、クローズドな研究所の一部が、最新モデルのオープン化をすでに取りやめ始めている動きも見え始めています。今後も良いオープンウェイトモデルが登場しないと言っているわけではありません。むしろ登場すると思います。ただ、これは長期的には非常に持続不可能な状態だと考えています。関心のある方は、ZAIやMimimaxの目論見書が公開されており、誰でも読むことができます。これらは今や公開企業ですので、クラウド上でこれらの企業の財務状況について非常によく理解することができます。そして実際にそれを読んでみると、状況が非常にはっきりと見えてくるはずです。
1-4. 第三の道としてのプロトコル学習の提案
そこで私たちが望んでいるのが、この第三の道です。「第三の道」「第三のアプローチ」と繰り返し申し上げているのはこのためです。私たちがプロトコル学習という取り組みを通じて実現しようとしているのは、ある種の集団的・大規模分散型のトレーニングであり、そこにはあらかじめ持続可能性が組み込まれている、というものです。
2. 分散トレーニングの技術的困難とCerebras実証実験
2-1. 中央集権前提が崩れることの技術的難しさ
こうしたプロトコル学習を実現しようとする上での問題は、これが技術的に極めて挑戦的だということです。一般に、分散型・多者間でのトレーニングを行おうとする際、中央集権的なトレーニングというのは、一人の人間が計算資源をすべてコントロールし、ネットワーキングも計算資源もすべてを完全に掌握しているという前提の上に成り立っています。高度にネットワーク化され、高度に効率的なデバイス群を持っていることが前提なのです。ところが、こうした前提の多くを取り払ってしまうと、事態は本当に本当に難しくなります。動的な量の計算資源を扱おうとすれば、それだけで通常の研究課題になります。インターネットに接続されたデバイスをかき集めようとすれば、それもまた通常の研究課題になります。スワーム内で異なる種類のデバイスを混在させようとすれば、これもまた通常の研究課題になります。そして、そもそも基本的な通信プリミティブすら存在しません。NCCLやGlooのオールリデュースを使うことはできません。なぜなら、このオールリデュースには多数の参加者が関与し、しかも人々が自由に出入りできてしまうからです。つまり、スタックの隅々に至るまで、あらゆることが変わってしまうのです。
2-2. スタック全面再構築の必要性
事態は非常に難しくなり、検証(verification)も行わなければなりません。私たちはこの問題についてすでにいくつかの研究を発表してきましたが、まだまだやるべきことがたくさん残っています。多くの論文はまだこの問題に取り組み始めたばかりのV1に過ぎません。ここで強調しておきたいのは、目指しているのはPyTorch層より下にあるものすべてを、基本的にまったく別のスタックへと作り替えることだという点です。もうNCCLもGlooもありません。ピアツーピア通信を使わなければならず、しかもその通信はフォールトトレラントでなければなりません。DeepSpeedも使えませんし、Megatron-LMも使えません。これらはすべて中央集権的なトレーニング向けに設計されたものだからです。ですから、多者間トレーニングのための、まったく新しい分散トレーニングプロトコルを一から開発しなければならないのです。これは非常に困難な仕事です。
2-3. 少人数チームでも野心的プロジェクトが可能になったという気づき
ここで一つ興味深いと思う点をお伝えしたいのですが、私はこうしたプロジェクトに少人数のグループが挑戦するというのは、一年前であればまったく非現実的なことだったと考えています。ところが今や、こうしたエージェントを使えば、望むならLinuxカーネルすら再現できるような状況になっています。この生成AIの新時代において非常に興味深いことの一つは、まさにこうした状況が生まれているということです。つまり、非常に小さなチームでも、これほど野心的なプロジェクトに実際に取り組めるようになったのです。DeepSpeedは何百人もの人々が3年をかけて作り上げたものでした。私たちが再現しようとしているのは、まさにそうしたものなのです。
2-4. 「No Zero」実証実験(2024年アルファ版)
昨年、Cerebrasにおいて、こうした研究の多くを盛り込んだ非常に初期のアルファ版トレーニングを実施しました。私たちはこれを「No Zero」と呼んでいます。75億パラメータのモデルで、参加者は約300名、正確には316名でした。皆さん各地に散らばっていました。モデルは分割され、私の記憶では30のブロックに分かれていたと思います。非常に分散されたモデルです。そして360億トークンにわたってこれをトレーニングしました。損失曲線が、中央集権的に行った場合に期待されるものとほぼ同等であることを示すことができました。ただし、このシステムは非常に粗いものでした。非常に不安定で、Cerebrasの全員が一週間ずっとこれを監視していましたし、いつ爆発してもおかしくないと思っていました。とはいえ、これはある種の「見せ場」としては良いデモになりましたし、実際に動作しました。
2-5. システム再構築後の新ラン(50倍高速化)
そして、ここからが興奮するところなのですが、私たちはこの半年間、システムを完全に作り直しました。現在、そのテストの最終段階に入っています。これはまた80億パラメータのランになります。スループットのグラフを見ていただくと、オレンジの線がNo Zero、青の線が新しいシステムです。ここではおよそ50倍のスピードアップを達成しています。デバイス数を調整すればさらに大きな差になるとも言えるでしょう。これは非常に重要なことです。というのも、前回のランは360億トークンで行いましたが、今度は兆トークン規模の予算でこれらのモデルをトレーニングできるようになるからです。しかも、それを現実的な時間の中で実行できるようになります。
3. ライブラン参加とスポット市場の非効率性
3-1. ライブラン紹介と参加方法
そこで、私たちは実際にこれを今まさに立ち上げております。もし興味のある方がいらっしゃれば、dashboardtest.cerebras.aiにアクセスしてみてください。今お話ししているこの最中にも、このランは実際に稼働しており、進行中です。誰でも参加することができます。もし参加したいという方がいらっしゃれば、本物の外部の方々と一緒に最終テストを行えるというのは、私たちにとって非常にありがたいことです。このオーケストレーションはすべてZulipを通じて行っています。community.modal.aiにアクセスしていただければ、ログインリンクが表示されます。私たちはこれをできるだけ小さく、絞り込んだ形に保とうとしており、参加者は研究者のみ、そしてこの会場にいる皆さんにも加わっていただければと考えています。参加方法についての説明も用意されており、非常にシンプルです。クローンして実行するだけで、必要なのはHugging FaceのIDだけです。そして、24ギガバイト以上のRAMを持つGPUであれば、どんな種類のものでも動作します。あるいは、この後お見せするようにスポットインスタンスを使うこともできます。
3-2. コンシューマーGPUのみでのスループット実証
私にとってこれは本当に興味深いことなのですが、これはスループットがデバイス数とともに動くのを実際に目にする、最初の事例の一つです。それが下のプロットに示されています。より多くのGPUが参加してきており、これはすべて昨夜立ち上げたばかりのものです。スループットは着実に上昇しており、現在すべてコンシューマー向けGPUのみで、およそ毎秒100から120トークンを達成しています。この中にはH100は一台も、B200も一台も含まれていません。最も大きなカードでもRTX 6000です。ここで面白いのは、私たちがすべてコンシューマー向けカードを使っているという点に関連して、世界中のGPUのスポット価格を一覧できる社内ツールを持っているということです。ハイパースケーラーからマーケットプレイスまで、あらゆるプロバイダーの情報が含まれています。パスワード付きのリンクを各スライドにも掲載していますので、興味のある方はご覧いただけます。
3-3. AWSスポット市場のボラティリティ観察
ここで私が特に共有したいのは、こうしたスポット市場が、皆さんが実際に想定しているよりもはるかに非効率であるという点です。ここでお見せしているのは、Y軸がFP16での性能をドルあたりで表したもの、X軸が時間です。これはAWSに限定したデータです。AWSはおそらく、こうしたスポット市場の中でも比較的厚みのある部類に入るはずです。そして、あらゆるGPUの種類を見渡してみると、これは非常にボラティリティが高いことが分かります。20%や30%程度の変動ではありません。ドルあたりで得られる浮動小数点演算性能が、6倍から7倍、8倍もの幅で変動しているのです。
3-4. 非効率性の原因分析とコスト削減の仮説
なぜこれほどまでにこの状況になっているのかというと、こうしたデバイスはEFAやInfiniBandで接続されていないため、トレーニングには使うことができず、一台のデバイスとしてしか利用できないからです。ですから、何らかの動的な推論用途になら使えるかもしれませんが、トレーニングに使うことは到底考えられません。私にとって非常に興味深いのは、まさにこの点です。もし私たちのプロトコルが常にこの曲線のフロンティア、つまり最も効率の良い部分を捉え続けることができれば、こうしたスポット市場がこれほど非効率な状態にある限り、7倍から8倍のコスト削減が見込めるという可能性があるということです。しかも、これはAWSだけの話です。Vastのような、いくつかの第三者マーケットプレイスにおける外れ値的なインスタンスを見てみると、価格はさらに常軌を逸したものになっています。サーバーレスに関する話をひとまず脇に置いたとしても、皆さんはほぼ間違いなくGPUに対して払いすぎているはずです。もしきちんと調べてみれば、スポットをあらゆる用途に使うことをお勧めします。使えるのであれば、かなり安く済ませることができます。
4. 非抽出可能性という中核概念とSybil攻撃対策
4-1. 非抽出可能性・非物質化可能性の概念整理
さて、ここまでの話は、集団でトレーニングを行う上でクールなやり方であり、はるかに安価に実現できる可能性を秘めた方法だと思います。しかし、これだけではAI開発における第三の道にはつながらないと考えています。ここに一つ、極めて重要であり、状況を根本から変えると私が考えている性質があります。それが、重みの非抽出可能性(unextractability)です。これは、誰も完全な重みセットを目にすることなく、これらのモデルを集団でトレーニングできるのかという問いです。もしこれを実現できれば、収益をメータリング(計測)する道が開け、さらにモデルの所有権に基づいて参加へのインセンティブを設計する道も開けます。私にとって、これは非常に重要な性質です。この性質がなければ、面白いボランティアベースのトレーニングはできますし、面白い研究もできますが、外部のサプライチェーンから独立した主権的な仕組みを持つことはできません。ですから、Pluralisがこれまで取り組んできたことはすべて、協調的なトレーニングという設定の中で、基本的にこの性質を実現するための方法だったのです。私はこれには二つのバージョンがあると考えています。一つは非抽出可能性(unextractability)で、誰も重みを目にすることができないというものです。そして、もう一つより強いバージョンが非物質化可能性(unmaterializability)で、これはモデルがそもそも一箇所に存在しないというものです。つまり、モデルは参加者間にシャーディングされているのです。これは非常に興味深い性質です。重要なのは、誰も重みを取得できないということではなく、そもそも重みが誰か一人の場所に存在しているわけではない、という点なのです。
4-2. モデル並列の仕組み
これがどのように可能なのか、直感的に理解していただくために説明しますと、大きなトランスフォーマーブロックがあり、それをいくつかのブロックに分割します。基本となるものを得たら、各ブロックをそれぞれ一人の参加者が担当する形にします。F1はある一人の参加者、F2は別の参加者、F3はまた別の参加者、というようにです。これが、私たちがモデル並列に強い関心を持っている理由の一つです。一つには、これによって安価なGPUを使えるようになるという利点がありますが、本当に興味深い性質は、これによってモデルを参加者間に分割できるという点であり、これが持続可能な経済性への道を開くのです。
4-3. Sybil攻撃のシナリオ
続いて、非抽出可能性に関する私たちの研究について簡単にお話しします。特にここで取り上げるのは、Sybil攻撃と呼ばれる一class の攻撃です。仮にモデル並列がうまく機能したとしても、計算資源のプールがあり、パーミッションレスなプロトコルである場合、人々が自由にやって来ては去っていくという問題が残ります。参加者にランダムなステージが割り当てられているという前提に立つと、いずれ彼らはすべての重みを引き出し、プロトコルの外部で組み立ててしまうことができてしまいます。この図では、モデルを縦方向に最初の層から最後の層まで並べたものとしてイメージしていただき、それを時間軸に沿って表現しています。攻撃者は、時間をかけてジグザグに出入りを繰り返しながら、完全な重みセットを引き出そうとします。ですから、このような攻撃に対して頑健であることが求められます。
4-4. 可逆変換による対策手法と実験結果
この研究は昨年NeurIPSに投稿したもので、この問題を形式化し、最初の解決策を提案しています。私はこれを非常に洗練されたアイデアだと考えています。基本的な考え方は、ブロックを分割する際、その境界に可逆変換(invertible transforms)を注入し、それを重みに畳み込んでしまうというものです。これによって、ネットワークパラメータをローカルに歪ませることができ、必要な通信は隣接する二つのノード間のみに限定されます。一方で、ネットワーク全体の機能F自体は維持されます。つまり、ネットワークの振る舞いやトレーニングのされ方自体は変わらないのですが、パラメータは常に変形し続けているのです。そして、この論文の中で、トランスフォーマーには非常に興味深い性質があることを示しています。これらの変換をブロック間に注入し、それを逆方向に重みへ畳み込んでいくと、実際には重みの大部分、具体的にはおよそ80%もの重みが歪められることになります。さらに、私たちはこの点について保証も示しています。つまり、仮にこの歪められた重みを引き出し、異なる時間ステップのものを繋ぎ合わせて、ファインチューンによって元に戻そうとした場合にどうなるかという問いです。私たちはこれが非常にコストが高く、困難であることを示しました。具体的には、その論文の中で、これにはゼロからトレーニングする場合の計算量の60%に相当するコストがかかることを示しています。さらに、これをより強力にするための追加の研究も行っています。この性質によって、誰かがジグザグに出入りしながら重みを収集し、それらを繋ぎ合わせようとしても、時間の異なる重みセットは根本的に互換性を持たなくなるのです。イメージとしては、このネットワークが、トレーニングのされ方とは独立に、常に形を変え続けているという絵を思い浮かべていただければと思います。このオーバーヘッドは非常に低いことも示しており、これは任意の時間ステップでのみこの処理を行えばよいためで、償却されたコストは非常に小さくなります。また、特定のクラスの変換、具体的には直交変換(orthogonal transforms)を用いれば、モデルに対してほとんど影響を与えないということも示しています。
5. 広範な影響・リスクへの考察と結び
5-1. 実現可能性に対する認識の変化
最後にお伝えしたいのは、こうした取り組みがいよいよ実際に機能し始めているということです。一年前であれば、これが実現可能かどうかは非常に不確かなものでした。実際、多くの人々は、これが実現できるということに懐疑的でした。しかし今や、何らかの形でこれが機能するようになるのは間違いないと考えています。そして、そろそろこのことがもたらすより広範な影響について考え始めるべき時期だと思っています。私は、こうした環境でトレーニングを行えるようになることには非常に大きな利点があると考えていますし、その恩恵はマイナス面をはるかに上回ると考えています。
5-2. プロトコル型トレーニング特有の安全性への懸念
一方で、こうした仕組みには安全性の観点から見ると、かなり奇妙な違いがあるとも感じています。これはまだ半ば思弁的な話ではありますが、今のうちからこうした点について考え始めておくのは適切だと思います。決定的な違いは、こうしたプロトコルにおいては、一方的にこれらのシステムを停止させる能力が失われてしまうという点です。もし、こうした仕組みが実際にうまく機能し始め、何千人もの人々がこれらのモデルをサービングするような状況になったとすると、それを止めるためには、参加者による計算資源の一方的な撤退が必要になってしまいます。
5-3. 所有権インセンティブが招くリスクの仮説
そして、もしモデルの性能に基づいて参加へのインセンティブを設計しているのだとすれば、状況はさらに悪くなるとさえ言えるかもしれません。つまり、人々は計算資源を投入することによって、このモデルの所有権を得るという構図になっているわけです。モデルがより優れたもの、より高性能なものになればなるほど、人々はますます計算資源をそこに注ぎ込もうとするインセンティブを持つことになります。なぜなら、彼らはこのモデルの所有権を得たいと考えるからです。これはかなり先の話ではありますが、もしこうしたモデルが非常に優れた、非常に高性能なものになる段階まで到達したとすると、そのインセンティブは、このシステムを稼働させ続けることに働くことになります。誰かが常に計算資源を投入し続けるだろう、ということです。私は、これがリスクをもたらすと考えています。ですから、これは一つの開かれた研究の方向性であり、ここには答えるべき非常に興味深い問いがあると思っています。
5-4. 分野の意義とクロージング
以上が、私たちの大まかな全体像です。最後に一つだけ申し上げて締めくくりたいと思います。私は、これが現在のML研究の中で最も刺激的な領域だと考えています。研究成果そのものが、基盤モデルがどのように作られ、所有され、分配されるのかということに直接影響を与えうる、数少ない領域の一つだからです。こうしたものはあらゆることに影響を及ぼしつつありますので、これは社会全体に直接影響を与えることになります。他のすべての領域では、モデルをより良くすることはできるかもしれません。しかし、この領域は、誰がこれらのものをコントロールし、誰がそれを統治するのかということそのものを変えることになります。ですから、この分野における研究の影響力というのは、他に類を見ないものだと私は考えています。今まさに起きていることなのです。
私たちFaros(Pluralis)は、共同研究に対して非常にオープンな姿勢を持っています。皆さんと一緒に取り組んでいきたいと考えています。この研究領域は非常に開かれており、どの方向を見ても、書かれるべき論文があり、基礎となるべき論文がまだ書かれていません。これは本当に刺激的なことです。皆さんとここでご一緒でき、こうしてお話しし、共に取り組めることを大変嬉しく思います。
以上が全体像です。もしこのランに参加してくださる方がいらっしゃれば、非常にありがたく思います。参加プロセスについてフィードバックがあれば、これが私たちが立ち上げ前に行う最後のテストになります。それでは、これを始めていきたいと思います。皆さん、本当にありがとうございました。心より感謝申し上げます。