※本レポートは、Anthropicが公開している「Building Anthropic: A conversation with our co-founders」（https://www.youtube.com/watch?v=om2lIWXLLN4 ）の内容を基に作成されています。動画では、共同創業者のChris Olah氏、Jack Clark氏、Daniela Amodei氏、Sam McCandlish氏、Tom Brown氏、Dario Amodei氏、Jared Kaplan氏が、Anthropicの過去、現在、そして未来について討論を行っています。

登壇者はChris Olah、Jack Clark、Daniela Amodei、Sam McCandlish、Tom Brown、Dario Amodei、Jared Kaplanです。

本レポートでは、約45分の対談内容を要約・構造化しております。なお、本レポートの内容は原著作者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。

関連資料として、以下もご参照ください：

• Anthropicの責任あるスケーリングポリシー（RSP）: https://www.anthropic.com/news/announ...
• Machines of Loving Grace: https://darioamodei.com/machines-of-l...
• キャリア情報: https://anthropic.com/careers
• Claude: https://claude.com

なお、Anthropicは安全性とリサーチに焦点を当てたAI企業で、信頼性が高く、解釈可能で、制御可能なAIシステムの開発に取り組んでいます。

1. チームの形成と初期の動機

1.1 メンバーの出会いと合流の経緯

Chris: 私が最初にDarioとJaredに出会ったのは19歳の時でした。Bay Areaを初めて訪れた際に彼らと出会い、当時彼らはポスドクでした。その後、私がGoogle Brainで働いていた時にDarioが加わり、私たちは隣同士のデスクで働くことになりました。そこでTomとも一緒に働く機会がありました。その後、私たちは全員OpenAIで再会することになり、振り返ってみると多くのメンバーと10年以上の付き合いがあることに気づきます。

Dario: そうですね。私は2015年にJackと出会いました。彼が私のいた会議に来て、インタビューしようとした時でした。当時、私は"Concrete problems in AI safety"をGoogleで執筆していました。

Jack: その通りです。その論文について記事を書いたのを覚えています。私は2016年にAI業界に入る前、ジャーナリストとしてAIの進展を追っていました。特に印象に残っているのは、あなたが私をオフィスに招いてAIについて詳しく説明してくれた時です。その後、私はAIがこれまで考えていたよりもずっと重要な技術だと認識を改めました。

Tom: 私の場合は、DarioとGregを引き合わせる役割を果たしました。私がStripeにいた時、Gregが私の上司でした。そして彼がOpenAIを立ち上げる際に、「私の知る中で最も賢い人物はDarioだ」と紹介したんです。

このように、私たちのチームは主にGoogleとOpenAIという二つの重要な組織での出会いと、その後の協働を通じて形成されていきました。それぞれが異なる経路で出会い、最終的にAnthropicの設立につながっていったのです。チームのコアメンバーの多くが、AIの安全性や倫理的な開発という共通の関心を持っていたことが、後の協力関係を強固なものにしました。

このような長期にわたる信頼関係の構築は、後のAnthropicの文化形成にも大きな影響を与えることになります。特に、チームメンバー間の深い相互理解と信頼は、複雑なAI安全性の問題に取り組む上で重要な基盤となりました。

1.2 AIへの関心のきっかけ

Jared: 私はもともと物理学の研究をしていました。長年物理学に携わっていましたが、正直に言うと退屈してきていました。それに、もっと友人たちと一緒に仕事がしたいとも考えていました。

Dario: 実は、私は明確にJaredを説得しようとしたわけではありません。代わりに、私はAIモデルの結果を見せながら、これらのモデルが非常に汎用的で、単一の用途に限定されないということを示そうとしました。ある時点で、十分な結果を見せた後、Jaredが「ああ、そうだね、それは正しそうだ」と理解を示してくれました。

Jared: そうですね。私は6年ほど教授をしていました。その後、物理学からAIへの転向を決意しました。

Daniela: AIに関する私の認識は、特にOpenAIでの経験を通じて大きく変化しました。最初は単なるテクノロジーの一つだと考えていましたが、スケーリング法則やGPT-3の開発を通じて、この技術が持つ潜在的な影響力の大きさを理解するようになりました。

Jack: 私も2014年にImageNetの結果を時系列でグラフ化し、2015年にはNVIDIAについての記事を書こうとしました。当時、すべてのAI研究論文でGPUの使用が言及され始めていたからです。しかし、ブルームバーグの編集部はこれらのアイデアを完全に狂気だと考えていました。2016年にジャーナリズムからAI業界に転向した時も、「人生最大の過ちを犯している」という警告のメールをいくつも受け取りました。しかし、スケーリングが機能し、技術パラダイムが変化しつつあることを真剣に受け止める必要があると確信していました。

Dario: 確かに、研究者コミュニティの中でもAIの可能性に対する懐疑は強かったですね。しかし、私たちは実際の結果を見て、この技術が本質的に重要な変革をもたらす可能性があることを確信するようになりました。特にGPT-2からGPT-3への発展過程で、その確信はより強固なものになっていきました。

1.3 学術界からAI業界への転身の決断

Jack: 私の場合、ブルームバーグでのジャーナリスト時代、思い切った決断をしました。「フルタイムのAIレポーターとして給料を倍にする」という非現実的な提案をしたんです。もちろん、会社が承諾しないことは分かっていました。翌朝、私は辞表を提出しました。この決断は、実は非常に自然なものでした。毎日アーカイブ論文を読み、Darioのバイドゥ時代の論文を含め、家でも論文を読み続けていた私には、「ここで何か驚くべきことが起きている」という確信があったんです。

Chris: 私は2016年にAI安全性の分野に進もうと考えていました。私はスタートアップの経験もありましたが、自分の数学的な能力に自信が持てませんでした。当時は「意思決定理論に精通していないとAI安全性には貢献できない」という考えが主流で、それは私には向いていないと感じました。しかし、私にはエンジニアリングを通じてAI安全性に貢献できる道があると、OpenAIのチームが示してくれました。

Jared: 私は物理学の教授として6年間働いていましたが、AIの可能性に気づき始めていました。2015年から2016年にかけて、徐々にその確信は強まっていきました。物理学者として、野心的なアプローチを取ることに慣れていた私たちにとって、AIの可能性に賭けることは自然な選択でした。

Jack: 2014年のImageNet結果のグラフ化や、2015年のNVIDIA関連の記事を書こうとした時、多くの人々は私を狂人扱いしました。しかし、すべてのAI研究論文でGPUの使用が言及され始めていたことは、重要な変化の予兆でした。スケーリングが機能し、技術パラダイムが変化することを確信して、確信を持って賭けに出る時だと判断しました。

Chris: 確かに、この分野への参入を決意する際、多くの人々からは懐疑的な反応がありました。しかし、OpenAIでの経験を通じて、エンジニアリングスキルがAI安全性の実現において重要な役割を果たすことが明確になっていきました。これは従来の学術的アプローチとは異なる、より実践的な貢献の形でした。

2. 初期のAI安全性への取り組み

2.1 Concrete Problems in AI Safetyの執筆背景

Dario: 私がGoogleにいた当時、正直に言うと、この論文は別のプロジェクトから逃避するための一種の気晴らしとして始まりました。今では何のプロジェクトだったかも完全に忘れてしまいましたが、Chrisと一緒にAI安全性における未解決の問題を書き出してみようと考えたんです。当時、AI安全性は非常に抽象的な方法でしか語られていませんでした。私たちは、当時進行中だった機械学習の実践に即した形で、これらの問題を具体化できないかと考えたんです。

Chris: そうですね。この論文は実は一種の政治的プロジェクトでもありました。当時、多くの人々は安全性を真剣に受け止めていませんでした。そこで私たちは、人々が合理的だと認める問題のリストを作成し、それらの多くが既存の文献にも存在することを示そうとしました。また、異なる機関から信頼できる著者を集めることも重要でした。私は特に、Google Brainの20人以上の研究者と話をして、論文の公開に対する支持を得ることに時間を費やしました。

Dario: 振り返ってみると、問題設定や強調点という観点では、その論文は必ずしもうまく時代を超えて通用するものではありませんでした。正直に言って、私たちが特定した問題の多くは、今から見ると適切なものではなかったかもしれません。

Chris: しかし、この論文を合意形成のための取り組みとして見た場合、つまりAI安全性という分野に現実的な問題が存在し、それを真剣に受け止める必要があるという認識を広めるという点では、非常に重要な転換点となりました。

Dario: 確かにその通りです。この論文は、それまで抽象的な議論に終始しがちだったAI安全性の問題を、具体的な機械学習の実践に結びつける最初の本格的な試みとなりました。今では7年以上が経過し、この方向性での研究が数多く行われていますが、当時としては非常に斬新なアイデアでした。

2.2 科学界における野心的なアイデアへの抵抗感

Jared: 物理学から来た私にとって、特に初期の頃は違和感がありました。今では皆がAIに熱狂していることを忘れがちですが、Darioと"Concrete Problems"やその他の研究について話していた当時、AI研究者たちは明らかにAIウィンターによって心理的なダメージを受けていたんです。野心的なアイデアや大きなビジョンを持つことが、ある種タブー視されていました。

Dario: その通りですね。2014年には、単に言えないことがいくつもありました。しかし、これは実はAI分野に限った問題ではありません。理論物理学を除く学術界全体が、様々な理由で非常にリスク回避的な組織に進化していったのです。産業界のAI研究部門も、この考え方を踏襲していました。この状況が変わり始めたのは2022年頃だったと思います。

Chris: 保守的であることや敬意を払うことの意味について、興味深い解釈の違いがありました。一つの解釈では、保守的であるとは、自分たちの研究がもたらす潜在的な害や危険性を真剣に考慮することを意味します。しかし、もう一つの保守主義は、アイデアを真剣に受け止めすぎたり、それが成功する可能性を信じることを、ある種の科学的傲慢さとして否定的に捉えるものでした。私たちは後者の考え方が支配的な環境にいたのです。

Jared: これは歴史的に見ても興味深い現象です。例えば、1939年の核物理学における初期の議論を見ると、まさに同じようなパターンが見られます。フェルミのような人物が核兵器の可能性に対して抵抗を示す一方で、シラードやテラーのような人々はそのリスクを懸念して、むしろ真剣に考えることを主張していました。

Dario: おそらく過去10年間で私が学んだ最も深い教訓の一つは、一見すると賢明で常識的に見える合意が、実際には成熟さや洗練さを装った群れ行動に過ぎないことがあるということです。そして、そのような合意が一夜にして変わり得ることを何度か目撃してきました。最初は「自分の考えは正しいかもしれないが、これほど多くの人々が間違っているはずがない」と躊躇していましたが、そういった経験を重ねるうちに、確信を持って賭けに出ることを学びました。たとえ50%の確率でも、誰も提供していない価値を提供できるのであれば、それは十分な意味があるのです。

2.3 OpenAIでの経験と気づき

Dario: OpenAIでの経験で特に印象的だったのは、スケーリング法則に関する研究でした。モデルを大きくすることが継続的に効果を発揮し、それが様々なプロジェクトで不気味なほど上手く機能し続けたんです。最終的に私たちは、GPT-2、スケーリング法則、そしてGPT-3という一連のプロジェクトを通じて密接に協力することになりました。

Jack: 私も覚えています。イギリスのある空港でGPT-2からサンプリングしてフェイクニュース記事を書かせ、その結果をDarioにSlackで送信した時のことを。「これは実際に機能する。大きな政策的影響を持つかもしれない」と私が言うと、Darioはいつもの彼らしく単に「そうだね」と返信しただけでした。

Chris: 私たちがOpenAIにいた頃、安全性への関心は強かったですね。当時は、AIが非常に強力になるものの、人間の価値観を理解できない、あるいは私たちとコミュニケーションさえとれない可能性があるという懸念がありました。そのため、言語モデルは人間の暗黙知を理解する手段として、私たちにとって非常に魅力的でした。

Dario: その通りです。言語モデルに対する強化学習（RLHF）も重要な要素でした。実は、これらのモデルのスケーリングアップの主な理由の一つは、RLHFを適用できるほど十分に賢いモデルを作ることでした。これは、今日でも私たちが信じている安全性とスケーリングの相互関係の始まりでした。

Chris: スケーリングに関する研究は、実はOpenAIの安全性チームの一部として行われていたんです。AIの動向を予測することが、安全性の問題を真剣に受け止めてもらうために重要だと考えていたからです。

Jack: GPT-2のローンチは特に印象的でした。私たちは安全性を重視した少し風変わりなアプローチを取りましたが、それが後のAnthropicでの、より大規模な安全性重視のアプローチにつながっていったと感じています。

Dario: そうですね。GPT-2からGPT-3への進化の過程で、私たちはAIの潜在的な力とそれに伴う責任について、より深い理解を得ることができました。これらの経験は、後のAnthropicでの安全性に関する取り組みの基礎となりました。

3. Anthropicの設立と使命

3.1 会社設立の必然性

Chris: 正直に言うと、私はAnthropicの設立にはかなり消極的でした。まず、世界にさらなるAIラボが必要なのかという疑問がありました。長い間、私は非営利組織を設立して安全性研究に焦点を当てるべきだと主張していました。

Dario: しかし、2020年にGPT-3とスケーリング法則の研究に携わった私たちは、目の前で起きていることを明確に見ていました。もし私たちが早急に行動を起こさなければ、状況を変える機会を失ってしまうという危機感がありました。

Jared: 私も実は会社を設立したいとは全く思っていませんでした。これは私たちの義務だと感じたんです。AIが正しい方向に進むようにするには、これしか方法がないと確信していました。

Chris: そうですね。結局、私たちのミッションを達成するための現実的な制約に向き合い、正直に受け止めた結果として、Anthropicの設立に至りました。

Dario: 私が発明や発見を何か有益な形で行いたいと考えていた時、それはAIへの取り組みにつながりました。そしてAIには大量のエンジニアリングが必要で、最終的には大量の資本も必要でした。しかし、私が気づいたのは、環境を整えず、会社を適切に設立しなければ、多くの要素が技術コミュニティの同じ古い過ちを繰り返すことになるということでした。同じような人々、同じような態度、同じようなパターンマッチングです。ある時点で、私たちは違うやり方でやる必要があると感じるようになりました。

Tom: 私の視点からも、OpenAIでの経験を経て、既存の枠組みの中では私たちが目指す安全性への取り組みを十分に行えないことが明確になってきていました。時には困難な決断が必要でしたが、資本と技術開発の必要性を認識しながら、独自の方法で前進する必要がありました。

3.2 チーム文化の形成

Daniela: Anthropicで最も特別なことの一つは、私たちの間にある信頼関係です。私は以前他のスタートアップでも働いた経験がありますが、これほど多くの人々が同じミッションを共有している組織を見たことがありません。

Tom: その通りです。Anthropicは非常に政治的な駆け引きが少なく、私たちは皆異なる視点を持っていることを意識しながらも、それを前向きに活用しています。私たち経営陣の視点は平均的な従業員とは異なるかもしれませんが、採用プロセスと私たちが築いてきた文化のおかげで、政治的な動きにはほとんど誰もが拒絶反応を示すようになっています。

Daniela: ええ、私は「クラウン・ラングラー（道化師の調教師）」という役割を担っているようなものです。人々はここの人々の優しさについてよく言及します。それは実は極めて重要なことなんです。

Jack: 組織の一体感も非常に重要ですね。製品チーム、研究チーム、信頼・安全性チーム、マーケティングチーム、ポリシーチーム、安全性チーム、すべてが同じ目標、同じミッションに向かって貢献しようとしています。

Dario: その通りです。会社の異なる部門が異なることを達成しようとしたり、会社の本質について異なる理解を持っていたり、他の部門が自分たちの取り組みを妨害していると考えたりする状況は機能不全的です。私たちが最も重要な形で維持してきたのは、会社の一部が損害を与え、他の部分がそれを修復するというような構図ではなく、異なる部門が異なる機能を果たしながらも、単一の変革理論の下で機能しているという考え方です。

Tom: このような文化を維持するために、採用プロセスは極めて重要です。私たちは候補者の能力だけでなく、この文化に適合するかどうかも慎重に評価しています。特に、エゴの低さと協調性は重要な要素です。

Daniela: そして、この文化は拡大とともに自然に広がっています。最も誇りに思うのは、リーダーシップチームと他のメンバーの間で、このミッションに対する純粋な思いが共有されていることです。これは技術業界ではあまり見られない、私たちの取り組みの健全性を示すものだと考えています。

3.3 ミッションと価値観の共有

Chris: このグループの特別な点は、私たち全員が世界をより良くしたいという目的でここにいることです。80%プレッジの導入の際も、全員が「もちろんやろう」という反応でした。この種の信頼関係は極めて稀少で貴重なものです。

Daniela: 私はDarioの功績を高く評価しています。私たちの文化がスケールできた大きな理由の一つは彼の存在です。人々はここの従業員の親切さについてよく言及しますが、これは実は非常に重要な要素なんです。

Tom: 私にとって特に印象的なのは、技術的安全性の組織の深部にいる人々が、実用的なものを作ることの重要性について語り、推論チームのエンジニアたちが安全性について語るのを聞くことです。これは驚くべきことです。私たちの統一された価値観の中で、誰もが実用性、安全性、ビジネスの優先順位付けができているのです。

Dario: その通りです。トレードオフを会社のリーダーシップだけでなく、全員で共有することが重要です。機能不全的なのは、安全性チームが「常にこうすべき」、製品チームが「常にこうすべき」、研究チームが「これだけを気にする」というように、それぞれが異なる方向を向いている状態です。そうなると、トップの人間が十分な情報もないまま決定を下さなければならなくなります。

Jack: 理想的なのは、全員が直面しているトレードオフを共有し、理解している状態です。世界は完璧ではなく、行うことすべてが最適以下になり、両方の良いところを得ようとする試みは思ったほどうまくいかないかもしれません。しかし、全員が同じページにいて、それぞれの立場からこれらのトレードオフに向き合っているという認識を持つことが重要です。

Tom: この価値観の統一は、トップダウンでの取り組みだけでなく、日々の業務の中で自然に育まれています。例えば、Mike Kriegerが安全性の観点から製品のリリースを延期する理由を説明する一方で、Vinayがビジネスの観点からどうやってゴールラインを越えるかを考えるような、バランスの取れた議論が可能になっています。

4. 責任あるスケーリングポリシー(RSP)の開発

4.1 RSPの誕生背景

Dario: RSPは、2022年後半にPaul Christianoと私が最初に議論を始めたのがきっかけでした。当初は、特定の安全性の問題が解決されるまでスケーリングを特定のポイントで制限するという単純な考えでした。しかし、一つの場所で制限して解除するというのは奇妙だと感じ、複数の閾値を設けることにしました。各閾値でモデルの能力をテストし、安全性とセキュリティ対策を段階的に強化していく考え方に発展していったんです。

Tom: 初期の段階で私たちは、これを第三者が行う方が良いと考えていました。一企業から提案が出ると、他の企業が採用する可能性が低くなるだろうと考えたからです。そこでPaulが独自に設計を進め、私たちも独自に作業を進めました。

Dario: Paulが概念を発表してから1、2ヶ月以内に、私たちも自分たちのバージョンを発表しました。多くのメンバーが深く関わり、私自身も少なくとも一つのドラフトを書きました。しかし、複数のドラフトを経て進化していきました。

Daniela: RSPは、米国が憲法を扱うのと同じように、私たちの聖なる文書として扱っています。アメリカが憲法によって暴走を防いでいるように、私たちもRSPによって組織の方向性を確かなものにしています。アメリカの全ての人が「憲法は重要で、それを侵すことは許されない」と考えているように、RSPはAnthropicにとってそのような存在なのです。だからこそ、完成までに何度も繰り返し改訂を重ねる価値があったのです。

Chris: さらに重要なのは、RSPが健全なインセンティブを多層的に生み出していることです。内部的には、各チームのインセンティブを安全性に合わせることができます。なぜなら、安全性の進展がなければ開発がブロックされるからです。また、外部的にも他の選択肢よりも健全なインセンティブを生み出していると思います。

4.2 RSPの実装における課題

Daniela: RSPの実装において、私たちは非常に多くの課題に直面しました。正しいポリシーや評価方法、基準を決定することは、当初考えていた以上に複雑でした。特に新しい技術に対して、何が「安全」で何が「危険」なのかを判断する際のグレーゾーンが大きな課題でした。

Chris: その通りです。技術が非常に新しいため、何かが完全に危険か完全に安全かという明確な区分ができない大きなグレーゾーンが存在します。これらすべての良いことを当初から言っていましたが、実際に明確なポリシーを作成し、それを機能させることは、私が予想していたよりもはるかに困難で複雑でした。

Dario: グレーゾーンへの対応は実際にやってみないと分からない部分が多いんです。私たちの方針は、できるだけ早い段階で実装を試み、何が問題になるのかを実際に確認することでした。問題が起きてから対応するのではなく、早い段階で課題を特定し、解決策を見出すことが重要だと考えています。

Tom: 3、4回の改訂を重ねて初めて、本当の意味で機能するものになります。反復は非常に強力なツールです。最初から完璧なものを作ることはできません。そして、リスクが増大している状況では、できるだけ早い段階で改訂サイクルを回すことが重要です。後になってからでは遅すぎるのです。

Daniela: また、内部の制度やプロセスの構築も重要です。具体的な内容は時間とともに大きく変化するかもしれませんが、それを実行するための筋肉を作ることこそが、本当に価値のあることだと私たちは学びました。

Chris: RSPの実装を通じて、私たちは安全性が解決可能な問題であるという確信を深めています。ただし、それは非常に難しい問題であり、膨大な作業が必要です。自動車の安全性に関する制度が長年かけて構築されてきたように、AI安全性のための制度も必要です。ただし、私たちにはそれほど多くの時間がないため、できるだけ早くAI安全性に必要な制度を理解し、ここで最初に構築していく必要があるのです。

4.3 RSPの組織への影響と効果

Jared: Anthropicのコンピュートを担当している私の視点から見ると、RSPは外部の人々とコミュニケーションを取る際の重要なツールとなっています。特に、技術の進展スピードに対して異なる見方を持つ人々と話す際に有用です。私自身、最初は技術の進展がそれほど速くないと考えていましたが、時間とともにその認識は変化してきました。

Chris: 実際、評価（evals）が組織全体に浸透しています。トレーニングチームは常に評価を行い、モデルが十分に改善され、潜在的な危険性を持つほど高度になったかどうかを判断しています。フロンティア・レッドチームをはじめ、実に多くのチームが評価に関わっています。

Dario: 基本的に全てのチームが評価を生み出しています。私たちはRSPに照らして、特定の懸念事項の有無を測定しているんです。モデルの能力の下限を見極めるのは簡単ですが、上限を把握するのは難しい。だからこそ、膨大な研究努力を投じて、「このモデルは危険なことができるのか、できないのか」を判断しています。チェーン・オブ・ソートや最良の結果、何らかのツール使用など、私たちが想定していない手法で危険な結果が生まれる可能性を常に検討しています。

Daniela: RSPの大きな効果の一つは、安全性という抽象的な概念を具体化できたことです。「モデルのデプロイメントを変更する評価がある」と説明すると、政策立案者や国家安全保障の専門家と具体的な議論ができ、反事実的には生まれなかったような評価の精度向上にも繋がっています。

Tom: RSPの存在によって、組織の一体感も強化されています。何か問題が生じた際に「安全性のため」という漠然とした理由で物事を進めたり止めたりするのではなく、RSPという具体的な基準に照らして判断できます。これにより、私たちが何を懸念しているのかをより明確に示すことができるようになりました。

4.4 RSPの外部への影響力

Jack: RSPが業界に与えた影響は驚くべきものでした。私たちがRSPを公開してから数ヶ月後には、業界の主要なAI企業3社が同様のポリシーを導入しました。インタープリタビリティ研究やAI安全性研究所との協力など、他の分野でも同様の効果が見られています。特にフロンティア・レッドチームの概念は、ほぼ即座に他のラボに取り入れられました。これは望ましい展開です。すべてのラボが深刻なセキュリティリスクをテストすることは重要だからです。

Dario: 私はよく上院議員たちにRSPについて説明する機会があります。その際、「私たちには、自社の製品が盗まれにくく、安全であることを確実にするための仕組みがある」と説明すると、彼らは「それは当然のことだ。なぜすべての企業がこれをやっていないのか？」と反応します。これは興味深い反応です。私たちが何千時間もかけて構築したものが、彼らにとっては当然のことと受け止められているのです。

Daniela: それは私たちの目標でもあります。RSPをできるだけ退屈で普通のものにすること。例えば、財務における監査のような存在にすることを目指しています。

Tom: その通りです。RSPのような安全性への取り組みが競争力に結びつくことで、業界全体が安全性を重視する方向に向かっています。マーケットは実用的な解決策を求めているのです。

Dario: このような波及効果は、技術の安全な発展にとって極めて重要です。単なるシートベルトのように、他社が私たちの安全機能をコピーすることは歓迎すべきことです。これは業界全体を底上げする良い競争につながります。単に「技術開発はしない」と言うのではなく、より良い方法で技術を開発する道筋を示すことで、実際に変化を生み出すことができるのです。

Chris: 私たちのアプローチが成功を収めれば、規制環境から人材の採用、さらには顧客の選好に至るまで、多くの要因が安全性を重視する方向に働くようになります。安全性を損なうことなく競争力を維持できることを示すことができれば、他者もそれに従わざるを得なくなるのです。

5. 安全性と競争力の両立

5.1 市場原理を活用した安全性の普及

Dario: 私たちはこれをトップへの競争だと考えています。もちろん、純粋な上振れの賭けではありません。物事は間違う可能性もありますが、私たちは全員この賭けに合意しています。

Jack: その通りです。市場は実用的なソリューションを求めています。Anthropicが企業として成功すれば成功するほど、私たちを成功に導いた要素を他社がコピーするインセンティブが生まれます。そして、その成功が実際の安全性の取り組みと結びついていれば、業界全体を引き上げる重力のような力が生まれるのです。

Dario: 「シートベルトを作ろう、そして他の人たちにもコピーしてもらおう」というアプローチです。これは良いことです。単に「技術は開発しない」と言うのではなく、「他の誰かよりも優れた技術を開発する」ということを示す必要があります。

Chris: 最終的に、世界が必要としているのは、この技術が存在しない状態から、非常に強力な形で存在する状態への成功的な移行です。企業レベル、そして最終的には業界レベルでこれらのトレードオフに真摯に向き合い、競争力を維持しながら安全性を確保する方法を見つける必要があります。

Dario: これを実現できれば、規制環境から、働きたい場所を選ぶ人々の選好、さらには時には顧客の見方まで、多くの要因が安全性を重視する方向に働くようになります。競争力を犠牲にすることなく安全性を実現できることを示せれば、他社もそれに従わざるを得なくなるのです。

Tom: 私たちの経験から、安全性への投資は市場での強みになり得ることが分かっています。シートベルトの比喩は完璧です。最初は追加コストと見なされるかもしれませんが、最終的にはユーザーの信頼を獲得し、業界標準となっていくのです。これは上向きの競争を生み出す効果的な戦略です。安全性と競争力は、対立するものではなく、相互に強化し合う関係にあるのです。

5.2 顧客からの信頼獲得

Daniela: 顧客との対話で最も印象的なのは、安全性に対する彼らの強い関心です。顧客は幻覚を起こすモデルや容易にジェイルブレイクできるモデルを望んでいません。彼らが求めているのは、有用で無害なモデルです。顧客との会話で頻繁に聞くのは、「Claudeを選んだのは、より安全だと知っているからです」という言葉です。これは市場に大きな影響を与えています。なぜなら、信頼性と信頼性のあるモデルを持つことが、競合他社への市場圧力にもなるからです。

Tom: その通りです。私たちが受けるフィードバックの多くは、安全性についての懸念と直接関連しています。AIの世界的な影響に対する一般の人々の懸念は、私たちの予想をはるかに超えています。ユーザーリサーチでは、単に雇用や偏見、有害性だけでなく、「これは世界を根本的に変えてしまうのではないか」という深い懸念をよく耳にします。

Chris: 特に興味深いのは、ML研究者コミュニティが一般市民よりもAIの強力な力に対して懐疑的な傾向があることです。一般市民は、この技術の潜在的な影響力をより直感的に理解しているように見えます。

Dario: これは私たちの競争優位性にもつながっています。安全性への投資が、顧客からの信頼という形で実を結んでいるのです。特に企業顧客は、自社のビジネスに導入するAIの安全性と信頼性を重視しています。結果として、安全性への取り組みが市場での成功に直結するという好循環が生まれています。

5.3 実用性と安全性のバランス

Dario: トレードオフを組織全体で共有することが重要です。私たちが学んだのは、機能不全的なのは、安全性チームが「常にこうすべき」、製品チームが「常にこうすべき」、研究チームが「これだけを気にする」というように、別々の方向を向いている状態だということです。そうなると、トップの人間が十分な情報もないまま決定を下さなければならなくなります。

Tom: そうですね。私たちはMike Kriegerが安全性の観点から製品のリリースを延期する理由を説明し、同時にVinayがビジネスの観点からどうやってゴールラインを越えるかを考えるような、バランスの取れた議論ができる環境を作り上げてきました。

Daniela: 実際の意思決定プロセスでは、トレードオフを全員で認識し、理解することが重要です。世界は完璧ではなく、行うことすべてが最適以下になり、両方の良いところを得ようとする試みは思ったほどうまくいかないかもしれません。しかし、全員が同じページにいて、それぞれの立場からこれらのトレードオフに向き合っているという認識を持つことが重要です。

Chris: 例えば、深部の技術的安全性の組織にいる人々が実用的なものを作ることの重要性について語り、推論チームのエンジニアたちが安全性について語るのを聞くことができます。これは驚くべきことです。私たちの統一された価値観の中で、誰もが実用性、安全性、ビジネスの優先順位付けができているのです。

Jack: 重要なのは、これらのトレードオフを単に認識するだけでなく、具体的な判断基準を持つことです。RSPはその意味で重要な役割を果たしています。「安全性のため」という漠然とした理由ではなく、具体的な評価基準に基づいて判断を下すことができるからです。

Dario: このバランスを取ることは簡単ではありません。しかし、私たちは「安全か実用性か」という二分法を超えて、両者を同時に追求する方法を見出そうとしています。それは困難ですが、不可能ではないことを日々の実践で示しているのです。

6. 将来への展望

6.1 インタープリタビリティ研究への期待

Dario: インタープリタビリティ研究に興奮を覚える理由は二つあります。一つは明らかな安全性の観点ですが、もう一つは私にとって同じくらい意味のある理由があります。それは、ニューラルネットワークには美しさがあり、私たちがまだ見出していない多くの美しい構造が内部に存在していると信じているからです。

Chris: そうですね。私たちはニューラルネットワークをブラックボックスとして扱い、その内部構造にあまり興味を示してこなかったように思います。しかし、内部を探索し始めると、そこには驚くべき構造が満ちているのです。

Dario: これは生物学との類似性で説明できます。「進化は退屈だ、それは単純なプロセスが長時間実行されて動物を作り出すだけだ」と言うようなものです。しかし実際には、進化が生み出す各生物には信じられないほどの複雑さと構造が備わっています。ニューラルネットワークの学習も同様の最適化プロセスであり、内部には人工的な生物学とも呼べるような豊かな世界が存在しているのです。

Chris: 私は10年後を想像するとワクワクします。書店に入って、ニューラルネットワークのインタープリタビリティに関する教科書や、より正確に言えば、ニューラルネットワークの生物学に関する教科書を手に取る。その中には、私たちがまだ発見していない驚くべき内容が記されているはずです。今はまだ表面を少しずつ掘り始めたばかりですが、次の数年で、次の10年で、私たちは本当に素晴らしい発見をしていくことでしょう。

Dario: そして、これらの発見は単なる学術的な興味に留まらず、より安全で制御可能なAIシステムを構築するための実践的な洞察をもたらすと確信しています。インタープリタビリティは、AIの安全な発展のための鍵となる研究分野なのです。

6.2 政府との協力関係

Jack: 数年前には、「政府がAIシステムを評価・テストするための新しい機関を設立し、それが実際に有能で優れたものになる」と言えば、誰も信じなかったでしょう。しかし、それは現実になりました。政府は、この新しい種類の技術に対応するための新しい「大使館」のようなものを設立したのです。

Dario: 2023年に私とJackがホワイトハウスを訪問した時のことを覚えています。ハリスとライモンドは基本的に「私たちはあなたたちを注視している。AIは非常に大きな問題になるだろうし、私たちは今や本当に注意を払っている」と言いました。

Jack: そして彼らは全くの正しかったですね。これは2018年の時点では誰も予想できなかったことです。当時、誰も「大統領が言語モデルの開発に注意を払っている」とは考えもしませんでした。

Daniela: この政府の能力向上は、私たちの安全性への取り組みとも関連しています。RSPのような具体的な枠組みがあることで、政策立案者との対話がより実質的なものになっています。抽象的な懸念ではなく、具体的な評価基準に基づいて議論できるようになったのです。

Tom: それに加えて、政府機関との協力は、より広範な社会的影響を考慮する上でも重要です。単なる技術的な安全性だけでなく、社会的な影響や倫理的な考慮事項についても、より深い議論ができるようになっています。

Dario: この協力関係の発展は、技術開発と社会的責任の両立という私たちの目標にとって不可欠です。政府の能力が向上し、より洗練された対話が可能になることで、AIの健全な発展に向けた社会的な基盤が強化されていくと期待しています。

6.3 AIの生物学・医療への応用

Daniela: 私が今でも興奮を覚えるのは、Claudeが人々を実際に助けることができる未来についてです。Darioがよく指摘するように、Claudeが既にワクチン開発やがん研究、生物学研究の支援に貢献していることを目の当たりにすることは素晴らしいことです。しかし、3年後や5年後を想像すると、Claudeが人類が直面する根本的な問題の多くを解決できる可能性があると考えると、本当にわくわくします。

Dario: そうですね。生物学は信じられないほど難しい問題で、人々は様々な理由で依然として懐疑的です。しかし、その認識は変わり始めています。AlphaFoldがノーベル化学賞を受賞したことは注目すべき成果でした。私たちは100のAlphaFoldを生み出すことを目指すべきです。

Daniela: 特に印象的なのは、私が25歳の時に国際開発の分野で取り組んでいた問題に、Claudeがより効果的に取り組める可能性があることです。医療へのアクセスや健康の問題など、以前は手作業で取り組んでいた課題に対して、AIを通じてより大きなインパクトを与えられる可能性があります。

Tom: 確かに、健康の観点だけを取り上げても、AIの潜在的な影響力は計り知れません。他の応用分野はさておき、健康分野における貢献の可能性だけでも、この技術の開発に取り組む価値は十分にあります。

Chris: さらに重要なのは、これらの応用が単なる理論的な可能性ではなく、既に具体的な成果として現れ始めていることです。私たちはAIの実用的な価値を示しながら、同時にその安全性と信頼性も確保していく必要があります。

6.4 民主主義の強化へのAIの活用

Dario: 私にとって、将来最も興味深い分野の一つは、AIを民主主義の強化に活用することです。AIが間違った形で構築された場合、権威主義のツールとなる可能性を懸念する声がありますが、逆に、AIを自由と自己決定のためのツールとしてどのように活用できるかを考えることが重要です。

Chris: 確かに、このテーマは他の二つの主要な関心事（インタープリタビリティと生物学応用）に比べてまだ初期段階ですが、同様に重要になっていくでしょう。私たちが懸念するのは、AIが権威主義的な目的に使われる可能性です。そこで重要なのは、AIをどのように自由と民主主義のツールとして活用できるかを具体的に示すことです。

Tom: AIと民主主義の関係について、私たちはまだ表面をなぞっているに過ぎません。しかし、情報へのアクセス、意思決定の透明性、市民参加の促進など、AIが民主主義プロセスを強化できる可能性は広がっています。

Dario: このビジョンを実現するには、技術的な課題だけでなく、社会的、倫理的な考慮も必要です。私たちは、AIがどのように民主的な価値観を支援し、市民の自己決定権を強化できるのか、具体的な方法を模索し続ける必要があります。これは他の二つの優先分野よりも初期段階にありますが、今後の発展が最も重要になる可能性のある分野の一つだと考えています。

Jack: そのためにも、AIの開発において透明性と説明責任を重視し、民主的な価値観に基づいた設計を行うことが重要です。これはRSPの精神とも合致しており、技術の発展と民主主義的価値観の両立を目指す私たちの取り組みの重要な部分となっています。

7. 組織文化における重要な発見

7.1 信頼関係の重要性

Daniela: 私たちの戦略的優位性として最も重要なのは、この場にいる人々の間にある深い信頼関係です。他のスタートアップでの経験を持つTomも同意すると思いますが、大きな組織で同じミッションを共有することは実際にはとても難しいものです。

Tom: その通りだね。私も他のスタートアップを経験してきましたが、Anthropicで最も誇りに感じ、毎日出社して嬉しく思うのは、その信頼関係が組織全体にどれだけうまくスケールしているかということです。

Daniela: リーダーシップチームと全社員の間で、全員がミッションのために働いているという実感があります。私たちのミッションは非常に明確で純粋なものです。テック業界ではあまり見られない、ある種の健全さが私たちの取り組みにはあります。

Dario: そうですね。実は私たちの誰も「会社を設立しよう」とは思っていなかったんです。むしろ、それが私たちの義務だと感じたんです。今いた場所では続けられないと感じて、自分たちでやらなければならないと。

Chris: 2020年のGPT-3の開発時、私たちは全員がその技術に触れ、スケーリング法則を理解していました。そこで、早急に何かアクションを起こさなければ、もう後戻りできない地点に達してしまうと感じたんです。

Jack: 私は信頼関係について、各メンバーが世界をより良くしたいという思いで参加していることを互いによく理解していることが重要だと感じています。例えば、80%プレッジの導入時も、全員が「もちろんやるべきだ」と即座に賛同しました。

Daniela: その信頼関係の維持について、私はClown Wranglerとして呼ばれることもありますが、実際には組織文化のスケーリングに貢献できたことを誇りに思っています。ここの人々の親切さについてよく言及されますが、それは実は非常に重要な要素なんです。

Dario: Anthropicは政治的な駆け引きが非常に少ない組織です。もちろん、私たちはそれぞれ異なる視点を持っていますが、全体的に見て低エゴで、採用プロセスや働く人々の性質として、政治的な行動にほとんどアレルギー反応を示すほどです。

Tom: この信頼関係の基盤があるからこそ、プロダクトチーム、研究チーム、信頼・安全性チーム、マーケットチーム、ポリシーチーム、全ての安全性担当者が、会社の同じ目標、同じミッションに貢献しようとしているんです。これは非常に重要な点です。

Chris: その通りです。他の組織では往々にして、異なる部門が異なる目的を追求していると考えたり、他部門が自分たちの取り組みを妨げていると考えたりする傾向がありますが、私たちはそれを避けることができています。

7.2 部門間の統一性維持

Dario: 私たちの組織の最も重要な特徴の一つは、統一性（unity）です。プロダクトチーム、研究チーム、信頼・安全性チーム、マーケットチーム、ポリシーチーム、全ての安全性担当者が、会社の同じ目標、同じミッションに向かって働いています。

Tom: その統一性の維持について、最も機能不全な状態は、会社の異なる部門がそれぞれ異なることを達成しようとしたり、会社の目的について異なる解釈を持っていたり、あるいは他の部門が自分たちの仕事を妨害していると考えたりすることです。

Daniela: 実際の例を挙げると、Mike Kriegerが安全性の観点から製品のリリースを延期すべき理由を主張する一方で、Vinayがビジネスの観点から「では、これをどうやってゴールラインまで持っていくか」と建設的な議論を展開する様子を見るのは素晴らしいことです。

Chris: さらに興味深いのは、技術的安全性の部門の深いところにいる人々が、実用的な製品を作ることの重要性について語り、一方でインフラエンジニアが安全性について議論することです。これは本当に驚くべきことです。

Dario: この統一性を維持する上で重要なのは、トレードオフを組織の上層部だけでなく、全員で共有することです。機能不全な組織では、安全性チームは「常にこうすべき」、プロダクトチームは「常にこうすべき」、研究チームは「これだけが重要だ」という具合に、それぞれの立場に固執してしまいます。

Tom: そうなると、トップマネジメントは各部門ほど詳細な情報を持っていないにもかかわらず、その間で判断を下さなければならなくなります。それは望ましくない状態です。

Daniela: 私たちが目指しているのは、「私たちは皆、同じトレードオフに直面している」ということを全員に伝えることです。世界は完璧ではありません。あらゆる行動にはトレードオフが伴い、どんな選択も最適とは言えません。しかし、全員がこれらのトレードオフに向き合い、それぞれの立場からベストを尽くすことで、組織全体として前進することができるのです。

Chris: そして、RSP（責任あるスケーリングポリシー）のような仕組みが、この統一性を強化しています。組織のどの部分でも安全性の価値観と一致していない部分があれば、RSPを通じて表面化します。RSPは彼らがやりたいことをブロックすることになり、それによって全員に安全性を製品要件の一部として認識させ、製品計画プロセスに組み込むことを促しているのです。

7.3 プラグマティックなアプローチの価値

Dario: 私たちは早い段階で重要な教訓を学びました。それは「約束は少なく、実行は多く」ということです。現実的であり、トレードオフに正直に向き合うことが重要です。なぜなら、信頼性と信用は特定のポリシーよりもはるかに重要だからです。

Chris: その点について、私は重要な観点を付け加えたいと思います。ある種の物語があって、それは「高潔に失敗する」というものです。安全性を非現実的なやり方で優先し、純粋さを示すために実用性を無視するというアプローチです。しかし、これは実際には自己破壊的です。

Tom: その通りですね。なぜなら、そのアプローチを取ると、結果として意思決定者が安全性を気にしない人々、優先しない人々に限定されてしまうからです。

Daniela: 私たちの経験から、例えばMike KriegerとVinayの協力関係を見ると、安全性の観点から製品リリースの延期を主張する一方で、ビジネスの実現可能性を考慮するという、実践的なバランスが取れています。これは非常に重要な例です。

Dario: そして、市場も実践的です。Anthropicが企業として成功すれば成功するほど、私たちの成功要因を模倣するインセンティブが業界全体に生まれます。その成功が実際の安全性への取り組みと結びついていれば、業界全体を引き上げる重力のような力が生まれるのです。

Chris: 私たちが目指しているのは、インセンティブを適切に整列させ、困難な決定が必要な場合、それが最も証拠が揃っている時点で、正しい困難な決定を支持する最大の力が働く地点で行われるようにすることです。

Dario: そうですね。重要なのは「より少ない約束をして、より多くの約束を守る」というアプローチです。キャリブレーションを保ち、現実的であり、トレードオフに向き合うことです。なぜなら、信頼と信用は、どんな個別のポリシーよりも重要だからです。

Tom: この実践的なアプローチは、RSPの実装にも反映されています。私たちは何度も反復を重ね、実際の運用から学びながら改善を続けています。理想を追求しながらも、現実的な制約の中で最善の結果を追求する。それが私たちのアプローチの本質です。