2024-07-16 GLOCOM六本木会議オンライン :生成AI時代の世界のAI規制・ガバナンス政策動向

※本記事は、2024年7月5日に開催されたGLOCOM六本木会議オンライン第80回「生成AI時代の世界のAI規制・ガバナンス政策動向」の内容を基に作成されています。本セッションは、Zoomウェビナーとして約120名のリモート参加者にライブ配信されました。本記事では、講演の内容を要約しております。なお、本記事の内容は登壇者の見解を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの講演映像をご覧いただくことをお勧めいたします。

登壇者プロフィール：

市川類氏（講演者） 東京工業大学データサイエンス・AI全学教育機構 特任教授／一橋大学イノベーション研究センター特任教授。1990年東京大学大学院修士課程、1997年MIT修士課程、2013年政策研究大学院大学博士課程修了。通商産業省（現経済産業省）、内閣官房IT総合戦略室内閣参事官、産業技術総合研究所人工知能研究戦略部長等を歴任。専門は社会システムの観点からの技術・イノベーション政策研究、特にデジタル・人工知能などの先端技術分野。

前川徹氏（モデレーター） 東京通信大学情報マネジメント学部教授／GLOCOM主幹研究員。1978年通商産業省入省後、IPAセキュリティセンター所長、早稲田大学大学院客員教授等を経て現職。一般社団法人コンピュータソフトウェア協会専務理事、国際大学GLOCOM所長等も歴任。

司会：小林奈穂（GLOCOM六本木会議 事務局/国際大学GLOCOM 主幹研究員・研究プロデューサー）

1. はじめに

1.1 講演者紹介と背景

本講演は、東京工業大学データサイエンス・AI全学教育機構特任教授および一橋大学イノベーション研究センター特任教授を務めている市川類氏による、生成AI時代における世界のAI規制・ガバナンス政策動向についての分析と展望を示すものです。

市川氏は1990年に東京大学大学院修士課程、1997年にMIT修士課程を修了し、2013年に政策研究大学院大学で博士号を取得しています。同年に通商産業省（現経済産業省）に入省後、技術・イノベーション政策の立案に従事してきました。2013年には内閣官房IT総合戦略室内閣参事官、2017年には産業技術総合研究所人工知能研究戦略部長を歴任し、2020年から一橋大学イノベーション研究センター教授を務め、2023年より現職に就任しています。

専門領域は社会システムの観点からの技術・イノベーション政策研究であり、特にデジタル・人工知能などの先端技術分野を対象としています。昨年8月の講演「生成AIの社会的リスクと世界のAI規制ガバナンス政策動向」から約10ヶ月が経過し、その間にEU AI法の成立をはじめとする重要な進展があったことを踏まえ、最新の動向について報告を行うものです。

本講演は、2024年7月5日にZoomウェビナーとして約120名の参加者に向けて配信されました。前回の講演から世界のAIガバナンスを取り巻く状況は大きく変化しており、特にAI安全性に関する国際的な議論の活発化や、各国における規制・制度整備の具体化など、重要な展開が見られています。これらの変化を踏まえ、最新のグローバル動向と今後の展望について包括的な分析を提供することが本講演の目的です。

1.2 AIガバナンスの基本的考え方

市川氏は、AIガバナンスの基本的考え方について、革新的技術と社会の関係性から説明を始めています。「技術というのは革新的でインパクトの大きなものであれば、それは社会にも非常に大きな影響を与えるので、一般的にはいろんな社会的なリスクを引き起こすだろう」と指摘しています。

この点について、自動車の例を挙げながら説明を展開しています。「自動車ができると交通事故が起き、それに対していろんな安全の枠組みがつけられる」という歴史的な事例を示しながら、技術の発展に伴うリスクとガバナンスの必要性を説明しています。

しかし、AIの場合は従来の技術とは異なる特殊性があることを強調しています。「AIの場合は、実際に現実的なリスクが起きなくても、将来的な不安感が生じて、それに対して今どう対応するのかというのが、すごく今大きな議論になってきている」と述べ、AIガバナンスが直面する独特の課題を指摘しています。

さらに、この状況がもたらす現代的な課題として、「イノベーションを進めつつ、そのガバナンスをどうしていくのかというところが今一緒に議論されている」と説明しています。これは、従来の技術革新とガバナンスの関係とは異なり、AIの場合は技術の発展と同時並行で制度設計を考えていく必要があることを示唆しています。

市川氏は、この状況について「すごく変わった動き」と表現し、AIガバナンスが直面する独特の課題として、以下の2点を挙げています：

1. 実際のリスクへの対応：現実に発生している、あるいは予見可能な具体的なリスクへの対処
2. 将来的な不安感への対応：技術の発展に伴う潜在的なリスクや社会的影響への予防的な対応

このように、AIガバナンスは、現実のリスクと将来的な不安の両方に対応する必要があり、そのバランスをどのように取るかが重要な課題となっていることを示しています。

2. AIガバナンスの経緯と特徴

2.1 第3次AIブーム以降の変遷

市川氏は、AIの進化について2つの重要な視点から分析を展開しています。「元々ご案内のようにあの人工知能という名前がそのダートマス会議1950年代で決まれて基本的に人間のような知能を作ろうという研究として始まっている」と、AIの歴史的な起源を説明しています。

しかし、第3次AIブーム以降、AIの性質は大きく変化してきたことを指摘しています。「第3次AIブーム以降何が起きているかというと、人間のような機能ではあるんですけれども、基本的にはコンピューティング技術がどんどん高度化している」と述べ、AIの本質的な変化を説明しています。

具体的には、「人間のような機能も含めてですね、基本的には人間が期待される出力を出すようなアウトプットのコンピューターがどんどん向上してきている」と、AIの進化の方向性を明確に示しています。

この技術的進化に伴い、社会的な影響も顕在化してきています。市川氏は「これはこれでですね、やはりすごく確信的な技術なので実際にいろんな社会的なハレーションも起こしてリスクを起こすということが実際として起きる」と指摘し、技術の発展と社会的リスクの関係性を説明しています。

さらに興味深い点として、実際のリスクと並行して、将来的な不安感も生じていることを指摘しています。「このまま進んでいくと人間のようなAIができるんではないか、それはなんとなく怖いよね。いわゆるAGIと言われるような汎用AIが出てきて怖いんじゃないか」という社会的な懸念が生まれていることを説明しています。

このように、第3次AIブーム以降のAIは、単なる技術的進化にとどまらず、社会的影響や将来への不安感を含む複雑な様相を呈していることが示されています。これらの変化は、AIガバナンスの在り方にも大きな影響を与えており、技術と社会の両面からの対応が必要とされていることを浮き彫りにしています。

2.2 各国・地域のアプローチの違い

市川氏は、AIガバナンスにおける各国・地域のアプローチの違いについて、特徴的な3つのパターンを指摘しています。

まず、EUのアプローチについて、「ヨーロッパを中心とする厳しく規制をしていこうという国々」と特徴づけています。この背景には、EUの組織的特性が深く関係していると説明しています。「欧州というのはあの国ではなくて国の上に立っているえっと国際組織でありますので、そういった意味で言うと、彼らのミッションというのはヨーロッパを単一市場を作ることである統一規制を作ることが仕事」だと指摘しています。

これに対してアメリカは、「各分野ごとの法体系があるのでその中で対応していきましょう」という水平的な規制アプローチを取っていると説明しています。市川氏は、このアプローチについて、「イノベーションをするよりはとりあえずは統一の法規性を作るのがメインミッション」であるEUとは異なる特徴を持つと分析しています。

日本のアプローチについては、「ソフトロー、自発的取り組み」という特徴を持つと指摘しています。このアプローチは、厳格な規制や分野別規制とは異なり、より柔軟な対応を可能にする一方で、実効性の確保という課題も抱えていると示唆しています。

特に興味深い点として、市川氏は「GDPRの成功を踏まえてAIは頑張ろう」というEUの姿勢を指摘し、EUの規制が「デファクトの基準となってく」可能性を示唆しています。これは、EUの市場規模と規制の影響力が、グローバルなAIガバナンスの方向性に大きな影響を与える可能性を示しています。

このように、各国・地域のアプローチの違いは、単なる政策の違いではなく、それぞれの統治構造や市場特性、さらには規制に対する基本的な考え方の違いを反映していることが明らかにされています。

2.3 文化的・社会的背景の影響

市川氏は、各地域のAIガバナンスアプローチの違いについて、文化的・社会的背景から興味深い分析を展開しています。

まず、欧米のアプローチについて、キリスト教的な世界観との関連を指摘しています。「背景としてキリスト教一神教があり、神様と人、それ以外のものは別であり、知性のある神様が唯一知性のある主体として人を作った。その人が知性ある主体を人間が作るというのはけしからん」という考え方が、AIに対する慎重な姿勢の根底にあると分析しています。

この文化的背景は、大衆文化にも反映されていると市川氏は指摘します。「基本的には人間に危害をもたらすようなロボットがよく出される」という欧米のポピュラーカルチャーの特徴を挙げ、これが社会的な警戒感の形成に影響を与えていると論じています。

一方、日本の場合は「人も人工物もあんまり区別はない、どちらにも生命あるいは神様が宿ってもしかおかしくない」という文化的背景があると指摘しています。これは「鉄腕アトムやドラえもんを始めとする味方とするロボット」という文化的表現にも表れており、AIに対するより受容的な姿勢につながっているとします。

これらの文化的差異は、実際の政策にも反映されています。市川氏は2019年に欧州と日本がそれぞれ発表したAI倫理原則を比較し、「ヨーロッパでは基本的には人間が機械を管理しなければならない」という立場が強調される一方、日本では「悪用しないようにしましょう、依存しないようにしましょう」という、より協調的なアプローチが取られていることを指摘しています。

さらに、統治体制の違いもアプローチの差異に影響を与えていると分析しています。特にEUについて、「国ではなくて国の上に立っている国際組織」であるという特性上、「統一規制を作ることが仕事」となっており、これがより厳格な規制アプローチにつながっていると説明しています。

このような文化的・社会的背景の違いは、今後のAIガバナンスの国際的な調和を図る上で重要な考慮要素となることを示唆しています。

3. 生成AI登場後のグローバル動向

3.1 世界的な関心の高まりと変化

市川氏は、生成AI、特にChatGPT登場後の世界的な反応について、Googleトレンドのデータを用いて興味深い分析を展開しています。

「第3次AIブームの時は日本が先行した」と指摘しつつ、現在の状況は大きく異なることを示しています。具体的に、日本と世界の反応の違いについて、以下のような特徴的な差異を指摘しています：

「日本というのはあの普通の技術もそうなんですけど、一度その関心が高まると盛り上がるんですが、その後普通に下がってくというのは普通によくあるパターン」と説明する一方で、「今世界ではそれどころではない、引き続き高くなっている」と、反応の持続性の違いを強調しています。

特にChatGPTに関して、「日本は2000年、去年1年前くらいにものすごい関心が高まりますが今落ち着いている」のに対し、「世界で見るとそれどころではない」状況が続いているという対照的な状況を指摘しています。

さらに、AIに対する関心の質的な変化についても言及しています。2019年のOECDのAI原則が策定された頃は「AI倫理という言葉が流行って」いましたが、2023年以降は「AIリスクとか、AI安全とかそういった言葉」への関心がより高まっていることを指摘しています。

市川氏は、この変化について「倫理という言葉ではなくなりつつある」と述べ、より具体的なリスクや安全性への関心にシフトしていることを示唆しています。これは、AIに対する社会的認識が、抽象的な倫理的議論から、より具体的な安全性やリスク管理の問題へと移行していることを示しています。

このような日本と世界の反応の違い、そして関心の質的変化は、今後のAIガバナンスの方向性に大きな影響を与える可能性があることを示唆しています。世界的な議論が「これどうしていくんだ」という具体的な対応策の検討に移行している中で、日本の議論との温度差が生じている点は、特に注目すべき課題として浮かび上がっています。

3.2 AIリスクと安全性への懸念

生成AIの登場以降、AIがもたらすリスクに対する認識は大きく変化しています。市川氏は、特に注目すべき懸念として、人類絶滅リスクへの警告を挙げています。

「生成AIが出てきた時に、いわゆる汎用AIみたいなところの将来的な不安感が、特に欧米を中心に議論になっています」と指摘し、具体的な事例として、「昨年の3月に開発を中止せよとか、AIが人類の滅亡を招くとこういう議論が欧米では議論されています」と説明しています。

さらに具体的な数字として、「CEOの42%が人類を破滅させる」という調査結果を引用し、この懸念が一部の専門家だけでなく、産業界のリーダーたちにも共有されていることを示しています。これらの懸念は英語では「Existential Risk」や「Risk of Extinction」として表現され、AIが人類の存続そのものを脅かす可能性が真剣に議論されているとしています。

特に興味深い点として、市川氏は欧州委員会のフォン・デア・ライエン委員長の一般教書演説を引用し、「日本で言うと総理が国会の冒頭演説でこれを話するぐらいの話のことがヨーロッパでは普通に受けられている」と、この問題に対する認識の地域差を指摘しています。

しかし同時に、「誰もよく分からない」という現状も指摘しています。「本当に人類の絶滅リスクなんてあるのかっていうと、誰もよくわからないというのが正直なところ」と述べ、この不確実性が国際的な対応をより複雑にしていると分析しています。

この状況に対して、「とりあえずなんとなん何らかの規制はしないといけないよねとは思いつつも、それと並行してAIがどんなリスクを起こすのか、不安感はあると私は申し上げましたけれども、それが具体的にどういうリスクを行かをちゃんと研究しないといけない」という、二段構えのアプローチの必要性を提言しています。

このように、AIリスクに対する認識は、具体的な危険性の評価が十分でない中で、予防的な対応の必要性が国際的に議論されるという特異な状況にあることが示されています。

3.3 フューチャー・オブ・ライフ・インスティテュートの動き

フューチャー・オブ・ライフ・インスティテュート（FLI）は2023年3月に、GPTの開発を中断すべきとする公開文書を発表し、大きな反響を呼びました。市川氏は、この動きについて「イロン・マスクやベンジョ氏らが署名した」と指摘し、テック業界の重要人物たちがこの懸念を共有していたことを強調しています。

この公開文書に関して、市川氏は特徴的な現象を指摘しています。「3万人以上の方が署名しているわけですが、日本人はほとんど署名していない」と述べ、AIに対するリスク認識の日本と海外の温度差を具体的に示す事例として挙げています。

さらに、2023年5月末には、AI安全センターが「AIによる絶滅リスクの軽減というのは、核とかパンデミックと同じくらい重要です」という簡潔な声明を発表しました。市川氏はこの声明について、「サム・アルトマン自身も署名した」と指摘し、OpenAIのCEOという立場にありながら、自社の技術開発がもたらすリスクについて警鐘を鳴らしていることの重要性を強調しています。

特に注目すべき点として、市川氏は「この文書が9月に欧州委員会のフォン・デア・ライエン委員長の一般教書演説で引用されるくらいの話で、ヨーロッパでは受け入れられている」と指摘しています。これは、当初は一民間団体による警告であったものが、EU最高レベルの政策議論にまで影響を与えるまでに至ったことを示しています。

市川氏は、この状況を「日本で言うと総理が国会の冒頭演説でこれを話するくらいの話のことが、ヨーロッパでは普通に受けられている」と比喩的に説明し、AIリスクに対する認識の地域間格差の大きさを浮き彫りにしています。

このように、FLIの動きは、AIの開発に対する懸念が、単なる技術的な問題提起から、国際的な政策議論のレベルにまで発展していく過程を示す重要な事例となっています。同時に、この問題に対する日本と海外の認識の差という課題も明確に示しています。

4. G7/OECDの取り組み

4.1 広島AIプロセス

市川氏は、2023年4月から5月にかけて開催されたG7での広島AIプロセスについて、日本のリーダーシップと国際協調の新たな展開として詳細な分析を提供しています。

「日本がリードした」と指摘しつつ、この取り組みの特徴的な点として、「世界各国でAIガバナンスに多様性があるというところが明確に明記され」たことを挙げています。これは、従来の国際的な取り組みと大きく異なる特徴であり、各国の独自性を認めながら協調を図るという新しいアプローチを示しています。

具体的な問題意識として、市川氏は「やはりそこの相互運用性をいかに確保していくかというのが元々の問題意識として書かれています」と説明しています。これは、各国の規制アプローチの違いを認めつつ、国際的な整合性をどのように確保するかという課題に対する取り組みを示しています。

広島AIプロセスの重要性について、「この取り組みは世界的にも高く評価されています」と指摘し、その理由として以下の点を挙げています：

1. 日本のアプローチが「リスクを評価、低減しようとか、絶滅のリスクがあるから規制しようとかは全く考えていなくて、ルール形成に貢献しようというスタンスから始まった」という特徴的な立場
2. 「民間、いわゆるビッグテックからも含めて、日本は中立的な観点から取り組んでくれた」という評価

このように、広島AIプロセスは、各国の多様性を認めつつ、実効性のある国際協調の枠組みを構築しようとする試みとして位置づけられています。市川氏は、この取り組みが「その後のG7の首脳という形で国際指針と国際行動規範」の策定につながっていったことを指摘し、その重要性を強調しています。

特に、この プロセスが「総合運用性をいかに確保してくか」という視点を重視していた点は、その後の国際的な協調体制の構築に大きな影響を与えたと評価されています。これは、単なる規制の統一ではなく、各国の独自性を保ちながら国際的な整合性を確保するという、より現実的なアプローチを示すものとなっています。

4.2 国際行動規範の策定

市川氏は、2023年10月末にG7首脳による国際指針と国際行動規範の策定について、その内容と意義を詳細に解説しています。

「23年後半以降、23年7月に出たアメリカの自主的コミットメントの話に加えて、カナダとかイギリスとかも同じように自主的なコミットメントみたいなところを取り組んでいます」と説明し、この国際行動規範が各国の個別の取り組みを統合する形で形成されてきた経緯を示しています。

具体的な行動規範の内容について、市川氏は以下のような体系的な整理を提示しています：

第一に、リスク管理の基本的なフレームワークとして、「リスクの特定・評価・軽減をしましょう」という基本的なアプローチが示されています。

第二に、セキュリティ面での具体的な対応として、「サイバーセキュリティ的な話が入って、レッドチームの対応をしましょう」という実践的な要素が含まれています。特に、「一般リリースした後も脆弱性があったら外部から報告してもらう体制を作りましょう」という継続的なモニタリングの重要性が強調されています。

第三に、データの取り扱いについて、「プライバシーとか著作権とかそういったところに気をつけます」という規定が含まれています。

さらに、将来的な課題への対応として、「リスク研究をちゃんと推進しましょう」という研究開発の側面も重視されています。特に「コンテンツを識別するものに対して取り組みましょう」という具体的な研究課題も示されています。

ガバナンス体制については、「ちゃんとしたガバナンスマネージメント体制を作りましょう」という基本方針のもと、「どういうリスク管理をしているかというのを情報公開する」という透明性の確保が求められています。

特に注目すべき点として、LLM（大規模言語モデル）に関する規定があり、「LLMをとかそういったものを作った場合、それがどういった能力でどれくらいの厳格があってどういう風に利用して欲しいのかということはちゃんと使う側がリスク関係でできるように」という具体的な要件が示されています。

市川氏は、これらの規定が「大体同じようなことを言っていて」と指摘しつつ、各国の取り組みを統合する形で形成された包括的な枠組みとなっていることを評価しています。

4.3 フレンズグループの形成

市川氏は、G7の取り組みがより広範な国際協力へと発展していく過程として、フレンズグループの形成に注目しています。

「5月にOECD各料理で吉田総理の方からフレンズグループを作る」という提案がなされ、「元々は7カ国8カ国のG7が中心だったわけですが、特にOECDを含めてそれ以外にもこれを進めていこう」という形で展開されていったことを説明しています。

このフレンズグループの形成は、AIガバナンスに関する国際的な協力体制の拡大を象徴する動きとして重要です。市川氏は、特にOECD AIガバナンス原則の改正との関連性を指摘しています。「AI原則がそれなりにかなり書き換えられています。元々AI原則は2019年にできたわけですが、今回その広島AIプロセスでの対応を踏まえると、元々の原則論もかなり書換えないといけない」と述べ、国際協力の深化に伴う既存枠組みの進化の必要性を強調しています。

具体的な変更点として、「AI原則の2ポは元々人間中心の価値観及び公平性だったわけですが、法の支配人権民主的価値とかこういったとこも書きます」という例を挙げ、より包括的な価値観の導入が図られていることを説明しています。

さらに、「AIシステムという定義が一応ここで再度改正されておりまして、これが今デファクトということでいろんなEUとかアメリカとか国連とかが使うようになってきて、ほぼこれが世界的な標準になりつつある」と指摘し、フレンズグループを通じた協力が実質的な国際標準の形成にも寄与していることを示しています。

このように、フレンズグループの形成は、単なるG7の拡大にとどまらず、AIガバナンスに関する国際的な共通理解と協力体制の構築に重要な役割を果たしていることが示されています。

5. アメリカの政策動向

5.1 AI安全に関する大統領令

市川氏は、2023年10月末に発表されたAI安全に関する大統領令について、その特徴と重要性を詳細に分析しています。

「今回の大統領令のポイントは、やはり安全保障・安全が全面的に出てきたというところがポイントになっています」と指摘し、これまでのAIガバナンスとの大きな違いを強調しています。従来型のプライバシーや公平性に関する規定も含まれているものの、安全保障面での規制が特に重視されている点が特徴的です。

基盤モデルの規制について、市川氏は「従来型のプライバシーとか公平性にかかるのもあるんですけれども、安全性とセキュリティのところがすごく書かれていて」と説明し、特に「療養技術という観点から基盤モデルを規制しましょう」という新しいアプローチが導入されていることを指摘しています。

具体的な規制内容として、以下の要素が含まれていることを説明しています：

1. サイバーセキュリティ対策の強化
2. CBRN（Chemical, Biological, Radiological, Nuclear）との関連性への対応
3. 合成コンテンツへの規制
4. オープンソースAIの取り扱い

特に注目すべき点として、市川氏は「一応、基盤モデルのえ報告の義務付けをしたと書いてありますが、中身がですね実は公表されてなくて本当に義務付けしたのかちょっとよくわからない」と指摘し、規制の実効性についての課題も示唆しています。

また、政府機関のAI利用に関するガイドラインについて、「各省庁にCaioを作らなければいけないとかAI委員会を作らなきゃいけない」という具体的な組織体制の整備要件が示されていることを説明しています。さらに、「省庁の戦略を策定しなきゃいけない」という戦略面での要求も含まれており、包括的なガバナンス体制の構築が目指されていることを指摘しています。

このように、アメリカの大統領令は安全保障を重視しつつ、基盤モデルの規制から政府機関の体制整備まで、幅広い観点からAIガバナンスの枠組みを構築しようとしている点が特徴的であることが示されています。

5.2 安全保障面での対応

市川氏は、アメリカの安全保障面での対応について、特に重要な3つの側面から分析を展開しています。

まず、サイバーセキュリティの強化について、「国土安全保障層がロードマップを作る」と説明し、これは「大統領令に基づいてAI安全セキュリティ委員会というのが立ち上げて、特に重要インフラに対する対応というのを今後検討する」という包括的な取り組みの一環であることを指摘しています。

次に、CBRNとの関連性について、特に注目すべき展開があったことを説明しています。「科学兵器生物兵器放射性核兵器との関係についての報告書も一応まとめています」と述べ、具体的な懸念として「物理とか生物でSSAIが使われて新しい物質とか作れるようになってきて、それがバイオ兵器科学兵器に使われないか」という問題を指摘しています。さらに、「生成AIが誰でも使えるようになってくると、テロリストを含めて悪意あるアクターが使う可能性がある」という新たなリスクシナリオも示されています。

クラウド企業への報告義務については、特徴的な新しい規制として説明されています。「アメリカのクラウド系企業に対して外国の許が変なことをしてる場合には政府に報告してください」という要件が設けられ、これは「もう安全保障的な発想から入っている」と分析しています。

これらの対応は、市川氏によれば、まだ「今後どうしてか、関係者を含めてコンセンサスを得ていく必要があるだろう」という段階にあり、具体的な実施方法については「引き続き」検討が必要とされています。同時に、「AIを使って守るためにはどうすればいいかという視点も検討する」という、防衛的な側面も含めた包括的なアプローチが検討されていることを指摘しています。

このように、アメリカの安全保障面での対応は、従来のサイバーセキュリティの枠を超えて、CBRN対策や国際的な監視体制の構築まで含む広範な取り組みとして展開されていることが示されています。

5.3 AI安全研究所の設立

市川氏は、アメリカのAI安全研究所の設立について、その設立経緯と特徴的な取り組みを詳細に説明しています。

大統領令の翌日に発表されたイニシアティブにおいて、「イギリスと同様にAI安全研究所を作る」という方針が示されました。この動きは単なる研究機関の設立にとどまらず、政府のAI利用や軍事利用の政策変更を含む包括的な取り組みの一環として位置づけられていると市川氏は指摘しています。

特に注目すべき点として、2023年11月の設立後、わずか3か月後の2024年2月には「200何者からなるコンソーシアムをもう既に作った」という迅速な組織化を達成したことを挙げています。これは、アメリカの産学官連携の効率性と、AI安全性への高い関心を示す具体的な事例として評価されています。

さらに、5月には組織のビジョンを策定し、「AI安全研究所の国際ネットワーク」の構築を提案しています。市川氏は、これがソウルでのAIサミットでの議論とタイミングを合わせて発表されたことの戦略的意義を指摘しています。

「研究開発とリスク評価の実施」について、市川氏は「どんな体制で、どういう評価をしているのかまだ具体的には見えていない」としながらも、「スピード感を持って進められている」と評価しています。

このように、アメリカのAI安全研究所は、国内の組織化から国際的なネットワーク形成まで、包括的かつ迅速な取り組みを展開していることが示されています。ただし、具体的な研究内容や評価手法については、今後の展開を注視する必要があることも指摘されています。

6. 欧州の政策動向

6.1 EU AI法の成立

市川氏は、2021年4月に提出された欧州AI法案が2024年5月に成立するまでの経緯と、その特徴的な内容について詳細な分析を提供しています。

「大きな構造としては禁止AI、それからハイリスクAI、透明性義務、その他というのが以前あったわけですが」と説明した上で、今回の成立版で特に注目すべき点として、「汎用目的AIシステム（General Purpose AI）という新たな定義が導入され、ここで基盤モデルの規制を行う」という重要な変更が加えられたことを指摘しています。

この新しい規制の枠組みについて、市川氏は以下のような重層的な構造を説明しています：

1. 汎用目的AIモデルの定義と全般的な規制
2. システムリスクを有する汎用目的AIの特定
3. これらに対する義務付けと行動規範の策定

特に注目すべき点として、「共同規制的な発想がこの中に組み込まれている」と指摘し、従来の一方的な規制アプローチとは異なる新しい規制手法が採用されていることを説明しています。

また、3年前の当初案から「中身はまたちょこちょこと変わっています」としながらも、「大きな構造は変わりません」と述べ、EUのAI規制に対する基本的なアプローチの一貫性を指摘しています。

市川氏は、このEU AI法の成立について、「日本から見てこんなの規制するのか」という印象もあることを認めつつ、特に「基盤モデル」に対する規制アプローチが、今後の国際的なAIガバナンスの方向性に大きな影響を与える可能性があることを示唆しています。これは、EUの規制が持つ国際的な影響力、いわゆる「ブリュッセル効果」を踏まえた分析として注目されます。

6.2 欧州AIオフィスの設立

市川氏は、欧州AI法の成立を受けて設立された欧州AIオフィスについて、その組織規模と機能の両面から詳細な分析を提供しています。

まず組織体制について、「元々あのDG コネクトの中にAI部門があったのをこういう形にした」と説明し、既存の組織を発展的に改組する形で設立されたことを指摘しています。特筆すべき点として、「1440人のスタッフがもう冒頭からいる」という大規模な組織体制を整備していることを挙げ、EUのAIガバナンスに対する本格的な取り組みの表れとして評価しています。

組織の機能について、市川氏は二つの重要な側面を指摘しています。第一に、「イノベーション促進的なことをやる部門」の存在です。これは、規制だけでなく、技術革新の推進も重視していることを示しています。第二に、「規制を担当する部門」と「AI安全を担当する部門」が設置されており、包括的なガバナンス体制が構築されていることを説明しています。

さらに、国際連携の観点から、「アメリカや日本のAI安全研究所と連携しましょう」という積極的な姿勢を示していることを指摘し、EUのAIガバナンスが国際的な協力を重視していることを強調しています。

このように、欧州AIオフィスは、規制監督機能とイノベーション促進機能を併せ持つ大規模な組織として設立され、国際連携も視野に入れた包括的なAIガバナンスの実現を目指していることが示されています。

6.3 AIパクトの展開

市川氏は、EU AI法の成立とその施行までの期間における過渡的な取り組みとしてのAIパクトについて、その重要性と意義を解説しています。

「EU AI法は成立したわけですけれども、施行までにはすごく時間がかかります」と指摘した上で、「そんなの待ってられません」という現実的な課題に対応するため、2023年11月にAIパクトが発表されたことを説明しています。

このAIパクトの特徴として、「自主的な取り組みをえっと事前にやりましょう」というアプローチを採用していることを挙げています。これは、法的拘束力のある規制が整備されるまでの期間において、企業の自主的な取り組みを促進することで、実質的なAIガバナンスを確保しようとする試みとして位置づけられています。

具体的な展開について、市川氏は「今年の5月に情報がアップデートされ」、「今後具体的にその企業の制約を集めて」いく方針が示されていることを説明しています。特に注目すべき点として、「今年の9月以降、署名イベントを開始する」という具体的なスケジュールが示されていることを指摘しています。

このように、AIパクトは法的規制の整備を待たずに、企業との協力体制を構築し、実効性のあるAIガバナンスを早期に実現しようとする欧州の戦略的なアプローチを示すものとして評価されています。

7. 国連と国際的な動き

7.1 AI諮問機関の設置

市川氏は、国連におけるAIガバナンスの展開について、2023年夏以降の重要な動きを説明しています。

「去年の夏に国連の中に国連AI下問員機関を作るという話があり、10月にまずAI諮問機関というのができます」と述べ、AIガバナンスに関する国際的な枠組みの形成が本格化していることを指摘しています。

この諮問機関の特徴について、「どちらかというと人類のためのAIガバナンス的な話」を扱う機関として位置づけられていることを説明しています。実際の活動として、「去年の12月に中間報告書を出していて」と述べ、具体的な成果が出始めていることを示しています。

さらに、2024年9月に予定されている「未来サミット」との関連について言及し、「これの中で進めていこうという話が1つ大きな動きが出てくる」と、今後の展開への期待を示しています。

特に注目すべき点として、「これは当然中国も入っています」と指摘し、米中対立が深まる中でも、AIガバナンスについては国際的な協力の可能性が開かれていることを示唆しています。

このように、国連AI諮問機関の設置は、AIガバナンスに関する国際的な対話と協力の新たな枠組みとして機能し始めており、特に対立する国々も含めた包括的な協力体制の構築に向けた重要な一歩となっていることが示されています。

7.2 軍事利用に関する議論

市川氏は、AIの軍事利用に関する国際的な議論について、特にアメリカが主導する形での展開を指摘しています。

「これもリードしているわけですけども、軍事利用に関してAIをどう考えるのか」という問題提起から始まり、特に先進民主主義国を中心とした「レレイムスサミット」での議論を重要な転換点として挙げています。

この会議での主要な合意事項として、二つの重要な原則が示されたことを説明しています。第一に、「軍事利用を使うにあたってもちゃんと国際人動法を守りましょう」という基本原則。第二に、「最後人間がこま特に人間がえっと管理して責任は人間です」という、人間による最終的な管理責任の原則です。特に、「AIが勝手にやったものねっていうそういうことをやってはいけません」という明確な制限が設けられたことを強調しています。

さらに、この問題は核兵器の管理にも関連していることを指摘し、「核兵器の管理はAIに任せるにしろ最後人間がちゃんと管理する」という方針が示されていることを説明しています。

しかし、これらの議論に対する国際的な合意形成には課題も存在しています。「中国ロシアが参加それに応じていない」という状況を指摘し、主要な軍事大国の一部が国際的な枠組みに参加していないという現実的な問題を提起しています。

このように、AIの軍事利用に関する国際的な議論は、人間による管理責任の原則を中心に進展している一方で、主要国間での合意形成という課題に直面していることが示されています。

7.3 ローズ（LAWS：自律型致死兵器システム）への対応

市川氏は、自律型致死兵器システム（LAWS：Lethal Autonomous Weapons Systems）に関する国際的な議論の経緯と現状について詳細な分析を提供しています。

「2014年からずっと議論されている」と指摘し、この問題が長期にわたって国際社会の重要な課題となってきたことを説明しています。特に、「最後国際人道法をちゃんと守りましょうという話と、書いているところは最後人間の責任というところを最後これを守りましょう」という二つの基本原則が、2019年にすでに合意されていたことを重要な進展として挙げています。

しかし、実際の規制枠組みの構築については課題が残されています。市川氏は「条文案もすでに先進国では作っているわけですけれども」と述べつつ、2023年末の展開として「国連総会でローズに関する決議」が行われたことを報告しています。この決議の内容について、「別に大したこと言ってなくて、今年の9月までに各国がどういう意見を持っているかまとめた報告書を作ってください」という限定的なものであったことを指摘しています。

特に注目すべき点として、イスラエルのガザ地区での行動に関連して、「特に今国連の中ではイスラエルが使ってあのガザのやつに使っているんではないかということでえすごく問題になっています」と、LAWSの実際の使用に関する国際的な懸念が高まっていることを指摘しています。具体的には、「人間の責任をちゃんとやってないんじゃないか国際人道法守ってないんじゃないか」という批判が提起されていることを説明しています。

このように、LAWSに関する国際的な対応は、基本原則についての合意は存在するものの、具体的な規制の実施や各国の遵守確保について、なお重要な課題が残されていることが示されています。

8. 日本の取り組み

8.1 AI事業者ガイドライン

市川氏は、日本のAIガバナンスへの取り組みについて、特にAI事業者ガイドラインを中心に説明を展開しています。

「広島AIプロセスで日本が指導したということで、これは世界的にも高く評価されています」と述べ、日本のアプローチの特徴について、「リスクを評価、低減しようとか、絶滅のリスクがあるから規制しようとかは全く考えていなくて、ルール形成に貢献しようというスタンスから始まった」と説明しています。

AI事業者ガイドラインについて、「かなり分厚い資料で皆さんもご案内かと思います」と述べつつ、2024年4月に策定されたこのガイドラインの重要性を強調しています。この自主規制的なアプローチは、「民間、いわゆるビッグテックからも含めて、日本は中立的な観点から取り組んでくれた」という評価を得ているとしています。

特に注目すべき点として、ガイドラインの実効性を確保するための具体的な実施指針が含まれていることを指摘しています。これは、企業の自主的な取り組みを促進しつつ、一定の共通基準を確保することを目指すものとなっています。

企業の対応状況について、市川氏は「今後の対応を見守る必要がある」としながらも、日本のアプローチが国際的な文脈の中で独自の価値を持っていることを示唆しています。このように、日本のAI事業者ガイドラインは、規制と自主的取り組みのバランスを取りながら、実効性のある枠組みを目指す試みとして位置づけられています。

8.2 AI安全研究所の設立

市川氏は、日本のAI安全研究所の設立について、その組織的特徴と国際的な位置づけを詳細に説明しています。

「AIセフティインスティチュートが2月にできた」と述べ、その特徴的な点として、「IPAという情報処理推進機構のドッ法人に作っているわけですが、基本的には全10省庁の議論の元で動く」という組織構造を指摘しています。これは、単一の省庁による管轄ではなく、政府全体としての包括的な取り組みを目指す姿勢を示すものとして評価されています。

特に注目すべき点として、10省庁による連携体制の構築について、「ポイントはIPAという情報処理推進機構の中に作られているが、各省庁の議論のもとで動く」という仕組みを採用していることを強調しています。これにより、技術的な専門性と行政的な包括性の両立を図ろうとしている点が特徴的です。

さらに、国際的な文脈において、「世界のAI安全研究所のネットワークに参加する」という方向性が示されています。市川氏は、これが「イギリス、アメリカ、EU、そして日本という形での国際的な協力体制の構築につながっている」と評価しています。

このように、日本のAI安全研究所は、国内での省庁横断的な協力体制と、国際的なネットワークへの参画という二つの側面を持つ組織として設立されており、グローバルなAIガバナンスの文脈の中で重要な役割を果たすことが期待されています。

8.3 法制度検討の現状

市川氏は、日本におけるAI法制度の検討状況について、2024年2月以降の動きを中心に説明しています。

「2月以降ですね、自民党中心にAI法案作ったらどうだという話が動いています」と述べ、具体的な展開として、「自民党のホワイトペーパーとしても、基本は事業者ガイドラインをベースとしつつも、最低限の報告の枠組を検討すべき」という方向性が示されていることを説明しています。

この動きを受けて、「5月にAI戦略会議が開かれ」、「今後法制度の要否を検討する」という政府レベルでの検討が始まっていることを指摘しています。特に、「6月に出された統合イノベーション戦略において、このAI制度研究会をつくって検討する」という具体的なステップが示されています。

今後の制度化の方向性について、市川氏は「この夏以降、AI制度研究会をつくって検討する」という段階にあることを説明しつつ、これが「今現時点の立ち位置」であると述べています。この点について、事業者ガイドラインという既存の枠組みを基礎としながら、より法的な拘束力を持つ制度への移行を検討する段階に入っていることを示唆しています。

このように、日本のAI法制度の検討は、自主規制的なアプローチを基礎としつつ、より実効性のある制度的枠組みの構築を目指す方向で進められていることが示されています。

9. 今後の課題

9.1 規制実効性の問題

市川氏は、AIガバナンスにおける規制実効性の問題について、複数の重要な課題を提起しています。

まず、技術進展の速さに関して、「生成AIが突然出てきたという流れで、今まで一生懸命特にEU AI法とかを作っていたわけですけど、この要は3年かかってようやく動いているような話が技術が出てくるとまた急激に対応する」という状況を指摘しています。この点について、従来型の規制手法では追いつかない可能性があることを示唆しています。

規制の実効性確保について、市川氏は「規制の方法では要は対応できないんじゃないか」という根本的な疑問を投げかけています。特に、「規制は別に否定しないにしろ、企業による自主的な取り組みを進めなきゃいけないんじゃないか」という考えを示し、規制と自主的取り組みのバランスの重要性を強調しています。

執行体制の整備に関しては、「政府で基準を作れるわけでもない」という現実的な制約を指摘しつつ、「各国の基準バラバラ作ってはいけない」という国際的な調和の必要性も強調しています。これらの課題に対して、「G7の国際行動規範みたいなのが出てくる」という形での対応が模索されていることを説明しています。

特に注目すべき点として、市川氏は「高度なAIシステムについて共同規制をしていかないといけないんじゃないか」という新しいアプローチの可能性を示唆しています。これは、既存の規制枠組みの限界を認識した上で、より柔軟で効果的な規制の在り方を探る試みとして理解できます。

このように、規制実効性の問題は、技術の急速な進展、規制手法の限界、執行体制の整備という複数の側面から検討する必要があり、従来の規制アプローチを超えた新しい枠組みの構築が求められていることが示されています。

9.2 技術進展への対応

市川氏は、AIガバナンスにおける技術進展への対応について、特に重要な課題を指摘しています。

特に、基盤モデルの小型化・分散化の問題について、「オープンウテモデルみたいな形でそれを使ってファインチューニングをしてどんどん小型化が進んでいく」という状況を説明しています。これは、「商務省の方では2月頃からいわゆるオープンウテモデル」の問題に対する検討が始まっているものの、対応が追いついていない現状を示しています。

オープンソース化の影響について、市川氏は特に懸念を示しています。「これがやはりセキュリティ上のリスクをどうするのか」という問題提起を行い、「2月にえっと意見募集の段階」にあることを説明しています。その上で、「夏頃には報告書を策定する」という方向性は示されているものの、「オープン化とそのえっと安全保障という形が今後議論になってくる」という展望を示しています。

新技術への規制適用について、「10の6オプス以上使ってるものは規制しましょう」という現行の考え方に対して、「今後そのそれを使ってAPIを使うだけではなくて」という新たな課題が生じていることを指摘しています。さらに、「今のその基盤技術の動向を見ていると、どんどん小型化がむしろ進んでいく中で本当に規制できるのか」という根本的な疑問を投げかけています。

これらの課題に対して、市川氏は「去年くらいまではその大所をさえてればとりあえずいいんじゃないかという話になってたと思いますけれども、それがまた変わりつつある」と述べ、技術進展に対する規制アプローチの根本的な見直しの必要性を示唆しています。

9.3 国際協調の必要性

市川氏は、AIガバナンスにおける国際協調の必要性について、特に各国のアプローチの違いを踏まえた議論を展開しています。

「各国の基準バラバラ作ってはいけない」という基本認識を示しつつ、実際には「国内でも国外でも全部できるかっていう話でも多分ないんですよね」と、現実的な課題を指摘しています。特に、欧州議会の取り組みについて、「46カ国が社会してえ加盟してる」組織として、より包括的な枠組みづくりを目指していることを評価しています。

国際的な監視体制の構築について、「少なくとも国自らは公的部門はちゃんとやりましょう」という基本的な合意が形成されつつあることを説明しています。しかし、「それを最後やるためには、マネージメントするえっと組織をちゃんと各国の中作ってください」という課題が残されていることも指摘しています。

共通基準の策定に関して、市川氏は特に日本の立場から「この2点を最後日本どうするのかなていうことを多分看護は考えていかないといけない」と述べ、国際的な枠組みへの適応が重要な課題となっていることを示唆しています。

さらに、「イギリス、アメリカ、EU、そして日本という形での国際的な協力体制の構築」が進みつつあることを指摘しつつ、この協力体制をより実効性のあるものにしていく必要性を強調しています。

このように、AIガバナンスにおける国際協調は、各国の独自性を尊重しつつも、共通の基準と監視体制を構築していくという複雑な課題に直面していることが示されています。