※本記事は、AWS re:Invent 2024におけるAWS CEO Matt Garman氏のキーノートプレゼンテーションの内容を基に作成されています。プレゼンテーションの詳細情報はAWSの公式YouTubeチャンネル(https://www.youtube.com/watch?v=LY7m5LQliAo )でご覧いただけます。本記事では、約2時間42分のキーノートの内容を要約しております。
なお、本記事の内容は発表内容を正確に反映するよう努めていますが、要約や解釈による誤りがある可能性もありますので、正確な情報や文脈については、オリジナルの動画をご視聴いただくことをお勧めいたします。また、発表で言及されているAWSの各サービスの詳細な仕様や最新情報については、AWS公式ウェブサイト(https://aws.amazon.com/ )をご参照ください。
さらに詳しい情報については、以下のリソースもご活用ください:
- AWS購読: https://go.aws/subscribe
- AWSサインアップ: https://go.aws/signup
- AWS無料利用枠: https://go.aws/free
- その他の情報: https://go.aws/more
- AWSへのお問い合わせ: https://go.aws/contact
1. イントロダクション
1.1 re:Invent 2024の概要と参加規模
Matt Garman:私のCEOとしての初めてのre:Inventですが、2012年の第1回から毎年参加してきました。13年間で多くのことが変化しましたが、変わらないのはこのイベントの特別な点です。それは、情熱的で活気のあるAWSコミュニティが集まり、互いに学び合うということです。
今年は現地に約6万人が参加し、オンラインでは40万人以上が視聴しています。1900のセッションと3500人の講演者を用意しており、その多くはお客様、パートナー、AWSの専門家によって主導されています。皆様のコンテンツと経験の共有が、re:Inventを特別なものにしています。
re:Inventは、技術者、経営者、パートナー、学生など、すべての方々に向けたコンテンツを提供していますが、その本質は開発者に向けた学習カンファレンスです。実際、CEOに就任して最初に行ったことの一つは、AWS Heroesと時間を過ごすことでした。Heroesは最も献身的で情熱的なAWS開発者たちです。
AWSの開発者コミュニティの成長は驚異的で、現在では世界120カ国に600以上のユーザーグループがあります。AWSコミュニティ全体では世界中で数百万人の規模となっています。このコミュニティの素晴らしい点は、私たちの製品開発に直接フィードバックを提供し、本日の発表内容にも影響を与えているということです。
私たちは、このre:Invent 2024を通じて、皆様が互いから学び合う機会を最大限に活用されることを期待しています。
1.2 AWSの歴史とクラウドコンピューティングの進化
私たちのAWSの歴史は、2003年に書かれた最初のビジョンドキュメントにまで遡ります。当時、多くのテクノロジー企業は、すべてを統合しようとする巨大なモノリシックなソリューションを作っていました。それらは「十分に良い」程度の機能を提供していましたが、私たちは「十分に良い」だけでは不十分だと考えました。お客様は、各コンポーネントで最高のものを必要としていたのです。
このビジョンを実現するため、私たちは重要な発見をしました。あらゆるアプリケーションは個々のコンポーネントに分解でき、これらを基本サービス、つまり「ビルディングブロック」として提供できるということです。私たちの考えは、特定のタスクで世界最高のパフォーマンスを発揮し、新しいユニークな方法で組み合わせやすい、こうしたサービスを提供することでした。これにより、お客様はよりよいテクノロジー消費モデルを手に入れ、革新的なものを作り出せると考えました。
この「ビルディングブロック」の考え方は、過去18年間のAWSサービス開発の基礎となっています。今日では、お客様が独自の方法で組み合わせて活用できる何百ものAWSサービスを提供しています。
しかし、この道のりは簡単ではありませんでした。AWSの初期、私たちはニューヨークの金融機関を訪問し、クラウドコンピューティングについて説明しました。彼らは興味を示しましたが、「本番環境のワークロードがクラウドで実行されることは決してないだろう」と言いました。コンプライアンス、監査、規制、セキュリティ、暗号化など、多くの課題を挙げられました。
私たちは簡単に諦めることもできましたが、そうはしませんでした。実際、これらの金融機関のお客様には感謝しています。彼らのフィードバックは、規制対象の大規模なお客様をクラウドでサポートするために何が必要かを理解する助けとなったからです。その後の10年間、私たちはそのリストの項目一つ一つを解決していきました。そして今日、これらの大手金融機関の多くが私たちの顧客となっています。
このように、私たちは常にお客様の声から始め、その要望に基づいて製品を作り上げてきました。アマゾンでは、これを「お客様から始めてバックワードに働く」と呼んでいます。この顧客中心のアプローチとバックワードワーキングは、AWSのDNAの一部であり、ビジネスの初期からの取り組み方です。
1.3 スタートアップ企業への支援
2006年にAWSを立ち上げた当初、最初の顧客はスタートアップ企業でした。彼らは私の心の中で特別な場所を占めています。スタートアップ企業の素晴らしい点は、新しいテクノロジーを積極的に採用する姿勢です。彼らは迅速に取り組み、フィードバックを提供し、私たちのイノベーションを促進し、私たちのソリューションの上に革新を重ね、高速に動きます。私たちはスタートアップから多くを学んでいます。
現在、生成AIの時代において、スタートアップ企業にとってこれほど刺激的な時期はありませんでした。生成AIは既存のあらゆる産業を完全に変革する可能性を秘めています。変革を起こす主体を見ると、それはスタートアップ企業からやってきます。今は産業を変革することを考えているスタートアップにとって、素晴らしい時期です。
この可能性を支援するため、私たちは2025年にグローバルで10億ドルのスタートアップ向けクレジットを提供することを発表できることを嬉しく思います。これは、スタートアップの成功に向けた私たちの継続的な投資の一環です。
スタートアップの革新的な事例として、EvolutionaryScaleを紹介したいと思います。彼らは生命科学向けのAIを開発しており、世界中の科学者がタンパク質の理解と設計に使用するESMモデルファミリーを開発しています。創業直後からAWSで計算を行い、HyperPodの早期ユーザーとなりました。これによりESM3の開発に不可欠な反復的な開発が可能になりました。
ESM3は、2億以上のタンパク質配列に対して1兆テラフロップスの計算を使用して訓練され、タンパク質の配列、構造、機能について推論を行うモデルです。このトレーニングを通じて、タンパク質の生物学について非常に深い理解を獲得し、科学者が指示を出してモデルに新しいタンパク質を作成させることができます。これは、マイクロチップや建物を設計するのと同じように、タンパク質を設計できることを意味します。EvolutionaryScaleが開発している最先端のツールとAWSが提供するセキュリティとオーケストレーションを組み合わせることで、製薬業界全体に展開できるソリューションが実現可能になりました。
このように、スタートアップ企業は新しいテクノロジーを活用して、産業を変革する可能性を持っています。私たちは、彼らの挑戦を全面的に支援していきます。
2. コンピューティング
2.1 Amazon EC2の進化と特徴
今日、AWSは他のどのプロバイダーよりも多くのコンピューティングインスタンスを提供しており、それは全てEC2から始まりました。実は、私は以前EC2チームを長年リードしていました。現在の役職では好みを言うべきではありませんが、私はEC2を本当に愛しています。そして嬉しいことに、多くのお客様もEC2を愛してくれています。
なぜEC2が愛されているのか。それは、EC2が最も多くの選択肢、最も多くのインスタンス、そして最も多くの機能を提供し、アプリケーションやワークロードに必要な正確なパフォーマンスを見つけることができるからです。現在、EC2は126の異なるファミリーにわたる850種類のインスタンスタイプを提供しています。これにより、お客様は必要なワークロードに最適なインスタンスを常に見つけることができます。
大規模なデータベースや分析ワークロードを実行する場合、クラウドで利用可能な最大のストレージインスタンスを提供しています。メモリ要件の高いアプリケーションがある場合、レイテンシーに敏感なニーズに対応する最大のメモリフットプリントを持つインスタンスを提供しています。
HPCクラスターやAI/MLの大規模クラスターを実行し、全てのノードを接続する高速ネットワークが必要な場合、AWSは他のどのクラウドよりも圧倒的に高速でスケーラブルなネットワークを提供し、HPC/MLインスタンスを結合します。また、常に最新のテクノロジーを利用できるよう努めています。Intel、AMD、NVIDIAの最新のアドバンスを搭載したインスタンスを提供し、AWSは唯一のMacインスタンスを提供するクラウドでもあります。
毎日平均して1億3000万のEC2インスタンスが起動されており、これは私たちのコンピューティング基盤の規模と信頼性を示しています。このような急速なイノベーションペースをどのように維持できるのかという質問をよく受けますが、その答えの一つがNitroシステムにあります。
2.2 Nitroシステムの革新性
Nitroは、AWSの仮想化システムです。私たちは、ネットワーク、ストレージ、コンピューティングの全ての仮想化をオフロードするカスタムチップを設計し、このNitroカードシステムに分離しました。これにより、物理的な専用ハードウェアのパフォーマンスを提供しながら、クラウドにおいて比類のないセキュリティと顧客の分離を実現することができました。
しかし、Nitroのもう一つの重要な利点は柔軟性です。全ての仮想化をこの独立したNitroシステムに移行したことで、独立して革新を進めることが可能になりました。新しいインスタンスを導入するたびに仮想化スタック全体を再構築する必要がなくなりました。単に優れたサーバーを開発し、仮想化スタックを独立して開発して、それらを組み合わせることができるようになったのです。
これにより、私たちは以前よりもはるかに速いペースで進化することができるようになりました。Nitroは、AWSにおけるコンピューティングイノベーションの速度を解き放つ重要な鍵となっています。また、興味深いことに、Nitroは私たちにカスタムシリコン開発についても教えてくれました。Nitroの成功により、私たちはシリコン開発で成功できることを学びました。
このNitroでの経験を活かし、私たちは他の分野でもこの能力を活用できないかと考えました。2018年には、コンピューティングにおける新たなトレンドを観察していました。ARMコアが急速に進化し、より強力になっていることを見ていました。主にスマートフォンで使用されていましたが、より強力になっていたのです。そこで私たちは、この技術の進化の流れとAWSのお客様にとって最も重要なことを理解している私たちの知見を組み合わせて、汎用プロセッサーをカスタム開発できるのではないかと考えました。これが、後のGravitonプロセッサーの開発につながっていくことになります。
このように、Nitroシステムは単なる仮想化システムを超えて、AWSの技術革新の基盤となり、新たな可能性を切り開く重要な役割を果たしているのです。
2.3 Gravitonプロセッサーの成果と進化
当時、独自のプロセッサーを開発するというのは非常に挑戦的なアイデアでした。しかし、私たちはお客様に真に差別化された価値を提供できると確信していたため、Gravitonを立ち上げました。
現在、Gravitonは事実上すべてのAWSのお客様によって広く使用されています。Gravitonはx86と比較して40%優れた価格性能比を提供し、60%少ないエネルギーで動作します。これは素晴らしい成果です。コストを削減しながら、カーボンフットプリントも削減することができます。
Gravitonの成長は驚異的です。これを文脈で理解していただくために、2019年にAWSは350億ドルのビジネスでした。今日、AWS全体のコンピューティングフリートで稼働しているGravitonの量は、2019年の全コンピューティング量に匹敵します。これは非常に印象的な成長です。
具体的な事例として、Pinterestの事例を紹介したいと思います。Pinterestは、ビジネスを運営するために数千のx86インスタンスを実行していましたが、Gravitonへの移行を決定しました。移行後、彼らはGravitonでより低価格を実現しただけでなく、各インスタンスからはるかに優れたパフォーマンスを得ることができ、フットプリントを削減することができました。これにより、コンピューティングコスト全体を47%削減することができました。インフラストラクチャのコンピューティングコスト全体を47%削減できる選択肢は、そう多くはありません。さらに、Pinterestはエネルギー効率を重視しており、炭素排出量を62%削減することにも成功しました。
Pinterestだけではありません。EC2の上位1000社のお客様の90%以上が、すでにGravitonの使用を開始しています。このイノベーションから多くのお客様が恩恵を受けていることを見るのは素晴らしいことです。
数ヶ月前には、これまでで最も強力なGravitonチップであるGraviton4を発表しました。このより強力なチップにより、Gravitonはデータベースなどのスケールアップワークロードを含む、はるかに広範なワークロードに対応できるようになりました。Graviton4は、コアあたり30%の計算能力向上を実現し、さらにGraviton3の3倍のvCPUと3倍のメモリを提供します。これにより、はるかに大きなインスタンスサイズを実現することができます。
2.4 AI/ML向け新インスタンス
現在、生成AIのワークロードの大部分はNVIDIA GPUで実行されており、AWSは世界で最もGPUワークロードを実行するのに適した環境です。その理由の一つは、AWSとNVIDIAが14年間にわたって協力し、GPUワークロードの運用と実行に真に優れた環境を実現してきたからです。
昨年だけでも、NVIDIAのTensor Core GPUを搭載したG6、G6es、P5ensインスタンスをリリースしました。実際、AWSは最も高度でスケーラブルなネットワークを持ち、大規模なワークロードを実行するのに圧倒的に効率的な場所であるため、NVIDIAは自社の大規模な生成AIクラスターを運用するプラットフォームとしてAWSを選択しました。
この協力関係をさらに強化するため、本日、P6インスタンスファミリーの発表を嬉しく思います。P6インスタンスは、NVIDIAの新しいBlackwellチップを搭載し、来年初めに利用可能になります。P6インスタンスは、現世代のGPUと比較して2.5倍の計算速度を提供します。生成AIアプリケーションの幅広い用途で、P6インスタンスは非常に人気が高くなると期待しています。
さらに、本日はTrn2インスタンスの一般提供も発表します。Trn2インスタンスは、AWS内部で完全に開発された独自のTrainium2プロセッサーを搭載した、生成AI向けの最も強力なインスタンスです。Trainium2は、現在のGPU駆動インスタンスと比較して30-40%優れた価格性能比を提供します。
Trn2インスタンスは16個のTrainium2チップを搭載し、全てがNeuronLinkと呼ばれる高帯域・低レイテンシーのリンクで接続されています。1つのTrainium2インスタンスは、単一の計算ノードから20.8ペタフロップスを提供します。最新の生成AIトレーニングと推論ワークロードの要求に応えるよう設計されています。
Adobe、Poolside、Databricks、Qualcommなど、初期のベータテストで非常に印象的な結果を見ています。AdobeはFireflyの推論モデルでTrainium2を実行し、有望な初期テスト結果を得ています。スタートアップのPoolsideは、次世代のソフトウェア開発プラットフォームを構築しており、将来のフロンティアモデルのトレーニングを全てTrainium2で行う計画で、代替オプションと比較して40%のコスト削減を見込んでいます。世界有数のデータ・AI企業であるDatabricksは、Trainium2を使用して共同顧客により良い結果を提供し、TCOを最大30%削減する計画です。
さらに、超大規模モデル向けに、EC2 Trainium2 UltraServersも発表します。これは4つのTrainium2インスタンス(64個のTrainium2チップ)を接続し、単一の超ノードから83ペタフロップス以上の計算能力を提供します。これにより、大規模モデルを単一ノードにロードし、複数ノードに分割することなく、大幅に優れたレイテンシーとパフォーマンスを実現できます。
2.5 AppleとのパートナーシップとML基盤
本日は、AWSとAppleがどのように協力して機械学習とAIのトレーニングと推論を加速させているかについて、Appleの機械学習・AI担当シニアディレクターであるBenoit Dupinをお迎えして説明していただきます。
Benoit氏は、以前Amazonで製品検索部門を率いていた後、10年前にAppleに加入し、現在はSiri、検索などで使用される機械学習、AI、検索インフラストラクチャのプラットフォームを監督しています。これには、モデルトレーニング、基盤モデルの推論、その他のサービスのプラットフォームが含まれます。
Appleのビジネスの特徴的な側面は、彼らが運営する規模とイノベーションのスピードです。AWSは10年以上にわたってそのペースを維持し、機械学習とAIへの取り組みが増加するにつれて、AWSの利用も同様に成長してきました。
具体的な成果として、GravitonとInferentiaへのAWSソリューションの移行により、x86からGravitonへのインスタンス移行で40%以上の効率改善を達成し、G4インスタンスからInferentia2への移行で検索機能の効率を2倍に向上させています。
今年は、Apple Intelligenceの開発と立ち上げにより、機械学習とAIにおいて最も野心的な年となりました。Apple Intelligenceは、iPhone、iPad、Macに組み込まれた個人化されたインテリジェンスで、オンデバイスとサーバー上で動作する大規模言語モデル、拡散モデル、アダプターによって支えられています。この機能には、システム全体の作成ツール、通知の要約、Siriの改善、そしてGenmojisなどが含まれています。
現在、AppleはTrainium2の評価を開始したばかりですが、初期の数値に基づくと、事前トレーニングで最大50%の効率改善が期待できます。AWSと協力することで、クラウドでより効率的になることができ、AWSの経験、ガイダンス、サービスは、Appleの規模と成長、そして最も重要なユーザーへの素晴らしい体験の提供をサポートする上で不可欠なものとなっています。
3. ストレージソリューション
3.1 Amazon S3の発展
AWS初のサービスであるS3は、2006年のリリース以来、データの管理方法を根本的に変えてきました。爆発的な成長に対応できるように設計され、過去18年間で、S3は現在400兆以上のオブジェクトを保存しています。この規模を理解するために、ここで興味深い比較をお話ししましょう。
10年前、S3でペタバイト規模のストレージを使用していたお客様は100社未満でした。1ペタバイトは非常に大きなストレージ容量ですが、今日では数千のお客様がペタバイト以上のデータを保存し、複数のお客様がエクサバイト規模のデータを保存しています。
このスケーラビリティは、今日のお客様にとって当たり前のものとなっています。しかし、スケーラビリティだけではありません。今日、データは指数関数的に増加しており、お客様はスケーラビリティを前提としています。しかし次に考えなければならないのはコストです。
私たちはこのコストの課題にも取り組んできました。実際、S3は他のどのプロバイダーよりも多くの選択肢を提供し、必要なストレージのパフォーマンスとコストのバランスを取ることができます。S3 Standardは高い耐久性を持ち、定期的にアクセスするワークロードに適しています。頻繁にアクセスしないオブジェクトにはS3 Infrequent Accessがあり、コストを削減できます。バックアップやアーカイブなど、あまりアクセスしない用途には、S3 Glacierを使用することで最大95%のコスト削減が可能です。
お客様はこれらの異なるSKUやオプションを気に入っていますが、管理が複雑になる可能性もありました。そこで数年前、S3 Intelligent-Tieringを導入しました。このサービスは、ストレージのアクセスパターンを分析し、自動的に適切な階層にデータを移動します。S3 Intelligent-Tieringの導入以来、お客様は追加作業なしで40億ドル以上のコスト削減を実現しています。
ギガバイト、ペタバイト、あるいはエクサバイト規模のデータを扱う際、この複雑さをすべて取り除き、ビジネスの成長に集中できることは非常に強力です。このように、S3は世界中で100万以上のデータレイクをサポートしており、財務モデリング、リアルタイム広告、AIのワークロードなどの大規模な分析作業を可能にしています。
3.2 S3 Table Bucketsの導入
データレイクのデータをどのように組織化するかを理解することは重要です。分析データの大部分は表形式で組織化されており、これは大量のデータを処理して問い合わせを行うための非常に効率的なフォーマットです。Apache Parquetは、クラウドでの表形式データを保存するためのデファクトスタンダードなオープンフォーマットとなっており、そのほとんどがS3に保存されています。実際、Parquetはデータレイクに非常に適しているため、S3で最も急速に成長しているデータタイプの1つとなっています。
多くのお客様は、数百万、時にはAWS内の一部のお客様は数十億ものParquetファイルを保有しています。これらのファイルに対してクエリを実行するには、ファイル構造が必要です。今日、ほとんどの場合、この目的にApache Icebergが使用されています。Icebergは、オープンソースの高性能フォーマットで、これらの多様なファイル形式やParquetファイルを操作することができます。
本日、S3 Table Bucketsの立ち上げを発表できることを嬉しく思います。S3 Table Bucketsは、Icebergテーブル専用に設計された新しいタイプのバケットです。この開発により、Icebergテーブルのパフォーマンスとスケーラビリティが大幅に向上します。
Parquetファイルをこれらのテーブルバケットの1つに保存することで、汎用のS3バケットに保存されたIcebergテーブルと比較して、3倍のクエリパフォーマンスと10倍のトランザクション処理能力を実現します。これは追加作業なしで得られる大幅なパフォーマンス向上です。
S3がすべてを自動的に管理します。テーブルメンテナンスタスク(コンパクション、スナップショット管理など)のような差別化されない作業を自動的に処理します。未参照のファイルを削除してサイズ管理を支援し、すべてが継続的に最適化されます。データレイクが成長するにつれて、クエリパフォーマンスとコストを最適化していきます。
これは画期的な進歩です。S3がデータレイクの世界向けに特別に設計されたオブジェクトストレージを完全に再発明し、より優れたパフォーマンス、より良いコスト、より優れたスケールを提供します。
3.3 S3 Metadataの新機能
パフォーマンスは確かに重要ですが、データの量が増えるにつれて、探しているデータを見つけることがますます困難になっています。ペタバイトやエクサバイトのデータを持つようになると、メタデータが非常に重要になってきます。メタデータは、S3に保存されているオブジェクトに関する情報を整理して理解するのに役立つ情報です。
これを私の携帯電話での写真検索を例に説明させてください。過去のre:Inventの写真を探していた時、「Las Vegas」と「2001」を検索するだけで、簡単に見つけることができました。どうしてこんなに早く見つけられたのでしょうか?それは、写真が保存された時に、私の電話が自動的に位置情報や日付などのメタデータを追加してくれたからです。
しかし、現在のS3では、これは非常に困難です。メタデータシステムを自分で作成する必要があり、まず保存しているすべてのオブジェクトのリストを作成し、メタデータを追加して関連付けるためのイベント処理パイプラインを作成・管理する必要があります。基本的に、これを行うためのイベント処理パイプラインを作成し、クエリ可能なデータベースにメタデータを保存し、オブジェクトが変更、追加、削除されるたびにメタデータを同期させるコードを開発する必要があります。大規模になると、これは差別化されない重労働であり、管理が不可能になります。
本日、S3 Metadataを発表できることを嬉しく思います。S3 Metadataは、S3内のデータに関する情報を即座に発見できる最も速く簡単な方法です。これは理にかなっています。オブジェクトがあるとき、そのファイルに関連するメタデータを取得し、メタデータを簡単にクエリ可能にし、リアルタイムで更新します。
具体的な仕組みとしては、すべてのオブジェクトメタデータを取得し、先ほど説明した新しいテーブルバケットに自動的に保存します。すべてのオブジェクトメタデータをIcebergテーブルに自動的に保存し、お好みの分析ツールを使用してそのデータと簡単にやり取りし、クエリを実行して、オブジェクトについてすばやく学び、探しているオブジェクトを見つけることができます。
さらに、オブジェクトが変更されると、S3は数分以内に自動的にメタデータを更新するため、常に最新の状態が保たれます。私たちは、お客様がこの機能を気に入っていただけると確信しています。これは、S3のデータ活用方法を大きく変える重要な機能であり、分析やAIモデリングの大規模なユースケースでのデータ活用方法を根本的に変えると考えています。
3.4 データレイクの最適化
S3は、世界中で100万以上のデータレイクをサポートしています。これらのデータレイクは、財務モデリング、リアルタイム広告、AIワークロードなどの大規模な分析作業を支えています。
私たちは長年にわたり、データレイク向けに数々のイノベーションを導入してきました。より高速な分析をサポートするためのトランザクション処理能力の向上、強力な一貫性のサポート、より低いレイテンシーでクラウドでより速いアクセスを実現するためのSKUの追加など、多くの改善を重ねてきました。
お客様と話すとき、よく「S3で何が一番気に入っていますか?」と質問します。多くの場合、「S3は動作する」という回答が返ってきます。私たちはこれを大きな賛辞として受け止めています。しかし、AWSは決して現状に満足することはありません。S3チームは集まり、「S3をさらに良くするにはどうすればよいか?」と考えました。特に、大規模な分析やAIのユースケースをより良くサポートする方法を検討しました。
分析データの大部分は表形式で整理されており、これは大量のデータを処理して問い合わせを行うための非常に効率的なフォーマットです。特に、Apache Parquetがクラウドでの表形式データを保存するためのデファクトスタンダードなオープンフォーマットとなっており、その大部分がS3に保存されています。
このように、S3はデータレイクの世界に向けて特別に設計されたオブジェクトストレージを完全に再発明し、より優れたパフォーマンス、より良いコスト効率、より優れたスケーラビリティを提供しています。S3 Table BucketsとS3 Metadataの導入により、データレイクの最適化は新しい段階に入りました。
私たちは、自動化されたメンテナンス、継続的な最適化、そしてコストと性能のバランスを取る機能を通じて、お客様がデータレイクの管理に費やす時間を削減し、より価値の高い活動に集中できるようにしています。これは私たちの約束です。これからも作業を自動化し、複雑なプロセスをすべて簡素化し続け、お客様が顧客のためのイノベーションに集中できるようにストレージを再発明し続けます。
4. データベースソリューション
4.1 RDSとAuroraの発展
私たちはAWSの初期段階で、データベースを運用する方法を根本的に改善する機会があることを認識しました。当時、データベースは非常に複雑で、管理に多大な労力が必要でした。お客様はパッチの適用や管理に多くの時間を費やしており、私たちはこの重労働の多くを肩代わりできると考えました。
そこで私たちは、この作業負担を軽減することを目指しました。最初の完全マネージド型リレーショナルデータベースサービスであるRDSを立ち上げました。今日、お客様と話をすると、非マネージド型のデータベースサービスには二度と戻りたくないと言います。マネージド型データベースを本当に気に入っているのです。
RDSを最初に立ち上げた当時、世界のアプリケーションの大部分はリレーショナルデータベースで実行されていました。しかし、アプリケーションの性質は徐々に進化していきました。インターネットの普及により、アプリケーションはより多くのユーザーを持つようになり、世界中に分散し、顧客は性能とレイテンシーに対して全く異なる期待を持つようになりました。
この課題に対応するため、10年前にAuroraを発表しました。Auroraは、商用データベースの信頼性と、よりフレンドリーなライセンス条件とオープンソースのポータビリティを兼ね備えたものでした。MySQLとPostgresに完全に互換性があり、自己管理型のオープンソースと比べて3-5倍のパフォーマンスを提供し、しかも商用データベースの10分の1のコストで実現します。
Auroraが私たちの最も人気があり、最も急速に成長するサービスとなり、数十万のお客様に利用されているのは驚くことではありません。また、イノベーションも継続的に行ってきました。サーバーレス機能を導入してキャパシティ管理を不要にし、I/O最適化されたAuroraを提供して価格性能比とコスト予測可能性を向上させ、無制限データベースを提供してデータベースの水平スケーリングを完全に無制限にしました。さらに、GenAIのユースケースをサポートするためにAurora内にベクトル機能を追加しました。
このように、コスト、パフォーマンス、使いやすさ、機能性の境界を常に押し広げ続けています。そして、この進化は今日も続いています。
4.2 Aurora DSQLの発表
チームは、データベースの最高のお客様と話し合い、「完璧なデータベースソリューションはどのようなものか」を問いかけました。お客様は「すべてを提供することはできないでしょうが」と前置きしながら、高可用性、マルチリージョン、読み書きの低レイテンシー、強い一貫性、運用負荷ゼロ、SQLセマンティクスという要望を挙げました。
これは多くの要件です。多くの人は「すべてを手に入れることはできない」と言うでしょう。実際、何かを作ろうとするとき、「AかBか」という選択を迫られることがよくあります。Amazonでは、これを「Orの専制」と呼んでいます。これは偽りの境界を作り出します。すぐに「AかB」を選ばなければならないと考えてしまいますが、私たちはチームに「AとB」の両方を実現する方法を考えるよう促しています。これは本当に異なる考え方を導きます。
今日、低レイテンシーと高可用性を提供するデータベースはありますが、強い一貫性は得られません。また、マルチリージョンで強い一貫性と高可用性を提供する他のデータベースもありますが、それらではレイテンシーが非常に高く、SQLとの互換性もありません。
そこで私たちは問題解決に取り組みました。Auroraでは環境全体を制御しています。エンジン、インフラストラクチャ、インスタンス、すべてを制御しているため、多くのことを変更できます。まず、中核となるデータベースエンジンを調べ、グローバルなプレゼンスと組み合わせることで、これらの機能すべてを提供できないか検討しました。
最初の大きな課題は、低レイテンシーを維持しながら、マルチリージョンでの強い一貫性を実現することでした。これは非常に難しい問題です。例として、複数のリージョンをまたぐ10の文からなるトランザクションを考えてみましょう。従来のデータベースでは、バージニアと東京の間で10回の往復が必要で、それぞれ158ミリ秒かかり、合計で1.6秒のレイテンシーとなります。これは今日のアプリケーションにとっては遅すぎます。
この課題に対して、私たちはトランザクション処理の完全に新しい方法を開発しました。トランザクション処理をストレージレイヤーから分離し、コミット時の各ステートメントの検証を不要にしました。その代わりに、1回だけ確認します。すべての書き込みを全リージョンで同時に並列化することで、マルチリージョンでの強い一貫性と超高速な書き込みをデータベースで実現しました。
本日、私は次世代のAuroraである Amazon Aurora DSQLを発表できることを嬉しく思います。Aurora DSQLは、どこにもない最速の分散SQLデータベースで、次世代の「AND」を提供します。リージョン全体でほぼ無制限のスケール、インフラストラクチャ管理不要、ゼロまでスケールダウンするサーバーレス設計、99.999%の可用性、強い一貫性、低レイテンシーの読み書き、そしてPostgresとの互換性を提供します。
市場で最も近い製品であるGoogle Spannerと比較して検証を行いました。マルチリージョン構成で、先ほどの10文のトランザクションを実行したところ、Aurora DSQLはSpannerの4倍の速度で読み書きを実現しました。これは画期的な成果であり、お客様のアプリケーションでどのように活用されるのか、非常に楽しみにしています。
4.3 DynamoDBのグローバルテーブル強化
しかし、リレーショナルデータベースは唯一の重要なデータベースではありません。インターネットの登場により、アプリケーションはより多くのユーザーを獲得し、世界中に分散し、お客様はパフォーマンスとレイテンシーに対して新しい期待を持つようになりました。私たちはAmazon.comの小売サイトでもこれを経験しました。
2004年、一部のエンジニアが、データベース操作の70%以上が単なるシンプルなキーバリューのトランザクションであることに気づきました。つまり、単純なプライマリーキーでSQLクエリを実行し、単一の値を取得していただけでした。「なぜこれにリレーショナルデータベースを使用しているのか?過剰すぎるのではないか」という疑問が生まれました。
このチームは、このような特定の用途に特化したデータベースを作れば、より高速で、より安価で、よりスケーラブルにできると考えました。このエンジニアたちのうち2人、SwamiとWernerは、今週後半に基調講演を行いますが、彼らはDynamoペーパーを執筆し、これがNoSQLムーブメントの起源となり、DynamoDBの開発につながりました。
DynamoDBは、完全サーバーレスで管理不要のNoSQLデータベースとなり、どのような規模でもミリ秒単位のレイテンシーで完全に上下にスケールすることができます。しかし、これは私たちが作成した最初の目的特化型データベースに過ぎませんでした。
本日、私たちはAurora DSQLで実現した同じ強い一貫性とマルチリージョン機能を、DynamoDBのグローバルテーブルにも追加したことを発表できることを嬉しく思います。つまり、SQLかNoSQLかに関わらず、マルチリージョンでアクティブなデータベースで強い一貫性、低レイテンシー、高可用性という、すべての利点を得ることができるようになりました。
このような基礎的なイノベーションこそが、世界中の大手企業がAWSを信頼してワークロードを実行する理由の一つとなっています。
4.4 JPMorganChaseの事例紹介
このような基礎的なイノベーションが、世界最大級の企業がAWSを信頼してワークロードを実行する理由となっています。その一例として、JPMorganChaseをご紹介します。2020年に、JPMCのCIOであるLori Beer氏が、クラウド移行の開始についてこの舞台で話をしてから4年が経過しました。
この4年間、JPMCのチームはインフラストラクチャの近代化に向けて大きな取り組みを行ってきました。具体的な成果として、2020年には100のアプリケーションをクラウドに移行し、2021年にはその数を倍増させ、ヨーロッパにも展開を広げました。特筆すべきは、AWSを基盤として一から構築されたイギリスの消費者向け銀行Chaseの立ち上げです。
2022年には、AWS Gravitonチップの採用を開始し、パフォーマンスの向上を実現しました。2023年には、AWSで稼働するアプリケーションは1000近くに達し、預金や支払いなどの重要なサービスも含まれています。現在は、生成AIのユースケースを積極的に開拓し、Bedrockのロードマップにも協力しています。
JPMCは、82百万人の米国顧客にサービスを提供し、住宅所有、教育、その他の家族の重要な節目をサポートしています。Fortune 500企業の90%以上を顧客とし、毎日10兆ドルの支払いを処理しています。そのため、彼らは170億ドルをテクノロジーに投資し、成長を促進するための野心的な近代化アジェンダを推進しています。
44,000人のソフトウェアエンジニアが6,000以上のアプリケーションを実行し、市場、顧客、製品、リスク、コンプライアンスなどに関する約1エクサバイトのデータを管理しています。この規模で、Chase.comのような消費者向けの主要アプリケーションを2年前にAWSに移行し、コストを削減しながらレジリエンスを向上させました。これは、AWSの3つのリージョンにまたがるアクティブ-アクティブ-アクティブ構成により実現され、3つのリージョンのうち2つが失敗しても顧客への影響を防ぐことができます。
このように、JPMCの事例は、最高レベルの規制とセキュリティ要件を持つ金融機関でも、AWSを活用して大規模な変革を実現できることを示しています。
5. Amazon Bedrockの進化
5.1 Model Distillationの導入
適切なモデルを見つけることは、驚くほど難しい課題です。多くの場合、お客様は用途に適した専門性、レイテンシー、コストの組み合わせを求めています。しかし、これらのバランスを取ることは困難です。時には、必要な専門性を持つ賢いモデルを見つけることができますが、それは望むよりも高価で、アプリケーションに必要なスピードよりも遅いかもしれません。また、より速くて安価なモデルを見つけることもできますが、必要な能力が不足していることがあります。
この問題を解決する一つの方法が、モデルディスティレーション(Model Distillation)です。これは、大規模な最先端のモデル(例:Llama 405B)を取り、そのモデルに考えられるすべてのメッセージを送信し、その質問と回答のデータを使って、より小さなモデル(例:Llama 8B)を特定の分野のエキスパートとして訓練するというものです。これにより、小さく高速なモデルを作り出し、その特定の質問セットに対して適切に回答できるようになります。
これは特化型のエキスパートモデルを作るのに非常に効果的ですが、実行には機械学習の専門家が必要です。データのワークフローの管理、トレーニングデータの整理、モデルパラメータの調整、モデルの重みの検討など、非常に複雑な作業が必要です。
本日、私はBedrockでのModel Distillationの導入を発表できることを嬉しく思います。ディスティルされたモデルは、元のモデルと比較して500%高速に動作し、75%低コストで運用できます。これはBedrockが完全に自動化して行います。この大幅なコスト削減は、生成AIアプリケーションのROIを完全に変える可能性があります。これまで本番環境での実装が高すぎて実現できなかったものが、実際に価値のあるものになります。
Bedrockを使用する場合、アプリケーションからのサンプルリクエストを送信するだけで、あとはすべてBedrockが処理します。結果として、適切な専門知識、レイテンシー、コストを組み合わせたカスタマイズされたディスティルモデルが得られます。
5.2 Automated Reasoning機能の追加
しかし、適切なモデルを見つけることは、生成AIを本番環境に移行する際の唯一の課題ではありません。今日では、モデルがいかに優れていても、時として間違いを犯すことがあります。昨年や一昨年にプルーフオブコンセプトを行った際は、90%の精度で十分でした。しかし、本番のアプリケーションの詳細に入ると、それでは受け入れられません。
例えば、保険の例を考えてみましょう。朝、浴室に入ると漏水があり、床中に水が広がっているとします。保険会社のウェブサイトにアクセスして、この事故が保険でカバーされているかどうかを知りたい場合、保険会社として、事故が保険対象かどうかについての質問に対して、正確に答える必要があります。間違えることは許されません。
そこでAmazonの社内グループに、「この問題を解決するために適用できる新しい、あるいは異なる方法で活用できる技術はないか」を検討するよう依頼しました。チームは自動化推論(Automated Reasoning)として知られる技術を検討しました。これは、システムが仕様通りに動作することを数学的に証明できるAIの一形態です。
自動化推論は、手動で確認するには広すぎる分析面があり、システムがどのように機能すべきかについての知識があり、正しい答えを得ることが極めて重要な場合に特に有効です。AWSの中には、自動化推論の世界でも最も熟練した専門家がおり、私たちはこの技術をいくつかのサービスの裏側で使用しています。例えば、お客様が定義したIAMポリシーの権限とアクセスが、意図した通りに実装されていることを証明するために使用しています。
本日、Bedrock Automated Reasoningチェックの導入を発表できることを嬉しく思います。Automated Reasoningチェックは、モデルのアルゴリズムによる幻覚を防ぎます。Automated Reasoningチェックを実装すると、Bedrockはモデルによって行われた事実に基づく声明が正確であることを数学的証明に基づいて検証することができ、その結論に至った過程を正確に示すことができます。
先ほどの保険の例に戻ると、保険会社としてAutomated Reasoningチェックを実装し、すべての保険約款をアップロードすると、BedrockのAutomated Reasoningシステムが自動的にルールを作成します。その後20-30分程度の反復プロセスを経て、ポリシーがどのように機能するかを理解するための質問が行われ、回答を調整していきます。そして、浴室での漏水の例では、Automated Reasoningは結果を確認し、モデルが回答について完全に確信が持てない場合は、「別の示唆を提案する」あるいは「質問の言い換え方についてのアイデアを提供する」といったメッセージと共に返します。Automated Reasoningチェックが回答の正確性を確認した場合にのみ、お客様に送信されます。これにより、お客様に常に正確な結果を提供することが保証されます。
この機能は他では利用できない機能であり、お客様がミッションクリティカルなアプリケーションに推論を組み込み始める際に、大きな助けとなると確信しています。
5.3 マルチエージェントコラボレーション
今日、これらのGenAIのユースケースから、お客様は既に大きな価値を得ています。私たちは、これらの機能により、より多くのアプリケーションにこれらの機能を統合できるようになると考えています。しかし、この分野には大きな関心が寄せられており、私たちも同意していますが、次の大きな価値の飛躍は、単なる質の高いアウトプットを得ることではなく、行動を起こし、何かを実行することにあります。
そのために、Bedrock Agentsを提供しています。Bedrockを使用すると、企業のすべてのシステムにわたってタスクを実行し、データを操作できるエージェントを簡単に構築できます。自然言語を使用して望むことを記述するだけで、エージェントを素早く構築できます。そしてエージェントは、販売注文の処理、財務レポートの編集、顧客維持の例の分析など、様々なタスクを処理できます。
これらのアクションは、単純なタスク、つまり目標を達成できる孤立したタスクでは非常にうまく機能します。実際、これは既に価値があり、お客様は既にBedrock Agentsから多くの価値を得ています。しかし、お客様はさらに多くを望んでいます。数百の異なるエージェントにわたって複雑なタスクを実行し、それらを並行して実行できることを望んでいます。しかし、これは今日では非常に困難で、ほぼ不可能なほど調整が難しいものです。
例を挙げてみましょう。グローバルなコーヒーチェーンを運営していて、新しい店舗を開くリスクを分析するために多数のエージェントを作成したいとします。グローバルな経済要因を分析するエージェント、関連する市場動向を調査するエージェント、または単独店舗の財務予測を構築するエージェントなどを作成するかもしれません。最終的に、場所を検討するために十数のエージェントを持つことになり、それらが個々のデータを返してきます。これ自体は価値があります。しかし、それらを集約し、相互作用を理解し、多くの異なる地域との比較を理解する必要があります。
これは管理可能かもしれません。しかし、おそらく1つの場所を孤立して見ているわけではありません。おそらく、コーヒーチェーンの潜在的な何百もの場所を異なる地理的地域で分析したいでしょう。そうすると、これらのエージェントは孤立して動作しているわけではないことがわかります。エージェントAはエージェントBに関連する可能性のある情報を持っている可能性があります。そのため、実際にはこれらが相互作用し、情報を共有する必要があります。これは非常に複雑になります。何百ものエージェントが相互作用して情報を共有しなければならない場合、システムの管理の複雑さは完全に制御不能なレベルまで急増します。
そこで今日、Bedrockエージェントがマルチエージェントコラボレーションをサポートするようになったことを発表できることを嬉しく思います。Bedrockエージェントは複雑なワークフローをサポートできます。先ほどの例のように、特化された独自のタスク向けに設計された個々のエージェントのセットを作成します。その後、ワークフロー全体の「頭脳」として機能するスーパーバイザーエージェントを作成します。このスーパーバイザーエージェントは、機密情報へのアクセス権を持つエージェントを設定し、タスクを順次実行するか並列で実行できるかを判断し、複数のエージェントが情報を返した場合にそれらの間の不一致を解決し、異なるタスクに送り出すことができ、これらの特化されたエージェント間のすべてのコラボレーションが確実に行われるようにします。
Moody'sはこのマルチエージェントコラボレーションのベータ版初期テストで、コーヒーチェーンの例と非常によく似た、顧客向けの完全な財務リスクレポートを生成するアプリケーションのプルーフオブコンセプトを提供しました。このプロトタイプ以前は、このワークフローは彼らのエージェントや従業員の1人が完了するまでに約1週間かかっていました。マルチエージェントコラボレーションを使用したこの周辺概念を実行したところ、同じタスクを1時間で完了し、並列で任意の数の企業にシームレスにスケールアップできました。これは素晴らしい効率性の向上です。
5.4 企業での活用事例
Genentechの事例は、Bedrockが企業にもたらす実際の影響を示す素晴らしい例です。Genentechは、バイオテクノロジーと製薬のリーディングカンパニーであり、科学的データとAIを使用して新薬の発見と開発を加速し、臨床試験のための新薬とバイオマーカーを迅速に特定し、ターゲットを絞ることを目指していました。
しかし、このデータの発見には、科学者が3,500万の異なる生物医学ジャーナルを含むPubMedライブラリ、Human Protein Atlasのような公開リポジトリ、そして数億の異なる細胞に関するデータを持つ彼ら自身の内部データソースなど、膨大なソースを検討する必要がありました。
Amazon Bedrockを使用して、Genentechは科学者が詳細な質問をデータに投げかけることができるGenAIシステムを設計しました。例えば、炎症性腸疾患における特定の細胞で濃縮される細胞表面受容体は何かといった質問ができます。このシステムは、この巨大なライブラリから適切な論文とデータを特定し、すべての知識とデータソースを合成することができます。重要なことは、情報の出所を要約し、引用することです。これは科学的な追跡可能性の観点から非常に重要です。
以前は、Genentechの科学者がこれらの検索の1つを完了するのに数週間かかっていたプロセスが、今では数分で実行できます。Genentechは、この自動化により約43,000時間(5年分)の手作業を削減でき、最終的には新薬をより迅速に患者に届けることができるようになると期待しています。
さらに、SalesforceやSAP、Workdayなどの主要なISVもBedrockを自社の顧客体験に深く統合し、すべてのエンドユーザーにGenAIアプリケーションを提供しています。毎日数万のお客様がBedrockを本番アプリケーションで使用しており、これは昨年と比べて約5倍の成長を示しています。
このような成功事例は、お客様が生成AIを本番環境に移行する際に、Bedrockが提供する機能の価値を実証しています。特に、Model Distillation、Automated Reasoning、マルチエージェントコラボレーションなどの機能は、実際のビジネス価値を生み出すために不可欠なものとなっています。
6. Amazon Nova
6.1 基盤モデルの4つのバリエーション
本日、私は最新の基盤モデル、Amazon Novaの発表を嬉しく思います。これらは最先端のインテリジェンスと業界をリードする価格性能比を提供する私たちの新しい基盤モデルです。このモデル群には4つのバリエーションがあります。
最初のモデルはMicroで、テキストのみのモデル(テキストイン、テキストアウト)です。これは超高速で非常にコスト効率が高く、私たちの内部開発者の多くが単純なタスクに非常に気に入って使用しています。
そして、3つのマルチモーダルモデルのバリエーションを用意しています。これらのモデルでは、テキスト、画像、動画を入力し、テキストを出力することができます。サイズと知能の順に、Lite、Pro、Premierと名付けられています。Micro、Lite、Proモデルは本日から一般提供を開始し、Premierモデルは第1四半期に提供を開始する予定です。
ベンチマークについて、いくつかの指標を共有させていただきます。できる限り外部で公開されているベンチマークを使用し、利用できない場合は独自に作成しました。その方法論はウェブサイトで公開しており、必要に応じて再現することができます。
Microモデルは、この種のモデルのリーダーであるLlamaやGoogleのGeminiと比較して非常に競争力のあるモデルです。生のスコアで見ると、LlamaをすべてのメトリクスでGeminiを13のうち12で上回っています。しかし、統計的有意性のテストを行い、95%の信頼区間で重複するすべての数値を同等とみなすと、LlamaとGeminiの両方と比較して、すべてのベンチマークで同等または優れた性能を示しています。
Liteモデルについても同様の結果が得られており、OpenAIのmini GPT-4と比較して19のうち17のベンチマーク、Geminiと比較して21のうち17のベンチマーク、Claude Haiku 3.5と比較して12のうち10のベンチマークで同等または優れた性能を示しています。なお、Haikuはまだ画像や動画を扱えないため、多くの次元で評価することができませんでした。
Proモデルについても、同様のパターンが続いています。GPT-4と比較して20のうち17のベンチマーク、Geminiと比較して21のうち16のベンチマークで同等または優れた性能を示しています。このクラスの最高モデルはSonnet v2 3.5ですが、それと比較しても約半数のベンチマークで同等または優れた性能を示しており、他のベンチマークでも非常に競争力のある結果となっています。さらに、コストとレイテンシーの特性も気に入っていただけると確信しています。
6.2 Nova Canvas
Amazon Nova Canvasは、私たちの最新の画像生成モデルです。自然言語によるテキスト入力で、スタジオ品質の美しい画像を生成することができます。お客様は自然言語を使用して画像を編集したり、テキスト入力で変更を加えることができます。また、カラースキームやレイアウトを制御するための組み込みコントロールも提供しています。
責任あるAI利用のために、トレーサビリティを確保する透かしやウォーターマーク機能、有害なコンテンツの生成を制限するためのコンテンツモデレーション機能など、様々な制御機構を組み込んでいます。
ベンチマーク評価では、一般的にこの分野のリーダーと考えられているDall-E 3とStable Diffusion 3.5と比較して評価を行いました。最も重要な2つの指標である画像品質と指示への忠実性の両方において、Canvasが両者を上回る結果を示しました。これは数値的な評価だけでなく、人間による評価でも同様の結果が得られています。
Nova Canvasの特徴は、高品質な画像生成と編集機能を提供しながら、同時にAIの責任ある利用を確保する包括的なアプローチを取っていることです。これにより、広告やマーケティング、商業用途など、幅広い分野での活用が可能となっています。
6.3 Nova Reel
Amazon Nova Reelは、最新の動画生成モデルで、スタジオ品質の動画を生成することができます。全てのカメラコントロール機能を備えており、カメラの動きを完全に制御することができます。パンニング、360度の回転、ズームインなどの機能を使用して、思い通りの映像を作成することができます。
Nova Reelも、Canvas同様に、トレーサビリティのための透かしやコンテンツモデレーションなどの責任あるAI制御機能を組み込んでいます。
本日の発表では、広告やマーケティングに最適な6秒の動画生成機能を提供していますが、今後数ヶ月のうちに2分間の動画生成へと拡張する予定です。これにより、より幅広いコンテンツ制作のニーズに対応できるようになります。
Reelのパフォーマンスについても、この分野のリーダーの一つであるRunwayと比較して評価を行いました。自動化された比較が可能な動画生成サービスのAPIは非常に限られているため、人間による評価を実施しましたが、その結果、Reelは他のサービスと比較して非常に優れた性能を示しています。
6.4 今後の展開予定
Novaの将来に向けて、チームは次世代のこれらのモデルに一年を通して取り組んでいきます。しかし、いくつかのプレビューをお伝えしたいと思います。
第1四半期には、音声入力から流暢で高速な音声出力を生成できる音声対応モデルを提供する予定です。これにより、音声インターフェースを必要とするアプリケーションに新たな可能性が開かれます。
さらに、2024年半ばには、真のマルチモーダルからマルチモーダルへの変換モデルを提供する予定です。これは本当の意味でのマルチモーダル対応モデルとなり、テキスト、音声、画像、動画のいずれかを入力として、テキスト、音声、画像、動画のいずれかを出力として生成することができます。これは、基盤モデルが今後どのように作られ、消費されていくかの将来像を示すものです。
これらの展開は、Novaが単なる個別のモデル群ではなく、統合された包括的なAIプラットフォームとなることを目指しています。私たちは、これらの新機能の提供を心待ちにしています。また、お客様からのフィードバックを積極的に取り入れ、継続的な改善を進めていく予定です。これらの新機能は、既存のNova機能群とシームレスに統合され、より豊かな表現と柔軟な応用を可能にすることでしょう。
7. 開発者ツール
7.1 Amazon Q Developerの新機能
昨年、私たちはAmazon Q Developerを発表しました。これはAWS専門家として、ソフトウェア開発向けの最も高機能な生成AIアシスタントです。Datapelのようなお客様は、Q Developerを使用して効率を70%向上させ、新機能の実装時間を短縮し、タスクをより迅速に完了し、多くの反復作業を最小限に抑えることができました。また、FINRAは、Q Developerを使用してコードの品質と完全性を20%向上させ、より安全で高性能なソフトウェアの構築を実現しています。
しかし、コーディングアシスタントは開発者の日常業務のごく一部に過ぎないことがわかりました。実際、開発者は1日の平均約1時間しかコーディングに費やしていません。残りの時間は、エンドツーエンドの開発作業の他のタスクに費やされています。そこで、私たちは開発ライフサイクル全体を見直し、他にも支援できる部分がないか検討しました。
その結果、開発者が時間を費やしているが、必ずしも好まない多くのタスクがあることが分かりました。単体テストの作成やコードレビューの管理などです。私は以前、大規模な開発チームを率いていましたが、コードのドキュメント作成を楽しむ開発者には出会ったことがありません。しかし、これは重要な作業です。面白くはありませんが、非常に重要で、省略すべきではありません。残念ながら、面白くないため、時には人々は十分な労力を費やさない傾向にあります。
そこで本日、Q Developerの一部として3つの新しい自律エージェントを発表できることを嬉しく思います。単体テスト生成、ドキュメント作成、コードレビューのための自律エージェントです。今後、Q Developerで"/test"と入力するだけで、Qが高度なエージェントとプロジェクト全体の知識を活用して、完全なテストカバレッジを自動生成します。第二のエージェントは、新規コードと既存のレガシーコードの両方に対して、正確なドキュメントを自動生成できます。そして、コードレビューを自動化するエージェントは、脆弱性をスキャンし、疑わしいコーディングパターンを指摘し、オープンソースパッケージの潜在的なリスクを特定します。さらに、デプロイメントのリスクを特定し、より安全なデプロイメントを実現するための緩和策を提案します。
これらのエージェントにより、開発者はこれらの重要だが差別化されない作業に費やす時間を大幅に削減し、より価値のある活動に時間を費やすことができるようになると確信しています。
7.2 GitLabとの統合
Q Developerの能力は重要ですが、開発者がそれにアクセスする場所も同様に重要です。そのため、コンソールでQを利用可能にし、Slackでも利用できるようにし、Visual Studio、VS Code、IntelliJなどの一般的なIDEすべてで利用できるようにしてきました。
本日、Q DeveloperとGitLabの新しい深い統合を発表できることを嬉しく思います。この新しいパートナーシップにより、Q Developerの機能がGitLabの人気プラットフォームに深く統合され、その人気のあるDuoアシスタントの多くの側面を強化することになります。
これにより、Q Developerの機能にGitLabのワークフローから直接ネイティブにアクセスできるようになります。私たちはSouthwest AirlinesやMercedes-Benzなどのお客様とこのコンセプトをテストし、彼らはQ DeveloperとGitLabの組み合わせの可能性に非常に興奮しているとのことです。
この統合は時間とともにさらに拡張され、より多くの機能が追加されていく予定です。これにより、開発者は最も生産性の高い環境で作業を続けながら、Q Developerの強力な機能にシームレスにアクセスできるようになります。
7.3 Windows、VMware、メインフレーム向け移行ツール
お客様に最も大きな課題を聞くと、Windowsに関する課題がすぐに浮かび上がってきます。お客様はWindowsからの脱却を望んでいます。継続的なセキュリティ問題、パッチ適用、スケーラビリティの課題、そして高額なライセンスコストに疲れているのです。
しかし、今日Windowsからの移行は簡単ではありません。そこで私は、Q Developerによる.NETアプリケーションの移行ツールの提供を発表できることを嬉しく思います。このツールにより、WindowsからLinuxへの移行が大幅に簡素化されました。Q Developerは、非互換性を自動的に発見し、変換計画を生成し、ソースコードをリファクタリングするエージェントを展開します。これらは数百、あるいは数千のアプリケーションを並行して処理することができます。
実際の成果として、手動での移行と比較して4倍の速度で.NETアプリケーションを近代化できることが実証されています。さらに、ライセンスコストを40%削減することができます。欧州のデジタルトランザクションのリーダーであるSignatureitは、従来6-8ヶ月かかると見積もられていたプロジェクトを、Q Developerを使用してわずか数日で完了することができました。
しかし、データセンターのレガシーシステムはWindowsだけではありません。VMwareもデータセンターに深く根付いており、長年にわたって多くの相互依存するアプリケーションが構築されてきました。実際、移行の最も困難な部分は、これらのアプリケーションの依存関係を理解することです。誤った移行は他のシステムに影響を与える可能性があり、ライセンスコストも高額です。
Q Developerを使用することで、アプリケーションの依存関係を自動的に特定し、移行計画を生成することができます。これにより、移行時間を大幅に削減し、リスクを大幅に軽減することができます。さらに、エージェントがローカルのVMware構成をAWSの最新の同等物に変換することもできます。これにより、数ヶ月かかっていた作業を数時間または数週間で完了することができるようになりました。
最も複雑で移行が困難なシステムはメインフレームです。多くの場合、メインフレームのコード分析、文書化、移行計画の作成だけでも大きな課題となり、多くの企業が諦めてしまいます。Q Developerは、このような複雑なワークフローを簡素化するためのエージェントを複数備えており、コード分析、計画立案、アプリケーションのリファクタリングを支援します。
また、メインフレームのコードの大部分は十分な文書化がされていません。何百万行ものCOBOLコードがありながら、その機能を把握できていないケースが多々あります。Q Developerは、このレガシーコードを取り込み、リアルタイムでドキュメントを作成し、どのアプリケーションを近代化すべきかを理解する手助けをします。
ほとんどのお客様は、メインフレームの移行に3-5年かかると見積もっています。このような長期のプロジェクトを計画することは非常に困難です。私たちは、まだワンクリックでのメインフレーム移行は実現できていませんが、初期のお客様のフィードバックと内部テストによると、Q Developerを使用することで、何年もかかるプロジェクトを数四半期に短縮でき、移行時間を50%以上削減できることが分かっています。これは、お客様が実際に理解し、取り組むことができるタイムラインです。
7.4 PagerDutyとの連携強化
インシデント管理と運用の自動化を強化するため、PagerDutyとの新たな統合を発表できることを嬉しく思います。PagerDutyは、インシデント管理の長年の経験を持つリーディングカンパニーです。PagerDutyを率いるJenn Tejada CEOによると、1995年にはウェブサイトを持つことがデジタルでの存在方法で、2015年にはモバイルアプリを持つことが重要でしたが、2025年にはAIエージェントを持つことがデジタルでの存在方法になると考えています。
PagerDutyのOperations Cloudは、サードパーティ製品に依存せず、AWSのエコシステムの中心的な役割を果たします。700以上の主要な業界アプリケーションと接続し、最新のオペレーションハブとして機能します。新しいAI駆動の製品群は、開発者を手作業から解放し、インシデントの自動検出、ノイズのフィルタリング、人間、マシン、そして増え続けるエージェント間のインテリジェントな解決のオーケストレーションを可能にします。
今日、私たちはPagerDuty AdvanceとAmazon Qの初の統合を発表します。PagerDuty AdvanceはBedrockとClaudeを基盤として構築され、Qと統合されることで、診断から要因の特定まで、必要なすべての情報にワンストップでアクセスできるようになります。この統一されたユーザー体験により、インシデントに費やす時間を削減し、構築に多くの時間を費やすことができます。
また、PagerDutyはAmazon Bedrock Guardrailsを活用して、幻覚を防ぎ、望ましくないトピックをブロックし、有害なコンテンツを最小限に抑えています。これにより、AIやエージェントによって引き起こされるインシデントの管理を支援するだけでなく、責任あるAIポリシーの強化にも貢献しています。
実際の運用例として、あるグローバル銀行のケースをお話ししましょう。日曜日の深夜、ログイン問題に関するPagerDutyアラートを受け取り、ソーシャルメディアで問題が拡散し始めている状況でした。従来であれば、Slackの複数のスレッド、メール、通話、ブリッジに多くの人が参加し、異なる大陸で複数の対策室が設置されるような事態になっていたでしょう。しかし、PagerDutyのOperations Cloudを使用することで、小さな専門家チームがSlackの統合チャットで対応し、PagerDuty AdvanceがAmazon BedrockとClaudeを使用して診断質問に答え、迅速に問題を特定し解決することができました。
このように、PagerDutyとAWSの統合は、インシデント管理を効率化し、運用チームの生産性を大幅に向上させることができます。
8. ビジネスソリューション
8.1 Amazon Q Businessの機能拡張
私たちは、開発者だけでなく、財務、営業、運用など企業内の様々な役割の生産性を向上させる必要性を認識していました。これらの役割に共通する課題として、情報が異なるアプリケーションに分散しており、意思決定に必要なデータの収集に多くの時間を費やしているという問題がありました。
この課題に対応するため、私たちはQ Businessを立ち上げました。Q Businessは企業の内部データを活用するための最も高機能なAIジェネレーティブアシスタントです。Q Businessの特徴は、AWSのデータソース、サードパーティアプリケーション、社内Wikiなどの内部ソースなど、企業内の異なるシステムを接続し、統合的な検索、要約機能を提供することです。これにより、ユーザーは企業データのサイロを越えて、データと会話形式でやり取りすることが可能になります。
セキュリティとプライバシーは設計の中核に据えられており、すべてのデータ権限は元のデータソースの設定を維持します。Q Businessは、Adobe、Atlassian、Microsoft Office、SharePoint、Gmail、Salesforce、ServiceNowなどから企業データのインデックスを作成し、常に最新の状態に保ちます。重要な点は、ユーザーがQ Business外でアクセスできないデータには、Q Business内でもアクセスできないようになっていることです。
Nasdaq、Principal Financial、Accentureなどの企業は、すでにQ Businessを活用して従業員の生産性を大幅に向上させています。さらに、私たちは急速にサポートするデータタイプを拡大しており、メタデータや音声、画像などの新しいファイルタイプのサポートも近日中に追加される予定です。
この統合検索の機能は、企業の意思決定プロセスを変革し、情報へのアクセスを民主化することで、組織全体の効率性を向上させることを目指しています。実際の導入企業からは、情報検索時間の大幅な削減や、より正確な意思決定の実現といった効果が報告されています。
8.2 QuickSightとの統合
今日、10万以上のお客様がQuickSightを分析ニーズに活用しており、インタラクティブなダッシュボード、シームレスなレポート、組み込み分析などを実現しています。昨年、私たちはQuickSightにQを統合し、AIジェネレーティブ機能によって迅速なインサイト取得を可能にしました。これにより、お客様はデータに対して直接質問を投げかけ、グラフやインサイトを回答として受け取ることができるようになりました。
しかし、私たちはさらに一歩進んで考えました。「BIシステムに格納されているすべての情報、構造化データのデータウェアハウス、そしてQのインデックスに格納されている文書や発注書、メールなどの情報を組み合わせることができたら、より良い意思決定が可能になるのではないか?」
本日、私はQuickSight QとQ Businessのデータの統合を発表できることを嬉しく思います。これは具体的にどういうことでしょうか?例えば、QuickSightのダッシュボードで売上を確認している際に、営業パイプラインの情報を追加したい、さらに先週行ったビジネスレビューでチームが議論した業界トレンドについても参照したいという場合を考えてみましょう。
新しいQuickSightとQ Businessの統合により、SalesforceからパイプラインデータをQuickSightレポートに取り込み、Adobe Experience Managerから最新のメールキャンペーンの詳細を抽出し、SharePointからビジネスレビューの内容を取得することができます。Qはこれらすべてのデータを要約し、単一のビューでQuickSight内に表示することができます。これによりQuickSightは、他の企業データソースからの情報を活用することで、より強力なBIツールとなります。
この統合は、お客様の企業データへのアクセスを革新的に変革し、より包括的で正確な意思決定を支援することを目指しています。これは単なるダッシュボードの機能強化ではなく、企業全体のデータ活用方法を根本的に変える可能性を秘めています。
8.3 ISVパートナー向けAPI公開
このQインデックスは驚くべき可能性を秘めています。企業のすべてのデータソースの規範的なソースとして機能することができるのです。QuickSightがより強力になったように、他のアプリケーションもQを統合することで、より大きな価値を提供できると考えました。
私たちはお客様やISVパートナーに「QuickSightに提供したのと同じQインデックスへのアクセスを提供したらどうなるか?」と問いかけました。彼らの反応は非常に前向きでした。サードパーティアプリケーションやアプリケーション開発者は、これらの追加データソースを組み込むことで、顧客により大きな価値を提供できることを直感的に理解してくれました。
そこで本日、Q Businessで使用しているQインデックスにISVがアクセスできる新しいAPIセットの提供を発表できることを嬉しく思います。お客様にとって、これはQ Businessの使用により他のすべてのアプリケーションも改善される可能性があることを意味します。
このAPIには詳細な権限制御が組み込まれており、サードパーティアプリケーションがいつデータにアクセスできるかを制御できます。これにより、アプリケーションの機能性と有用性が向上し、時間とコストを節約できます。また、複数のISVが個別にデータアクセスを管理する必要がなくなり、AWSが一元的に安全性を確保します。
すでにAsana、Miro、PagerDuty、Smartsheet、Zoomなどの企業がこのQインデックスとの統合を構築しています。例えば、Asanaは自社のプロジェクト管理アプリケーションにおいて、このインデックスを統合してチャットの書き起こしやメールなど、他のアプリケーションからのコンテンツを表示できるようになりました。これにより、プロジェクトマネージャーは様々なコミュニケーションチャネルからの情報を一元的に把握し、より効果的なプロジェクト管理が可能になります。
この新しいAPI公開は、エンタープライズソフトウェアエコシステム全体を変革する可能性を秘めており、より統合された、効率的なワークフロー環境の実現を支援します。
8.4 Q Business Automateの導入
私たちは、Q Businessが単純なワークフローの自動化に役立つことを確認しましたが、複雑なワークフローも支援できるのではないかと考えました。すべての企業には複雑なワークフローが存在します。これらは複数のアプリケーションを横断し、承認プロセスを含み、手動入力を必要とするような作業です。
これは新しい概念ではありません。人々は長年このような作業の自動化を試みてきましたが、人間の介入を必要とするため困難でした。UIがあり、UIの要素が変更されるとワークフローが崩壊し、修正に数週間を要することもありました。これらのシステムは脆弱で、うまく機能せず、構築コストも高額でした。
しかし、Qにはより良い方法があります。近日中に提供開始予定のQ Business Automateは、複数のチームやアプリケーションにまたがるタスクの自動化を支援します。Q Businessは一連の高度なエージェントを使用してワークフローの作成、編集、維持を行い、変更に対してより耐性の高いものにします。
例えば、自動車保険の請求処理のワークフローを自動化したい場合を考えてみましょう。標準業務手順を入力するだけでよいのです。実際には、ブラウザプラグインをインストールすることで、手動でステップを実行する際のプロセスを記録し、ビデオを作成することもできます。その後、システムは自動的にワークフローを作成し、理解できない部分について2、3の質問をします。これで自動化されたワークフローの完成です。
さらに、ワークフローを起動した後は、QのエージェントがUIの変更を検出し、その場で修正を行うことで、ダウンタイムを防ぐように常時監視します。これまでは数週間から数ヶ月かかっていた作業が、数分で実現できるようになりました。
この技術の効果を示す具体例として、Volkswagenの事例があります。現在、新しい人事情報システムに移行中のVolkswagenは、北米だけでも4,000以上の職務コードを数十の標準化された職務コードに統合する必要がありました。チームの誰かがQを使用してアプリケーションを作成したところ、非常に有用だったため、チーム全体に展開されました。この結果、来年、世界中で10万時間以上の作業時間を節約できる見込みです。たった5-10分で作成されたデスクトップアプリケーションによって、このような大きな成果が得られたのです。
私たちは、Q Business Automateによる自動化の可能性はまだ始まったばかりだと考えており、これらの煩雑な作業の時間削減に大きな影響を与えることができると確信しています。
9. SageMaker次世代版
9.1 統合分析プラットフォームの発表
分析とAIのワークロードは、ますます同じデータと同じワークフローを中心に収束しつつあることを、多くのお客様から指摘されています。これは、お客様がアナリティクスサービスをどのように考えるかを根本的に変えています。分析とAIツールはもはや独立して使用されているわけではありません。
実際、多くのお客様は、歴史的な分析データを機械学習モデルのトレーニングに使用し、そして同じデータがGenAIアプリケーションにも組み込まれています。このような統合的なアプローチは、すでに多くのお客様が実践しています。
例えば、最近対話した金融サービス企業のお客様は、リアルタイムの不正検知システムを構築していました。彼らは、アナリストが必要なデータにアクセスできるように設計された社内データカタログから始め、そのデータをRedshiftのデータウェアハウスにロードして保存します。その後、SQLによる分析を実行し、SageMakerとEMRの組み合わせを使用してデータサイエンティストがトレーニングデータを準備し、不正検知AIシステムのトレーニングとデプロイを行います。
これは素晴らしいシステムですが、クラウドなしではこのような成果を達成することは不可能でした。各ステップで最適なサービスを使用できたからこそ実現できたのです。しかし、この例や同様の事例を検討する中で、私たちは「これをさらに簡単にできないだろうか?白紙の状態から始めるとしたら、理想的なAIと分析のシステムはどのようなものになるだろうか?」と考えました。
そこで、必要な機能を4つのリングで表現しました。最高のアナリティクスサービス、構造化・非構造化を問わずS3、Redshift、Aurora、サードパーティのデータソースからのすべてのデータを理解する簡単な方法、データゾーンのようなカタログ作成、カタログ共有、データガバナンスなどのデータ管理機能、そしてすべての中心にAIを配置する必要がありました。これらすべてを統合された体験として結びつける第5のリングが必要だったのです。
本日、私は次世代のAmazon SageMakerを発表できることを嬉しく思います。SageMakerは今や、すべてのデータ分析とAIのニーズの中心となります。すでに多くのお客様に愛されているSageMakerを拡張し、迅速な分析、データ処理、検索、データ準備、AIモデル開発、生成AI、そしてすべてを企業データの単一ビューで統合した最も包括的なデータ分析とAIツールセットを統合しています。
9.2 SageMaker Unified Studioの導入
この統合的なビジョンの一環として、本日はSageMaker Unified Studioをプレビューとして提供開始することを発表できることを嬉しく思います。これは組織のすべてのデータにアクセスし、最適なツールで対応できる単一の開発環境です。
SageMaker Unified Studioは、AWSの様々な独立したスタジオで分析者やデータサイエンティストが使用している機能を統合します。独立したクエリエディタや様々な視覚的ツール - EMR、Glue、Redshift、Bedrockなど - に加えて、既存のSageMaker Studioのすべての機能を1つの環境に統合しています。
特筆すべき機能は、ノートブックやモデルなどのAIや分析のアーティファクトを含む共有プロジェクトを作成できることです。これにより、データサイエンティスト、アナリスト、MLの専門家が同じ統合空間で簡単にコラボレーションできるようになります。
また、統合されたデータカタログとガバナンス機能も含まれており、組織全体の異なるユーザーが必要なアーティファクトにアクセスできる一方で、権限のあるデータにのみアクセスできるよう、セキュリティ制御を簡単に適用することができます。
この環境は、分析とAIの開発を単なるツールの集合体ではなく、統合された完全なワークフローとして扱うことができる、真に統合された開発体験を提供します。これにより、チーム間のコラボレーションが促進され、データから価値を引き出すまでの時間を大幅に短縮することができます。
9.3 Zero-ETL統合の拡張
この統合環境を実現するために、私たちはまずデータサイロを解消する必要がありました。これは数年かけて進めてきたZero-ETLへの移行の一環として計画されていました。Zero-ETLは、Aurora、RDS、DynamoDB、Redshift間のすべてのデータを統合します。
さらに、重要なデータの多くが、サードパーティの強力なアプリケーションに存在していることも認識していました。これらのデータが分離されているため、すべてのデータを一緒に使用することが困難でした。そこで本日、Zero-ETLアプリケーションという新機能を導入し、多くの一般的なSaaSアプリケーションに保存されているデータを分析できるようにしました。重要な点は、データパイプラインを作成・管理する必要がないことです。
このアプローチにより、データ統合の複雑さを大幅に軽減し、データエンジニアはより価値の高い作業に集中できるようになります。従来のETLプロセスで必要とされていた複雑なデータ変換やパイプライン管理の作業から解放され、より戦略的なデータ活用に時間を費やすことができます。
これは単なる技術的な改善ではありません。企業全体のデータ活用方法を根本的に変える可能性を秘めています。データの即時性が向上し、より迅速な意思決定が可能になるとともに、データエンジニアリングのコストと複雑さを大幅に削減することができます。
9.4 SageMaker Lakehouseの一般提供開始
お客様は、これらすべてのデータを分析したいと望んでいます。先ほど発表したS3の新しいIceberg機能により、S3のデータレイクへのクエリが格段に容易になりました。しかし、お客様はRedshiftの構造化データソース、S3のデータレイク、その他のフェデレーテッドデータソースなど、すべてのデータに対する単一のインターフェースを求めています。
本日、Amazon SageMaker Lakehouseの一般提供を発表できることを嬉しく思います。これはSageMakerのApache Iceberg互換のデータウェアハウスで、これらすべてのデータソースへの統合された簡単なアクセスを提供します。
統合スタジオで直接すべてのデータを操作できるだけでなく、Apache IcebergのAPIをサポートするサードパーティのAIやアナリティクスツール、クエリエンジンから直接SageMaker Lakehouseにアクセスすることができます。データの物理的な保存場所に関係なく、クエリを実行することができます。
分析、アドホッククエリの処理、データサイエンス、その他すべてのユースケースに対して、この一貫したインターフェースを通じてアクセスできます。また、既存のSageMakerのAI機能もすべて引き続き利用可能です。Data Wrangling、Human in the Loop、Ground Truth、Experiments、MLOps、そしてもちろんHyperPodによって管理される分散トレーニングなどの機能を継続して提供します。
来年を通じて、AutoML、ローコード開発体験、特殊なAIサービスの統合、ストリーム処理、検索機能など、多くの新機能を追加していく予定です。また、Zero-ETLでより多くのサービスとデータにアクセスできるようにしていきます。そしてこれらすべてを、この統一されたインターフェースを通じて提供します。最も重要なのは、今日からすぐに始められることです。