※本記事は、AWS re:Invent 2024で行われたセッション「Elevate smart home experiences with IoT-based AI/ML models at the edge (IOT304)」の内容を基に作成されています。このセッションでは、次世代スマートホームソリューションにおけるAI活用について解説されており、前例のない利便性、ハイパーパーソナライゼーション、高度なインテリジェンスの実現方法が紹介されています。詳細情報は https://www.youtube.com/watch?v=n0qpHSdbu6M でご覧いただけます。本記事では、セッションの内容を要約しており、登壇者の見解を正確に反映するよう努めていますが、要約による誤りがある可能性もありますので、正確な情報については、オリジナルの動画をご視聴ください。

【登壇者紹介】 ・Olivier Bernard氏：AWSのIoTスペシャリスト ・YoungGon Kim氏：LGエレクトリクスのシニアソフトウェアエンジニア、スマートホームプラットフォーム「ThinQ」のバックエンドエンジニアリングを専門としている ・David Boldt氏：AWSのソリューションスペシャリスト

1. スマートホームの未来とビジョン

1.1. 現在のスマートホーム状況と課題

Olivier Bernard（AWS IoTスペシャリスト）：皆さん、こんにちは。今日は次世代スマートホームについて学ぶために参加してくださり、ありがとうございます。多くの皆さんと同様、私も技術愛好家であり、技術が世界をどう変えるかに興味を持っています。今はスマートホームにとって非常にエキサイティングな時代です。IoTが本当に普及し、生成AIも登場したことで、次世代スマートホームが何をできるかについて大きな可能性が見えてきています。

皆さんは、家の中で様々なデバイス—コーヒーメーカーや自動車、エアコンなど—と対話し、それらのデバイスがあなたの必要とするものを必要なタイミングで知り、それに基づいて行動する未来を想像できますか？これは素晴らしいことですよね。そして、より重要なことに、これが現在の皆さんの家の動作方法でしょうか？もちろん違いますよね。

実は朗報ですが、その未来はそれほど遠くありません。実際、私はこのような顧客体験とスマートホームを提供することを使命としています。私はOlivier Bernardで、AWSのIoTスペシャリストです。今日は舞台上でLGのYoungGon Kim氏とAWSのDavid Boldt氏に加わっていただいています。三人でスマートホームの未来が何をもたらすかを発見するお手伝いをします。

では、スマートホームとは何でしょうか？特に、スマートホームの未来はどのようなものでしょうか？スマートホームの未来は、ほとんどの方がすでに家に持っているIoTデバイスとAI、生成AI、エッジAIの統合によって、住宅生活をより効率的で快適、シームレス、簡単にし、お金の節約も助けることです。これが我々が「インテリジェンス・エクスペリエンス」または「自律型リビング」と呼ぶものです。これは現在私たちが持っている「接続型リビング」とは対照的です。家にデバイスが接続されていても、それらのデバイスで可能なことを必ずしも活用していません。実際、デバイスメーカーが家庭に出荷するほとんどのIoTデバイスは実際には接続されず、人々はそれらを使用していません。これが課題です。

現在、IoTはどこにでもあります。ほとんどの消費者は家にIoTデバイスを持っていますので、それは問題ではありません。毎年8億5000万台以上のデバイスがスマートホームに出荷されており、その数は2030年までに世界中の家庭で55億台に増加する予定です。その規模は相当なものです。実際、米国の家庭の3分の2がすでにスマートホームと考えられています。スマートホームとは、スマートTV、スマートスピーカー、スマートロック、スマートカメラなど、少なくとも5つの異なるデバイスを持つ家庭を指します。平均的な家庭には既に17〜21のデバイスがあります。

この規模と成功により、問題と課題も生じています。消費者は複雑すぎるためにこれらのデバイスのすべてを活用していません。難しくしている要因はいくつかあります。まず、オンボーディング体験です。デバイスをセットアップし、Wi-Fiネットワークに確実に接続することは、常に簡単な体験ではありません。第二に、運用面では、デバイスごとに異なるアプリケーションがあると、複数のアプリを持つことになり、どのデバイスがどのアプリで動作しているかを忘れてしまい、導入したインフラストラクチャ全体を活用することが非常に困難になります。そして、カスタマーサポートの問題もあります。デバイスが起動しないか、Wi-Fiに接続できない理由がわからないとき、電話で問題を説明するのに1〜2時間かかることがあります。

これらの理由すべてにより、スマートホームの採用率は期待通りになっていません。スマートホームのセットアップ問題のため、それを利用するには「作業」が必要です。ここでのキーワードは「作業」です。家を活用するために行動を起こす必要があり、それが多すぎるのです。

1.2. スマートホームの三つの主要トレンド

Olivier Bernard：スマートホームで消費者がより多くのデバイスを購入し、より多くの製品を接続し、より多くのアプリケーションを家に取り入れるようにするための3つのトレンドが見えています。

最初のトレンドは「見えないオートメーション」です。デバイスのオンボーディングやルーティンの作成をできるだけ自動化し、簡単にする必要があります。これは、デバイスを取り出して接続するだけで、ネットワークに接続され、ルーティンの一部になるということです。例えば、リビングルームの照明ルーティンがあり、その照明がリビングルームにあることを認識すれば、自動的にそのグループに関連付けられ、何もする必要がありません。

2つ目のトレンドは、より良いインターフェースが必要だということです。スマートホームを設計する際の究極の目標は、家庭コンサルタントや家庭デザイナー、つまり「あなたの家とあなたが持っているデバイスに基づいて、これが私がすることです」と言ってくれる人間のインターフェースを持つことです。しかし、そのようなサービスは存在しないか、ほとんどの人にとって手頃な価格ではありません。

現在、話しかけることができるスマートスピーカーがありますが、本当にスマートな家を持つために必要なほど包括的ではありません。「直感的で没入型」というのは、例えばインターネットに何か問題があったとき、AIシステムに「インターネットが遅いのですが、どうしたらいいですか？ルーターをリセットすべきですか？すべてのデータを使用しているアプリケーションを見つけるべきですか？それとも地域で停電が起きているだけですか？」と尋ねることができ、AIシステムが人間のような方法で応答し、「これをすべきで、これがその方法です」と言うことを意味します。これが私たちが目指している方向です。

一度、見えないオートメーションと良いインターフェースを持てば、家の次のレベル、つまり私たちが本当に目指す「ハイパーパーソナライゼーション」に進むことができます。2つの家は同じではなく、2人の消費者も同じではありません。しかし、現在消費者に提供しているアプリケーションの多くは、ほとんどの消費者が好むであろうものです。それはパーソナライズされていません。あなたの好み、家にあるデバイス、家にいる人々に合わせてパーソナライズされていません。

AIがあなたが持っているデバイス、コンテキスト、人々が家をどのように使用するかを理解することで、家の中の各メンバーに本当にパーソナライズされた体験を提供することができます。そこに到達すれば、人々はスマートホームの価値を理解し、セットアップにさらにデバイスを追加するでしょう。

ここで繰り返されるテーマは、拡張したい場合はAIを活用する必要があるということです。しかし、クラウドでの従来のAIモデルはスマートホームには機能しない可能性があります。そこで、家の中のエッジでの生成AIの概念を導入する必要があります。その理由はいくつかあります。

まず、データが利用可能になるとすぐにデータを使用して行動を起こしたいのです。待ちたくありませんし、データを無駄にしたくありません。例えば、グリッドに制限がある場合に消費電力を過剰に消費しないよう、ユーティリティとのスマートメータリングや負荷分散を行いたい場合、それは即座に敷地内で行われるべきことです。

同様に、リアルタイムのデータ処理、分析、このデータに基づく行動は、使用されているコンテキストに応じて行われる必要があります。家に漏れがある場合は配管工に警告したり、侵入者がいる場合はセキュリティ会社に報告したりするような、スポットでの知的な意思決定が必要です。それは即時的で文脈的です。誰かが見て「そうすべきだ」と言うのを待つ必要はありません。

さらに、規制の問題もあります。欧州ではGDPRというプライバシーの問題があります。消費者がスマートホームシステムを信頼するためには、プライベートデータが外部に漏れないことを確認したいと考えています。家の中に生成AIを置くことで、すべてのアクションデータは家の中で使用され、外に出ることはありません。例えば、スマートカメラをセットアップして子供を認識する場合、その推論がクラウドに送信されて「これは彼の子供たち」と言われるのではなく、他のすべてと同様に家の中ですべて行われるべきです。

最後に、ネットワークが十分に良くない、または回復力がない、または停電がある場合はどうなりますか？YoungGon氏は彼の経験でこれについて話しますが、これは彼の顧客にとって大きな痛みの種です。そして最後に、コンテキストに基づく自律的なルーティンもエッジで行われる必要があり、それは家庭で利用可能なデバイス、行動、何を使うか、どのくらいの頻度で、どのように使うかに基づいています。このコンテキスト学習はエッジで行われる必要があります。

1.3. エッジでのGenAIの重要性

Olivier Bernard：直感的なAIアシスタントの必要性について話してきましたが、長い間、10年ほど前から、人々が家と人間らしい方法で対話するのを助けるスマートスピーカーを持っていました。プログラミングをする必要はなく、Alexaスピーカーに話しかけて「これをセットアップして」や「あれをセットアップして」と言うだけでした。

私たちはこの成功を基に、タッチスクリーンを備えたスクリーンやスマートスピーカーを開発し、インターフェースを提供してきました。進化は、家をコントロールしやすい方法や、デバイスの表示方法を持つところまで来ましたが、まだそこには至っていません。現在スマートホームへのアプローチを本当に変えているのはAIであり、これらのコントロールを自動的にセットアップする能力です。

これにより、スマートな家電を使用できるようになりました。今では冷蔵庫やAIミラーを使って家をコントロールできます。そう遠くない将来には、掃除機ロボットと統合された人間のようなロボットを見たいと思います。家でやりたくないことを実行できるだけでなく、そのロボットと対話するときには、まるで人と対話するかのようにしたいのです。そして再び、個人的なアシスタントや個人的な家のデザイナーに戻ります。ちなみに、私の世代で家にこのようなロボットを見ることができると信じています。その未来はそれほど遠くありません。

スマートホームデザインとAIのスマートホームへの統合には多くのユースケースがあり、すべてのシナリオやユースケースに一つの解決策が適合するわけではありません。私たちが見ているのは、家を操作するためにクラウドとクラウド内で利用可能なLLMを使用する必要がある従来のユースケースです。すべてが家の中に制約されるユースケースもあり、それがエッジAIのケースになります。そして、包括的なエンドツーエンドの経験を提供するために、エッジAIインテリジェントデバイスとクラウドを組み合わせる必要があるユースケースもあります。

当社の顧客がこれらのアーキテクチャを使用して顧客に提供している方法の3つの異なるユースケースまたは例を紹介します。最初の例は、当社の顧客であるElectroluxのMaxホームアプライアンス、調理アプライアンス、コンロ、オーブンです。彼らはAI TasteAssistアプリケーションを生成し、興味のある、調理したいレシピをアプリにダウンロードまたはスキャンできるようにしました。

エージェントはあなたが作ろうとしているレシピを取得し、キッチンにあるElectroluxのモデルやデバイスを追加し、その情報をクラウドに送信します。そしてクラウドは、調理のマスターモデルを通じて、「家にあるデバイス、調理しているもの、サイズなどに基づいて、そのレシピの調理プロファイルはこうあるべきだ」と言います。そしてそのレシピを家電に戻してダウンロードし、過度に調理したり、焦がしたり、他の調理災害を作り出すリスクなく調理できます。

2つ目の例は、AIが完全に家の中に制約されているエッジAIです。これは多くのセンサー、インテリジェンス、自己学習アルゴリズムを備えたスマート掃除機のケースです。家にロボットを配置すると、家のマッピングを開始し、どの領域が掃除されやすいか、どの領域が通常きれいであるかを把握し、同じエリアを行ったり来たりする必要がなくなります。これにより、スマートロボットの使用効率が高まり、ロボットのエネルギー管理が向上し、ロボットの寿命が長くなり、家の掃除がより効率的になります。

3つ目の例は、デバイス上のAIエージェントとクラウドベースのAIソリューションセンターを組み合わせた興味深い例です。私たちが持っているのは、デバイスが自己診断を実行し、差し迫った故障や交換が必要なものがあるかどうかを把握し、何をする必要があるかを把握するためにAmazon Connectというコールセンターサービスに連絡するデバイスです。

これは、デバイスに問題がある場合にサービスセンターに電話する方法をある程度エミュレートしていますが、この場合は人間の相互作用が必要ありません。いくつかのケースでは、ロボットがその情報を往復させ、自身で調整するのを見ることでしょう。他のケースでは、チケットを開き、消費者にコールセンターに連絡することを推奨します。

コールセンターは一方で、「デバイスからすべての情報、すべてのテレメトリを受け取り、問題が何であるかを知っています。これがあなたがする必要があることです」と言います。製品を返却するか、ロボット掃除機を使用している場合はロボット内の一部の交換部品を変更するか、何でも構いません。

ここでの経験は、デバイスの利用時間が増え、より良く機能し、問題がある場合はより速い解決が得られるということです。「消費者に電話し、何をすべきか知っている、完了」と言う消費者体験は、消費者にとって非常に肯定的な体験です。

スマートホームソリューションを展開することは、AIエージェントの展開に関わる多くのコンポーネントがあるため簡単ではなく、Davidさんがこれについて詳しく説明します。しかし、スマートホームを実現するために取り組んでいる4つの異なる次元があります。

最初のものは、利用可能なAI組み込みデバイスがそれほど多くないことです。これには2つの方法があります。一つは、AIワークロードを維持できるチップセットを開発するために半導体企業と協力することです。一方、AIモデルを剪定して、ほとんどの組み込み型デバイスに適合させるための技術とフレームワークの確保にも非常に力を入れています。

2つ目は、ユーザーインターフェースの複雑さであり、スマートホームやAIアシスタントを家に持っている場合、定期的にそれらがよりインテリジェントな機能で更新されているのを見ることでしょう。ルーティンの自動化は今まさに私たちのところに来ています。

3つ目の側面は、多くの消費者デバイスがあり、すべてのデバイスが互いに話すわけではないことです。テレビやアラームシステムなどと連携するようなルーティンを作成してデバイスをリンクさせたい場合、それは簡単ではありません。

そこで業界が集まり、Matterというスマートホームプロトコルを作成しました。Matterは約2年前からあり、現在数千のデバイスが利用可能で認証されています。Matterはこれらすべてのデバイスが同じ言語で話し、互いに通信し、それらのルーティンを設定できるようにする共通言語を提供しています。Matterの最新バージョンは1.4であり、1.4では家で見つかるデバイスの約95%がMatter準拠になっています。

最後に、これらすべてを行い、スマートホームが機能しても、それでゲームの終わりではありません。IoTワークロードやAIワークロードを展開しても、それを維持し、微調整し、前述のハイパーパーソナライゼーションを提供するためにカスタマイズする必要があります。Davidさんは、MLOpsと提供しているサービスのいくつかについて話します。

これが少し圧倒的に思える場合、多くのことが進行中で、多くのプレーヤーがいます。朗報は、この旅に一人で乗り出す必要はないということです。デバイスを持つ多くのパートナーがいます。IoTゲートウェイや掃除機やスマート冷蔵庫などの実際のデバイスなど、さまざまなタイプのデバイスでエッジにデプロイされたAIワークロードを多数有効にしています。顧客成功の参考事例があり、YoungGon氏は彼の会社が顧客を喜ばせるためにソリューションをどのように実装したかについて議論します。最後に、これらのAIワークロードを展開する方法、ベストプラクティスについて、皆さんが使用して活用できる非常に包括的なフレームワークがあり、Davidさんもこれについて議論します。

2. LGのThinQプラットフォーム事例

2.1. ThinQプラットフォームの概要と主要価値

YoungGon Kim：皆さん、このように多くの方々にお会いできて本当に嬉しいです。私はLGエレクトリクスのシニアソフトウェアエンジニアのYoungGon Kimで、ThinQと呼ばれる当社のスマートホームプラットフォーム向けのバックエンドエンジニアリングを専門としています。この部屋にはLG製品の消費者の方も多いかと思います。LGの消費者はこの部屋にいらっしゃいますか？素晴らしい、多くの方がいらっしゃいますね。ありがとうございます。

LGについてご存じない方のために簡単に紹介させてください。LGエレクトリクスは家電産業のグローバルリーダーです。当社の製品は400以上の異なるカテゴリーにわたり、年間生産能力は8,000万台を超えています。もちろん、世界中どこでも当社の製品を見つけることができます。これらの多様で適切なデバイスを接続し、真のスマートホーム体験を提供するために、当社はスマートホームプラットフォームであるThinQを作成しました。

もちろん、LGデバイスだけを接続するのではなく、Matter互換デバイスなど他のブランドのデバイスを簡単に統合できるようにしています。これをさらに良くするために、APIを公開しています。したがって、IoTデバイスやスマートホームソリューションに取り組んでいる方は、ぜひ参加してビジネスを拡大してください。

スマートホーム体験とは実際にどのようなものかを考えてみましょう。おそらく購入した瞬間から始まります。消費者はリアルタイムで注文を追跡し、いつ到着するかを正確に知ることができるはずです。インストール後、デバイスは消費者を認識し、パーソナライズされた設定で準備ができているはずです。何も触る必要はありません。

そして外出している場合、デバイスは家にいるペットにくつろげる空間を提供できます。外出すると、掃除をしたり、エアコンを付けたり、照明を消したりするタスクを処理できます。どこにいても、家をチェックし、その状態を確認し、必要に応じてアクションを取ることができるはずです。または問題がある場合は、デバイスが自己診断してサービスを予約し、スマートフォンのように新機能で自己更新さえ行います。最高の部分は、ThinQがこれをすでに可能にしていることです。

ThinQについてもう少し詳しくお話ししましょう。ThinQは消費者のために3つの主要なことを中心に展開しています。まず「常時オン」、次に「シームレスな体験」、そして「パーソナライゼーション」です。

まず、「常時オン」とは、いつでもどこでもスマートホームに常にアクセスできることです。そのために、IoT接続性は非常に重要です。この接続性により、家族はどこにいても家電を共有しアクセスすることができます。そしてLG製品だけでなく、さまざまなブランドから7,000以上の異なる製品タイプを接続でき、信じられないほどの柔軟性を提供します。

2番目の価値は「シームレスな体験」です。これは製品を購入した瞬間からアフターセールスサポートまで、スムーズで中断のないスマートホーム体験を意味します。購入から配送、使用、アフターセールスサポートまで、すべてのステップが重要だと考えています。生産からアフターセールスサポートまでのすべてのデータを処理しているため、複雑な設定なしに購入後すぐにThinQに接続できます。

最後に「パーソナライゼーション」。これは各人にカスタム体験を提供することです。ThinQでは、あなたが望むことを正確に行い、家を本当にスマートに感じさせるあらゆる種類の自動化を設定できます。

今日は、このようなスマートホームプラットフォームをグローバル規模で構築・運営した方法についてお話しします。では、技術的な詳細に踏み込んでみましょう。私たちには主要な顧客価値を提供するように設計された3つの主要ステージがあります。

まず最初はデータ取り込みステージです。ここではすべてのIoTデータを処理します。目標は、IoTデータをできるだけ迅速かつ確実に処理することです。現在、毎日220億件以上のIoTトランザクションを処理しています。

次にデータ処理ステージに移ります。ここでパーソナライズされたサービスのためにデータを準備します。毎秒数ギガバイトという膨大な量のデータをリアルタイムで処理し、常に正確で最新かつ一貫性のあるデータであることを確認しています。

最後に、自動化と推奨ステージがあります。ここでパーソナライズされたサービスを提供し、スマートホーム体験をユニークなものにします。

2.2. データ取り込みとIoT接続性の課題と解決策

YoungGon Kim：スマートホームにおいて、最も重要な側面は接続性です。人々が抱える最大の痛みポイントの一つは、接続が信頼できないことです。想像してみてください、暑い夏の日に家に帰る前にエアコンをつけたいと思っても、アプリを通じて接続できないため、家に入ったときにはまだ暑くて汗をかいている状態です。これは本当にイライラすることになります。

スマートホームプラットフォームを構築する上での最大の課題の一つはIoTライフサイクルを追跡することでしたが、実際のところネットワークは不安定なことが多いのです。これはIoTデバイスが簡単に切断される可能性があることを意味し、それは単にこの取引の一部です。そのため、消費者が常に情報を得られるように、各デバイスの接続状態を正確かつリアルタイムで追跡することが非常に重要です。

さらに、様々なブランドから7,000以上の異なる製品タイプをサポートしているため、毎日220億件以上のIoTトランザクションをこの多様なデータをリアルタイムで安定的に処理することは簡単なタスクではありません。さらに、ほとんどのIoTデバイスはMQTTプロトコルを使用していますが、時にはHTTPなど他のプロトコルに切り替える必要があります。

これらの課題にどのように取り組んだかを見てみましょう。まず、IoTライフサイクルを正確に追跡することに焦点を当てました。AWS Sitecoreを使用している方はご存知かもしれませんが、デバイスの接続状態を正確に追跡するには、すべてを最新の状態に保つためにバージョン番号を使用する必要があります。

2つ目の課題はデータの多様性でした。7,000以上の異なるプロトタイプがあるため、膨大な種類のデータを扱っていました。各デバイスには独自のユニークなデータフィールドがあります。たとえば、エアコンを例に取ると、電源、モード、温度、空気品質など約20のデータフィールドがあるかもしれません。このデータフィールドを保存するために、AWS Sitecoreはデバイスシャドウと呼ばれるサービスを提供しています。

おそらくご存知かもしれませんが、現実の世界では、デバイスは予想よりもはるかに頻繁にステータスを更新します。今、すべての20のデータフィールドを単一のデバイスシャドウに保存していると想像してください。しかし、デバイスが毎秒すべての20のデータフィールドを更新するとどうなるでしょうか？実際に変化しているのが空気品質だけであれば、毎回すべての20のデータフィールドを更新する必要がありますか？

もちろん必要ありません。代わりに、タイプごとにデータを分割し、増分書き込みを実行します。そのため、実際に変更されたデータのみを更新します。このアプローチにより、データベースの負荷が大幅に削減され、全体的な効率が向上します。

3つ目の課題はHTTPプロトコルでした。以前はMQTTをHTTPプロトコルに変換するためにLambdaを使用していましたが、多くのIoTデバイスが一度に再接続すると、「再接続ストーム」と呼んでいます。Lambdaはスロットリング制限に達し、アカウント全体のコンカレンシー制限に影響を与えるエラーを引き起こす可能性があります。

この問題を解決するために、AWSと協力し、私たちの機能リクエストがHTTP IoTルールアクション機能につながりました。この変更により、問題が解消され、より安定した信頼性の高いサービスを提供するのに役立ちました。

これらの問題に取り組むなかで、強力なIoT接続がいかに重要かを認識するようになりました。IoT接続を正確かつリアルタイムで追跡し、スケーラブルなデータベースのパーティショニングが極めて重要です。

2.3. シームレスなエクスペリエンスの実現方法

YoungGon Kim：消費者はどのような時に自分の体験がシームレスではないと感じるのでしょうか？おそらく複雑な設定が必要な場合や、修理の管理が面倒になる場合に起こるでしょう。そして、もちろん企業が継続的なサポートを提供していないと感じる場合も大きな落胆につながります。

OEMの視点から見ると、製品サポートの不足や使用するまでの手順が多すぎると、消費者が離れていく可能性があります。また、無線でのアップグレード（OTA）を提供する能力がなければ、消費者に新しい価値を追加し続けることは困難です。

ThinQは完全に統合されたエンドツーエンドのプラットフォームとして設計されています。エンドツーエンドと言うとき、それは生産から配送、使用、そして継続的なサポートまで、製品のライフサイクル全体をカバーすることを意味します。各コンポーネントから平均的なソフトウェアバージョンまで、製品のすべてのデータを管理しているため、消費者が問題や質問がある場合、モデルを特定したり交換部品を見つけたりする心配をする必要はありません。

さらに、ThinQはアプリを通じて自己診断しサービスをスケジュールすることもできるため、消費者は追加の手順を踏む必要がありません。これはすべて裏側で動いています。このシステムが機能するのは、生産からアフターセールスサポートまでのスムーズで信頼性の高いステップを保証するデータの整合性と一貫性を確保しているからです。

真にシームレスな体験を提供するためには、生産からアフターセールスサポートまで、ライフサイクル全体にわたるデータを管理することが不可欠です。

2.4. パーソナライゼーションの実装

YoungGon Kim：スマートホームで消費者が最も求めているのは、実際に「スマート」だと感じることです。しかし、もし彼らがすべてを手動で設定しなければならなかったり、パーソナライズされた機能が不足していたりすると、それは真のスマートホームとは感じられません。

OEMにとっての課題は、カスタマイズされたサービスを提供できなかったり、単純なプリセット機能に限定されていたりする場合です。この問題を解決するために、私たちは消費者が使用する製品や特定の環境に基づいて、高度にパーソナライズされたサービスを各消費者に提供しています。

私たちは、消費者が簡単にカスタマイズできる自動化タスクを推奨しています。これらの自動化は、Matter互換デバイスを含むサードパーティデバイスと接続でき、天気、時間、場所などの要因に基づいて適応します。

このレベルのパーソナライゼーションを提供するための鍵は、大量のデータを効率的に処理することにあります。これには、ECGパターンや環境コンテキストの収集、そしてそのデータを意味のあるインサイトをサポートする使用可能なデータ形式に変換することが含まれます。

コンピュータサイエンスには「ガベージイン・ガベージアウト」というよく知られたフレーズがあります。これは、クリーンで高品質なデータのみが意味のある分析と正確なパーソナライゼーションにつながることを意味します。

2.5. 将来計画とAIOpsへの移行

YoungGon Kim：ここからは、バックエンドエンジニアリングの観点から、スマートホームプラットフォームをどのように拡張・強化しているかについてお話ししたいと思います。スマートホームプラットフォームが真にスマートであるためには、バックエンドシステムもインテリジェントである必要があります。これを可能にするには、AIとMLを搭載したバックエンドシステムが必要です。

私の見解では、現在はDevOpsを超えてAIOpsを受け入れる時期に来ています。AIOpsにより、予測診断とリアルタイムレスポンスを備えた、より効率的で自動化された運用環境を構築し、システムの複雑さを簡素化することができます。

現在、私たちは毎日220億件以上のIoTトランザクションを処理しています。しかし、来年はどうなるでしょうか？500億件、さらにそれ以上になるかもしれません。サービスが急速に成長し、インフラストラクチャがますます複雑になる中、すべてをスムーズに実行し続けるために、人間の分析と管理だけに頼ることは不可能です。

これが、バックエンドシステムをAIでよりインテリジェントにする必要がある理由です。DevOpsからAIOpsへの移行は不可欠であり、大規模言語モデルの活用は、監視能力と予測能力を強化するための重要な戦略となります。

将来的には、AIが問題を発生前に予測し、AIチャットボットを通じて解決策を提案し、さらには自動回復をサポートすることが考えられます。データ分析から根本原因分析レポートまで、このプロセスのあらゆる部分が自動化されるべきです。

結局のところ、バックエンドシステムはスマートホームプラットフォームの基盤です。効率的な運用は、コードの読み取りに役立ち、さらにスマートなバックエンドに再投資することを可能にします。未来のスマートホームの真の価値を提供するためには、プラットフォームもより賢くなり続ける必要があります。

それでは、エッジデバイス上のAIとMLがスマートホームセットアップをどのように強化できるかについて共有するDavidに引き継ぎたいと思います。

3. エッジデバイス向けAI/MLモデル統合のコンセプト

3.1. リモート推論 vs エッジでの推論

David Boldt：Olivierからスマートホームのビジョンを聞き、LGがどのように顧客志向のプラットフォーム、エンドツーエンドプラットフォームであるThinQを構築したかについてYoungGonから話を聞いたところで、エッジデバイスにAIとMLモデルを統合する実際の概念は何でしょうか？

一般的に、2つの異なるオプションがあります。1つ目は「リモート推論」で、機械学習モデルがクラウドにデプロイされ、エッジデバイスがリモートに呼び出す、またはリモートAPI呼び出しを行い、機械学習モデルを推論します。2つ目のオプションは「エッジでの推論」で、機械学習モデルがエッジデバイス、つまりアプリケーションの近くにデプロイされ、それが機械学習モデルを呼び出します。

この両者には、モデルのトレーニング方法とデータの保存方法という2つの共通点があります。エッジデバイスは通常、計算能力が限られており、機械学習モデルの定期的な再トレーニングには、単にモデルを実行するよりもはるかに多くの計算能力が必要なため、両方のシナリオでモデルのトレーニングにはクラウドの計算能力が使用されます。

また、集約データの中央保存場所としてクラウドを使用します。LGが彼らのプラットフォームであるThinQで行っているのを見たとおりです。両方でクラウドを使用することで、現在見られるスマートホームデバイスの数の増加に対応できるようになります。

データフローは概念的には両方とも同じです。エッジデバイスは新しいトレーニングデータとテレメトリをクラウドにアップロードし、そこに保存され、トレーニングとチューニングのステップが最新のデータを取得し、新しいモデルバージョンをトレーニングして、それがデプロイされます。違いは、エッジでの推論では、機械学習モデルがエッジデバイスに置かれ、エッジデバイスにデプロイされるという追加のステップがあることです。

もちろん、両方のシナリオにはそれぞれメリットがあります。クラウド内の機械学習モデルによるリモート推論では、更新や変更の追跡が容易になる一元的なモデル管理が得られます。また、スケーラビリティも得られます。必要に応じて計算能力を簡単に追加でき、利用可能な計算能力も活用できます。さらに、エッジデバイスは限られているため、最新のモデルはそれらのデバイスで実行することができないことが多いため、より強力なモデルにアクセスできます。また、推論セクションにもクラウドを使用することで、エッジデバイスをさらにリソースが少なくなるように設計し、より効率的にすることができます。

一方、エッジでの推論では、そのローカルレイテンシ、つまり低レイテンシが得られます。それはつまり、瞬時の意思決定とリアルタイムデータ処理です。また、ネットワークに依存しません。例えば、ビデオストリーミングのような高帯域幅アプリケーションの場合、帯域幅に制限されることはありません。

また、シナリオを想像してみてください。あなたが家に帰り、スマートホームと慣れた方法でやり取りしたいと思っているとき、現在接続やネットワークの不安定さがあるとします。デバイスでの推論を使えば、最終的に消費者は慣れ親しんだ方法でスマートホームと引き続き対話できるため、信頼性も向上します。

もう一つの側面は、プライバシーとセキュリティの強化です。推論用のデータは他の場所に送信されず、代わりにデバイス自体でローカルに処理されます。これらの特性により、今日のスマートホーム消費者が求めている応答性の高い体験を生み出すことができます。

3.2. エッジデバイス向けMLライフサイクルの主要ステップ

David Boldt：エッジデバイス向け機械学習ライフサイクルにおける4つの主要ステップは、エッジデバイス自体からモデル推論で始まります。最新のトレーニングデータを収集し、テレメトリを収集して、クラウドに送信します。

最初のステップはデータ準備段階です。データをフィルタリングし、拡充し、トレーニングフェーズに向けて準備します。アルゴリズムによっては、教師あり機械学習モデルアルゴリズムの場合、いくつかのラベリングも行う必要があるでしょう。

次にトレーニング段階では、最新のトレーニングデータを取り込み、新しいモデルをトレーニングします。ここで重要なのは、スマートホームデバイスのハードウェアバージョン（X86かARMか、あるいは現場で異なるリビジョンがあるかもしれません）に合わせてモデルを調整する必要があることです。これらのバージョンに合うようにモデルを調整する必要があります。

最後に、モデルを取り、デプロイメントパッケージを作成し、エッジデバイス自体にデプロイします。そこでエッジデバイスがそれを取得し、最新バージョンで実行します。

ご覧のように、これは反復的なプロセスであり、スマートホームユーザーにパーソナライズされた体験を作成することができます。時間とともに変化する新しいユーザー行動に簡単に適応できるからです。おそらく新しいルーティンや、新しいデバイス、新しいスマートホームシステムがあるかもしれず、そのデータをモデルに組み込む必要があります。

もちろん、これには独自の課題があり、MLOpsは開発からデプロイメント、メンテナンスまでのライフサイクル全体を自動化し合理化するためのプロセスです。

ここで重要な点は、開発は通常アプリケーションライフサイクルから切り離されており、これにより異なるペースで進化させる自由と柔軟性が得られることです。

3.3. MLOpsの課題と解決策

David Boldt：3つの主要な課題があります。まず1つ目は継続的なモニタリングと改善です。ドリフトを検出し、望ましい精度を維持するために、エッジデバイス上でモデルがどれだけうまく機能しているかを知る必要があります。

エッジデバイスでは、制御できないネットワークが間に存在するという追加の複雑さがあります。そのため、ツールは可能なネットワーク停止や不安定性に対処できる必要があります。そして、モデルのパフォーマンスがどれほど良いかを把握すれば、望ましいパフォーマンスレベルを維持するために、機械学習モデルを更新するための自動再トレーニングパイプラインをいつトリガーするか（または自動的にトリガーするか）も分かります。

エッジデバイスから得られるデータ、特にその可用性と品質は、レコメンデーションとハイパーパーソナライゼーションの基盤を築きます。ユーザー固有のデータを収集できるため、消費者のライフスタイルに真に適応する、消費者レベルで非常に細かく設定されたモデルをトレーニングすることができます。

2つ目の課題は、これらのモデルを持った後のデプロイメントと管理です。モデル、データ、コードのバージョニングを含め、これらのモデルを何百万ものデバイスにデプロイする必要があります。これにより、例えばブルーグリーンデプロイメントを行うことができます。新しいモデルを少数のユーザーサブセットでテストし、実際の環境でモデルがどのように機能するかについて実際のユーザーフィードバックを得ることができます。

プライバシーとセキュリティも非常に重要です。誰もモデルを改ざんしておらず、誰もデータを改ざんしていないことを確認する必要があります。なぜなら、結局のところ、これらのモデルは私たちのほとんどにとって最もプライベートな領域である家の中で実行されるからです。

3つ目の課題はリソースの最適化です。エッジデバイスはリソースが限られているため、機械学習モデルをデバイス自体に収まるように縮小する必要があるかもしれません。プルーニングや量子化などの技術を通じて、エッジで利用可能なリソースを効率的に使用したいと考えています。この効率性はエッジデバイスだけでなく、トレーニングやストレージのためのクラウドリソースなど、使用する他のすべてのリソースにも当てはまります。

これらの課題を解決すれば、エッジデバイス向け機械学習モデルの全体的なライフサイクル管理に成功する可能性が高くなります。

3.4. 生成AIによるトレーニング・再トレーニングの改善

David Boldt：生成AIを活用することで、トレーニングや再トレーニングを改善することも可能です。例えば、データ準備段階では、データを増強したり、実世界のユーザー行動を模倣する合成データセットを生成したりすることができます。これにより、まだ実世界のユーザーデータセットがない場合でも、機械学習モデルとパイプラインがどれだけうまく機能しているかについて、最初の大まかな判断を得ることができます。

例えば、ラベリングをサポートすることができます。画像のラベリングの場合、ラベルを提案し、人間の評価者がその提案を受け入れるか拒否するかを判断することで、人間のラベリング時間を半分に短縮できる可能性があります。

トレーニング段階でもサポートすることができます。敵対的トレーニングを使用したり、このリスクを軽減し全体的な堅牢性を高めるために悪意のあるコンテンツを生成したりすることができます。

また、特にテキストベースの機械学習モデルでは、「LLMを審判として」などのコンセプトを使用できます。つまり、別の大規模言語モデルを導入して結果を評価することができます。

私たちのソリューションは、今日お話しした課題の多くを解決するAWS IoT Greengrassです。これはデバイスソフトウェアの設計、構築、維持のためのオープンソースのエッジランタイムです。

コンポーネントを作成します。これは例えば、機械学習アーティファクト、テレメトリ収集用のコード、または機械学習モデル推論を実行するためのコードかもしれません。次に、デバイスの組織方法に応じて、単一のデバイスやグループ向けのデプロイメントを作成します。そしてGreengrassがこれらのコンポーネントをエッジデバイスにデプロイする作業を担当します。

ヘルスや、バージョニングの情報も報告します。望めば、各コンポーネントの詳細なログ情報も取得できます。また、クラウドへの安全な接続も管理し、これは双方向です。つまり、コンポーネントをエッジにデプロイすることと、データをクラウドに送り返すことの両方に適用されます。

これはスマートホームゲートウェイでもよく使用されています。つまり、すべての更新を受信する1つの中央デバイスがあり、それがネットワーク内のすべてのデバイスに更新を配布します。

私たちはエッジデバイス向けのエンドツーエンドMLOpsを示すソリューションをGitHubで公開しました。これは、EC2マシン上にインストールされたGreengrassインスタンスを持ち、物体検出モデルを実行し、画像のラベリングというデータ準備の3つの主要な側面、トレーニング段階の自動化方法、そしてデプロイメントの自動化（つまり、カスタムコンポーネントを作成してエッジデバイスに公開する方法）をカバーしています。すべてインフラストラクチャーアズコードなので、任意のAWSアカウントにデプロイする準備ができています。

4. AWS IoT Greengrassソリューション

4.1. エッジランタイムとコンポーネント管理の概要

David Boldt：私たちのソリューションであるAWS IoT Greengrassは、今日お話しした多くの課題を解決するものです。これはデバイスソフトウェアの設計、構築、維持のためのオープンソースのエッジランタイムです。

Greengrassを使うには、まずコンポーネントを作成します。これは例えば、機械学習アーティファクト、テレメトリ収集用のコード、または機械学習モデル推論を実行するためのコードかもしれません。これらのコンポーネントは、エッジデバイス上で実行される独立した機能単位として考えることができます。

次に、デプロイメントを作成します。これはデバイスの組織方法に応じて、単一のデバイス向けか、またはグループ向けのものになります。デプロイメントとは、特定のデバイスまたはデバイスグループに対して、どのコンポーネントをどのバージョンでインストールするかを指定する設定のことです。

そして、Greengrassがこれらのコンポーネントをエッジデバイスにデプロイする作業を担当します。これにより、開発者はデバイス上で実行されるコードの更新やメンテナンスを簡単に行うことができます。複雑なデプロイメントプロセスを自分で管理する必要がなくなります。

Greengrassは各デバイスの健全性を報告し、コンポーネントのバージョニングも管理します。望めば、各コンポーネントの詳細なログ情報も取得できます。これはデバッグやモニタリングに非常に役立ちます。開発者はリモートでデバイスの状態を確認し、問題が発生した場合に迅速に対応できます。

また、Greengrassはクラウドへの安全な接続も管理します。これは双方向の接続であり、コンポーネントをエッジデバイスにデプロイすることと、テレメトリや推論結果などのデータをクラウドに送り返すことの両方に適用されます。これにより、デバイスとクラウド間の安全な通信チャネルが確立され、開発者はセキュリティの詳細について心配する必要がなくなります。

Greengrassはスマートホームゲートウェイでもよく使用されています。この場合、すべての更新を受信する1つの中央デバイス（ゲートウェイ）があり、それがネットワーク内のすべてのデバイスに更新を配布します。これは、特に帯域幅やインターネット接続に制限がある環境で効率的なモデルです。ゲートウェイだけがクラウドと通信し、その後ローカルネットワーク内の他のデバイスと通信します。

4.2. デプロイメントとセキュリティ機能

David Boldt：AWS IoT Greengrassは、エッジデバイスへのデプロイメントとセキュリティに関して強力な機能を提供しています。デプロイメントに関しては、Greengrassはデバイスからヘルスレポートを受け取り、コンポーネントのバージョニングを管理します。これにより、デプロイされたコンポーネントの状態をリアルタイムで把握することができます。

各デバイスの状態は常にクラウドに報告され、問題が発生した場合にアラートを設定することができます。これにより、エッジデバイスで実行されているソフトウェアの可視性が大幅に向上します。また、各コンポーネントの詳細なログ情報も取得できるため、問題のトラブルシューティングが容易になります。

Greengrassのセキュリティ機能は特に重要です。クラウドとエッジデバイス間の通信は完全に暗号化されており、認証と認可のメカニズムも組み込まれています。この安全な接続は双方向であり、クラウドからエッジデバイスへのコンポーネントデプロイとエッジデバイスからクラウドへのデータ送信の両方に適用されます。

これにより、デバイスがクラウドと通信する際の中間者攻撃や不正アクセスのリスクが軽減されます。また、コンポーネントが署名され検証されるため、デバイス上で実行されるコードの完全性も確保されます。

Greengrassはスマートホームゲートウェイのシナリオで特に有効です。このアプローチでは、1つの中央ゲートウェイデバイスがすべての更新を受信し、それをホームネットワーク内の他のデバイスに配布します。これにより、各デバイスが個別にクラウドと通信する必要がなくなり、帯域幅の使用が最適化され、セキュリティ境界も単純化されます。

このゲートウェイモデルは、インターネット接続が不安定な環境や、小型デバイスのリソースが制限されている場合に特に価値があります。ゲートウェイがより強力なコンピューティング能力を持ち、他のデバイスのためにより複雑な処理を実行できるからです。

4.3. GitHubで公開されているエンドツーエンドMLOpsソリューション

David Boldt：私たちはエッジデバイス向けのエンドツーエンドMLOpsを示すソリューションをGitHubで公開しました。このソリューションは、EC2マシン上にインストールされたGreengrassインスタンスを持ち、物体検出モデルを実行しています。

このリファレンス実装は、エッジデバイス向けMLOpsの3つの主要側面をカバーしています。まず、データ準備の自動化について扱っています。この場合、画像のラベリングプロセスをどのように自動化するかを示しています。これは通常、時間がかかり労力を要するプロセスですが、適切なツールとワークフローを使用することで大幅に効率化できます。

次に、トレーニング段階の自動化方法を示しています。新しいラベル付きデータが利用可能になったときに自動的にトレーニングジョブを開始する方法や、異なるハードウェアターゲット向けにモデルを最適化する方法などが含まれます。

最後に、デプロイメントの自動化についても扱っています。つまり、カスタムGreengrassコンポーネントを作成し、それをエッジデバイスに公開する方法です。これには、モデルアーティファクトのパッケージング、推論コードの準備、そして正しいデバイスへの効率的なデプロイが含まれます。

このソリューションの優れた点は、すべてがインフラストラクチャーアズコードとして実装されていることです。つまり、任意のAWSアカウントにデプロイする準備ができており、自分の環境で簡単に試すことができます。CloudFormationテンプレートまたはAWS CDKを使用して、必要なすべてのリソースが自動的に作成されます。

このリファレンス実装は、MLOpsのベストプラクティスに従っており、エッジコンピューティングの複雑な世界をナビゲートしようとしている開発者にとって貴重なリソースとなっています。コードは十分に文書化されており、独自のユースケースに合わせて適応させるための出発点として使用できます。

これは、エッジでの機械学習デプロイメントを始めようとしている人にとって、実践的な学習ツールとしても役立ちます。実際のコードを見て、エンドツーエンドの流れを理解することで、概念が明確になり、独自のプロジェクトに適用できるようになります。

5. 結論と次のステップ

5.1. 接続型からの自律型リビングへの移行

David Boldt：今日の結論として、私たちが接続型リビングから自律型リビングへと移行する中で、AIとMLの統合がスマートホーム体験に革命をもたらすことを強調したいと思います。その基盤となるのは、OlivierとYoungGonが今日示したように、接続性、デバイスからのデータ処理、そしてデバイスを最新の状態に保つことに対する回復力のあるスケーラブルなアプローチです。

これに加えて、簡単で自動的なセットアップは、技術に詳しくない人々も含めて誰もがスマートホームの高度な体験の恩恵を受けるために重要です。ユーザーがデバイスについて詳しい知識を持っていなくても、プラグアンドプレイの経験を提供できれば、スマートホームの採用はさらに広がるでしょう。

便利な自動化とハイパーパーソナライゼーションという2つの要素は、単に快適さと効率性を高めるだけでなく、家が消費者のニーズに直感的に応答する未来への道を切り開きます。家が住人の好みや習慣を学習し、その行動を予測し、それに対応できるようになれば、真のスマートホームとなるのです。

家が真にスマートになるためには、私たちが今日議論したようなMLOpsの原則に従って、継続的に学習し進化する必要があります。データをテレメトリとして収集し、モデルを再トレーニングして、そのモデルをエッジデバイスに戻すという継続的なサイクルは、時間の経過とともに個々の消費者に合わせてますますパーソナライズされる体験を可能にします。

プライバシーとセキュリティの考慮事項も忘れてはなりません。消費者は自分の最もプライベートな空間である家の中で使用されるテクノロジーを信頼できる必要があります。エッジでの推論を活用することで、センシティブなデータを外部に送信することなく、多くの決定を家の中で行うことができます。

最終的に、真の自律型リビングへの移行は、単なる技術的な進歩ではなく、家がいかに人々の生活の中で機能するかという根本的な変化を表しています。家が単に接続されたデバイスの集まりではなく、生活をより快適で効率的に、そして安全にする思いやりのあるアシスタントとなるのです。

5.2. AWSリソースと始め方

David Boldt：もし今、スマートホームの未来に向けて取り組むことに非常にやる気を感じているなら、始めるための複数の方法があります。私のようなAWS IoTスペシャリストと協力することができます。私たちは、お客様のユースケースを理解し、適切なアーキテクチャの設計を支援することができます。特に、エッジAIやMLOpsパイプラインのセットアップなど、技術的なガイダンスが必要な場合は、私たちのチームが喜んでサポートします。

AWSのプロフェッショナルサービスに依頼することもできます。彼らは包括的なコンサルティングと実装サービスを提供し、特定のプロジェクト要件に合わせたエンドツーエンドのソリューションを構築する専門知識を持っています。

また、多くのAWS IoTパートナーとの協力も選択肢の一つです。これらのパートナーは、スマートホーム製品の開発と展開について豊富な経験を持っており、業界固有の専門知識を提供できます。クラウドとエッジコンピューティングの統合に関する深い理解を持つパートナーを見つけることで、開発過程を大幅に加速することができます。

もちろん、自社内のチームで始めることもできます。AWSは目的に合わせて構築されたIoTサービスを多数提供しており、私たちが本日紹介したリファレンス実装を自分のアカウントにデプロイして調査し、そこから学ぶことができます。AWS IoT Core、AWS IoT Greengrass、Amazon SageMakerなどのサービスは、スマートホームソリューションを構築するための強固な基盤を提供します。