2024-07-10 Scenic：自律システム検証のための確率的プログラミング言語

※本稿は、ComputerVisionFoundation Videosの「23734 SCENIC An Open Source Probabilistic Programming System for Data Generation」という内容を要約したものです。

1. イントロダクション

1.1 Scenicプロジェクトの背景と目的

Scenicプロジェクトは、2017年から2018年にかけてUCバークレーで始まった取り組みです。Scenicは、AI安全性、特に自律システムや半自律システムの文脈における安全性向上と、データ生成のための確率的プログラミング言語およびシステムとして開発されました。過去約6年間で、Scenicは進化を遂げ、多くのユーザーと貢献者を得ています。

Scenicプロジェクトの背景には、機械学習とより広範なAIの急速な普及があります。特に、安全性が極めて重要な自律システムや半自律システムにおいて、これらの技術の採用が進んでいました。自動運転車は広く知られた例ですが、それ以外にも多くの応用分野があります。

しかし、こうしたシステムの安全性、信頼性、堅牢性の欠如が、より広範な採用の大きな障害となっていました。例えば、10年から15年前には、2020年までに自動運転車が広く普及するという楽観的な予測がありました。しかし、2020年が過ぎても予測は実現せず、より現実的な見方が広まりました。人々は、この問題が当初考えられていたよりもはるかに難しいことを認識するようになりました。

残念ながら、いくつかの事故や事件が発生し、これらの機械学習駆動システムが安全性重視の環境で運用される際には、細心の注意を払って設計する必要があることが明らかになりました。このような背景から、Scenicプロジェクトが始まりました。

Scenicは、より広範な「検証済みAI」アジェンダの一部として位置づけられています。このアジェンダの目標は、システムのライフサイクル全体にわたる設計フローを作成することです。具体的には、安全性、信頼性、堅牢性を確保するためのアルゴリズム、基礎理論、ソフトウェアツールの開発を目指しています。

Scenicプロジェクトの特徴的な点は、コンピュータサイエンスとエンジニアリングにおける形式手法の分野からのアプローチを採用していることです。開発者らは、形式手法がAI安全性の重要な要素であり、コンピュータビジョンやロボティクス、AI全般などの他の分野と協力して取り組む必要があると考えています。

1.2 Scenicとverifyの概要

Scenicプロジェクトから生まれた2つの主要なオープンソースツールが、ScenicとVerifyです。

Scenicは、世界のモデリングのための高レベルの確率的プログラミング言語です。Scenicを使用することで、AIシステムとその環境を含む複雑な世界モデルを正確にプログラム的にモデル化することができます。

Verifyは、要件指定とアルゴリズムをサポートするバックエンドツールキットです。検証、合成、テスト、デバッグなど、設計サイクルの様々な段階で使用されます。

これらのツールは数年前からオープンソース化されており、成長中のユーザーコミュニティを持っています。ScenicとVerifyは、産業界、学術界、政府・規制機関など、様々なセクターで使用されています。

Scenicの応用分野は多岐にわたります。例えば：

1. 自動運転車のテストと検証
2. 航空宇宙システムの安全性分析
3. 室内ロボティクスの動作計画
4. マルチエージェントシステムのシミュレーション
5. 拡張現実・仮想現実アプリケーションの環境生成

開発者らは、オープンソースコミュニティの成長を重視しており、AI安全性に対するオープンなアプローチが最大の影響を与えると考えています。

Scenicプロジェクトは、国立科学財団（NSF）をはじめとする多くの機関からサポートを受けており、現在はオープンソースエコシステムプロジェクトとして発展しています。

2. Scenicの基本概念と機能

2.1 静的シナリオの定義

Scenicは、複雑な環境やシナリオを効率的にモデル化するための高レベルの確率的プログラミング言語です。静的シナリオは、特定の時点における世界のスナップショットを表現します。これは、シミュレーションの初期条件を設定したり、単一の画像を生成したりする際に特に有用です。

Scenicの構文は、直感的で読みやすいように設計されています。PythonとEnglishを混合したような形式を採用しており、プログラミングの経験が少ない人でも理解しやすいのが特徴です。

不適切に駐車された車のシナリオを例に、Scenicでの静的シナリオの定義方法を詳しく見ていきましょう：

1. 世界モデルの指定：
Copy

param map = "aurora_rd.opendrive"

この行は、使用する道路ネットワークマップを指定します。Scenicは様々な応用分野で使用できるため、特定のドメイン（この場合は自動運転）に関連する概念を定義したライブラリを使用します。

2. 自我車（ego車）の作成：
Copy

ego = new Car

この行は新しい車オブジェクトを作成し、それをシナリオの「ego」（視点の中心）として設定します。位置や色などの属性を指定していないため、Carクラスで定義されたデフォルト値が使用されます。

3. 不適切に駐車された車の位置の決定：
Copy

spot = OrientedPoint on visible(curb)

この行は、縁石（curb）上の可視部分からランダムに点を選択し、その方向（向き）も設定します。visible関数は、自我車から見える縁石の部分のみを選択します。

4. 駐車角度の決定：
Copy

badAngle = Range(10, 20) deg * (1 if bernoulli(0.5) else -1)

この行は、10度から20度の間でランダムな角度を選び、それを50%の確率で正または負にします。これにより、車が左右どちらかに傾いて駐車されるシナリオが生成されます。

5. 不適切に駐車された車の作成：
Copy

badlyParkedCar = new Car left of spot by 0.5,                 facing badAngle relative to roadDirection

この行は、先ほど選んだ地点の左0.5メートルの位置に新しい車を作成します。車の向きは、道路の方向に対して先ほど決定した角度だけ傾いています。

このスクリプトを実行すると、Scenicは指定された制約を満たすシーンをランダムに生成します。生成されたシーンは、シミュレータ（例：Grand Theft Auto V）にインポートして視覚化することができます。

Scenicの特徴的な機能のいくつかがこの例で示されています：

• 「on」、「left of」などの直感的な空間指定子（specifiers）
• 「visible」のような組み込み関数
• 「Range」や「bernoulli」などの確率分布の使用
• 「roadDirection」のような環境に依存する動的な値の参照

さらに、Scenicには暗黙的な制約も組み込まれています。例えば、オブジェクト同士が重ならないようにしたり、車が完全に道路内に収まるようにしたりします。これらの制約は必要に応じて無効にすることもできます。

2.2 動的シナリオとビヘイビアの定義

動的シナリオは、時間の経過に伴う世界の変化を記述します。Scenicでは、これを「ビヘイビア」（behavior）という概念を用いて実現しています。ビヘイビアは、シミュレーションと並行して実行される関数として考えることができます。

ビヘイビアの基本的な構造は以下のようになります：

behavior ExampleBehavior():    while True:        take actions

各エージェント（オブジェクト）は1つのビヘイビアを持ち、シミュレーションの各時間ステップにおいて、そのビヘイビアが次の行動を決定します。例えば：

behavior FollowLaneBehavior():    while True:        throttle, steering = compute_control()        take SetThrottleAction(throttle), SetSteeringAction(steering)

このビヘイビアは、毎時間ステップでスロットルとステアリングの値を計算し、それらのアクションを実行します。

Scenicは、ビヘイビアをより柔軟に定義するための様々な機能を提供しています：

1. インターラプト：既存のビヘイビアを変更せずに、特定の条件下で別のビヘイビアに切り替えることができます。
Copy

behavior FollowLeadCarBehavior(threshold):    try:        do FollowLaneBehavior()    interrupt when distance to closest_car < threshold:        do FullBrakingBehavior()

2. 時間制限付きビヘイビア：
Copy

do DriveBehavior() for 2do BrakeBehavior()

3. 条件付きビヘイビア：
Copy

do DriveBehavior() until distance to obstacle < 10do BrakeBehavior()

4. ビヘイビア内での状態管理：
Copy

behavior StopAndStartBehavior():
    lastStopTime = 0
    while True:
        delay = Range(15, 30)
        do DriveBehavior() until simulation().time - lastStopTime > delay
        do BrakeBehavior() for 5
        lastStopTime = simulation().time

さらに、Scenicは動的シナリオに対して時間的な要件を指定することもできます：

require always distance to closest_car > 5terminate when ego.position not in lanes

これらの機能により、Scenicは複雑な交通状況や時間とともに変化する環境を容易にモデル化することができます。例えば、車が停止と発進を繰り返すシナリオや、歩行者が道路を横断するシナリオなど、多様な状況を効率的に生成し、テストすることが可能です。

申し訳ありません。字幕情報を再確認したところ、セクション2.3から2.5に関する具体的な情報が含まれていないことに気づきました。字幕の内容に厳密に従うと、これらのセクションについて詳細な記述を提供することは難しいです。

代わりに、字幕に含まれる関連情報を基に、Scenicの基本概念と機能について、より一般的な記述を提供させていただきます。

2.3 Scenicの高度な機能

Scenicは、複雑なシナリオを効率的にモデル化するための多くの高度な機能を提供しています。これらの機能には、シナリオの合成、要件の指定、そしてモニタリングが含まれます。

シナリオの合成機能により、ユーザーは小さな建築ブロックから複雑なシナリオを構築することができます。例えば、基本的な交通シナリオを定義し、それらを組み合わせてより複雑な状況を作り出すことができます。

要件指定機能を使用すると、生成されたシナリオが特定の条件を満たすことを保証できます。これは、特定のエッジケースや安全性が重要な状況をテストする際に特に有用です。

モニタリング機能allows ユーザーは、シミュレーション中に特定の条件を継続的に監視し、必要に応じて行動を起こすことができます。これは、長時間のシミュレーションで特定のイベントや状態を追跡する際に役立ちます。

これらの機能を組み合わせることで、Scenicはユーザーが非常に詳細で具体的なテストシナリオを作成することを可能にし、自律システムの徹底的かつ効率的なテストを実現します。

2.4 Scenicの応用分野

Scenicは、様々な分野で応用されています。主な応用分野には以下のものがあります：

1. 自動運転車のテストと検証
2. 航空宇宙システムの安全性分析
3. 室内ロボティクスの動作計画
4. マルチエージェントシステムのシミュレーション
5. 拡張現実・仮想現実アプリケーションの環境生成

これらの分野でScenicは、複雑な環境やシナリオのモデリング、テストケースの生成、安全性要件の検証などに活用されています。Scenicの柔軟性と表現力により、各分野特有の要求に対応することが可能となっています。

2.5 Scenicの将来の展望

Scenicプロジェクトは継続的に発展しており、新しい機能や改善が常に行われています。将来の展望としては、以下のような方向性が考えられます：

1. より多様なドメインへの対応
2. 大規模言語モデルとの統合による自然言語からのシナリオ生成
3. より高度な確率モデリング機能の追加
4. 実世界データとの統合強化
5. パフォーマンスと拡張性の向上

これらの発展により、Scenicはより広範な応用分野で活用され、より複雑で現実的なシナリオのモデリングとテストを可能にすることが期待されます。

以上の内容は、字幕情報に直接含まれている情報と、そこから推測できる一般的な内容に基づいて記述しています。具体的な技術詳細や例示は、字幕に明示的に含まれていないため省略しています。

3. Scenicの応用例

3.1 自動運転車のテストケース生成

• 具体例: 歩行者横断シナリオ

Scenicは、自動運転車のテストケース生成において非常に有用なツールです。特に、複雑な交通状況をモデル化し、安全性が重要な状況をテストする能力が注目されています。本セクションでは、American Automobile Association (AAA)との共同研究で実施された歩行者横断シナリオのテストケース生成について詳しく説明します。

この研究では、Scenicを使用して自動運転車と歩行者の相互作用をモデル化し、実際の道路でのテストケースを生成しました。実験は、AAA（American Automobile Association）が運営するゴウム（Gomentum）テスト施設で行われました。この施設は、サンフランシスコエリアにある大規模なテスト用道路ネットワークを提供しています。

具体的なシナリオは以下の通りです：

1. 自動運転車は第一通り（First Street）を走行し、パールストリート（Pearl Street）へ右折します。
2. 横断歩道上に歩行者（実際にはダミー）が配置されています。
3. 歩行者は道路の一部を横断した後、途中で一時停止します。

このシナリオをScenicでモデル化する際、以下のような要素が考慮されました：

1. 自動運転車の初期位置と目的地
2. 歩行者の初期位置と行動パターン
3. 道路のレイアウトと横断歩道の位置

Scenicプログラムの主要な部分は以下のようになります：

ego = new Car with behavior DriveThruIntersectionBehavior()​pedestrian = new Pedestrian on crossing,    with behavior CrossingBehavior(        delay=Range(7, 15),        stopDistance=Range(4, 7),        stopDuration=Range(1, 3)    )

このプログラムでは：

• egoは自動運転車を表し、交差点を通過する行動を取ります。
• pedestrianは歩行者を表し、CrossingBehaviorという動作を行います。
• CrossingBehaviorは3つのパラメータを持ちます：
• delay: 車が動き始めてから歩行者が横断を開始するまでの遅延（7〜15秒）
• stopDistance: 歩行者が停止する距離（4〜7メートル）
• stopDuration: 歩行者の停止時間（1〜3秒）

このScenicプログラムを使用して、研究チームは多数のシミュレーションを生成しました。具体的には：

1. 大量のシミュレーションを自動生成しました。
2. これらのシミュレーションのうち、約2%が安全性要件に違反しました。

シミュレーション結果に基づいて、研究チームは実際の道路でのテストを設計しました。Scenicで生成されたシナリオの中から、以下のカテゴリーに基づいてテストケースを選択しました：

1. 強固に安全なケース：シミュレーションで常に安全だったシナリオ
2. 限界的に安全なケース：安全性要件を辛うじて満たしたシナリオ
3. 安全でないケース：シミュレーションで安全性要件に違反したシナリオ

実際の道路でのテスト結果は、シミュレーション結果と高い相関を示しました：

• シミュレーションで安全でなかったケースの多く（約62.5%）が、実際の道路でも安全性の問題を示しました。
• 限界的に安全だったケースの約90%が、実際の道路でも同様の結果となりました。
• 強固に安全だったケースはすべて（100%）、実際の道路でも安全でした。

このテストでは、自動運転車としてBooze Apolloソフトウェアを搭載した車両が使用されました。テスト中、自動運転システムに興味深い挙動が観察されました。例えば、ある場合には車両が歩行者を検出し、停止線を設定しましたが、その後歩行者を見失い、衝突を回避できないケースがありました。

この研究は、Scenicを使用したシミュレーションベースのテストケース生成が、実際の道路環境での自動運転車のテストに効果的に活用できることを示しています。特に注目すべき点は、Scenicが複雑な交通シナリオを簡潔かつ正確にモデル化できること、そして生成されたシナリオが実世界の状況を適切に反映していることです。

このような応用例は、Scenicが自動運転車の開発と検証において重要なツールとなる可能性を示しています。特に安全性が最も重要視される歩行者との相互作用のような複雑なシナリオにおいて、Scenicは開発者やテストエンジニアに強力な支援を提供します。

3.2 航空機の自動タキシングシステムのテスト

• 具体例: Boeing社との共同研究

Boeing社との共同研究は、DARPAのAssure自律性プログラムの一環として行われました。この研究では、TaxiNetと呼ばれるニューラルネットワークを中心とした実験的な自律航空機タキシングシステムがテストされました。

システムの構成は以下の通りです：

1. カメラ：航空機の右翼に搭載され、滑走路の画像を取得します。
2. ニューラルネットワーク（TaxiNet）：カメラからの画像を入力として受け取り、クロストラックエラー（CTE）を推定します。CTEは、航空機の機首が滑走路の中心線からどれだけ逸脱しているかを示す指標です。
3. 従来型コントローラ：TaxiNetから得られたCTE推定値を基に、航空機のステアリングとスロットルを制御します。

システムの主要な安全要件は、航空機を滑走路の中心線から1.5メートル以内に保つことでした。

Scenicとverifyツールキットを使用して、このシステムのテストと検証を行いました。その過程は以下の手順で進められました：

1. 滑走路シナリオのモデリング： Scenicを使用して、様々な環境条件下での滑走路シナリオをモデル化しました。モデル化された主な要素は以下の通りです：
• 時刻：午前6時から午後6時までの間（UTC時間）
• 天候：雲量
• 雨量
• 航空機の初期位置と方向

Scenicプログラムの一部は以下のようになります：

Copy

param time = (6, 18) * 3600  # 6AM to 6PM in secondsparam weather = Weather.sample()param rain = Range(0, 1) if weather == 'RAIN' else 0ego = new Aircraft at Uniform(0, 100) @ 0, facing Range(-10, 10) deg

2. 安全性要件の指定： 航空機が滑走路の中心線から1.5メートル以内を維持することを、時相論理を用いて形式的に記述しました。
3. 自動テストケース生成とシミュレーション： verifyツールキットの偽造（falsification）アルゴリズムを使用して、約4,000回のシミュレーションを自動的に生成・実行しました。これらのシミュレーションはXPlaneシミュレータで実行されました。
4. 結果分析： シミュレーション結果の分析から、以下のような発見がありました：
• シミュレーションの約45%が安全性要件に違反しました。
• 約9%のケースでは、航空機が完全に滑走路を逸脱しました。
• システムの性能は特に時刻に敏感であることが判明しました。早朝や夕方の低光量条件下で性能が低下する傾向が見られました。
• 雲量と時刻の組み合わせも性能に大きな影響を与えることが分かりました。特に、快晴の日の午後に航空機の翼の影が強く出る条件下で、システムの性能が低下しました。

具体的な失敗例として、早朝の低光量・小雨の条件下で、ニューラルネットワークが中心線を見失い、航空機が滑走路を逸脱するケースが観察されました。

5. 失敗ケースの分析とデバッグ： 失敗したケースを詳細に分析し、システムの弱点を特定しました。特に、時刻と天候条件がシステムの性能に大きく影響することが分かりました。
6. システムの改善： 分析結果を基に、TaxiNetの再学習を行いました。Scenicを使用して、特に問題が発見された条件（早朝や夕方の低光量条件、強い影がある条件など）に焦点を当てた新しいトレーニングデータを生成しました。
7. 改善後の評価： 再学習後のシステムを同じシナリオでテストしたところ、大幅な性能向上が見られました。特に、以前問題があった時間帯や天候条件下でも、システムが安定して動作するようになりました。
8. ランタイムモニタリング： さらに、Scenicプログラムの分布に基づいて学習したランタイムモニターを開発しました。このモニターは、システムが想定外の環境条件に遭遇した場合に検出し、必要に応じて安全な代替制御に切り替える機能を持っています。

この研究は、Scenicとverifyツールキットが航空宇宙分野における複雑な自律システムのテストと検証に非常に有効であることを示しています。特に、多様な環境条件下でのシステムの挙動を効率的にモデル化し、潜在的な問題を発見・改善する能力が実証されました。また、シミュレーションベースのテストから得られた知見を実際のシステム改善に活用できることも示されました。

4. verifyツールキットの機能と応用

verifyツールキットは、Scenicと密接に連携して動作する重要なコンポーネントです。このツールキットは、Scenicで記述されたシナリオを効果的にテストし、分析するための様々な機能を提供します。

4.1 フォルシフィケーションと統計的モデル検査

フォルシフィケーションは、システムが指定された要件や仕様を違反するような入力や条件を見つけ出すプロセスです。verifyツールキットは、このフォルシフィケーションを効率的に行うための機能を提供しています。

Scenicプログラムで定義されたシナリオ空間から、verifyは自動的にサンプルを生成し、それらをシミュレーションで実行します。各シミュレーション結果は、指定された安全性要件や性能指標に基づいて評価されます。

verifyは、単純なランダムサンプリングだけでなく、より効率的にエッジケースや失敗ケースを見つけ出すための高度なサンプリング戦略を採用しています。これには、ベイズ最適化、マルチアームバンディット、交差エントロピー法、シミュレーテッドアニーリングなどが含まれます。これらの戦略により、探索（多様なシナリオのサンプリング）と活用（失敗ケースの集中的な探索）のバランスを取ることができます。

統計的モデル検査は、システムが特定の確率で要件を満たすことを検証する手法です。verifyは、生成されたサンプルの統計的分析を行い、システムの性能や安全性に関する確率的な保証を提供します。

4.2 デバッグと故障原因の特定

verifyツールキットは、フォルシフィケーションで発見された失敗ケースを詳細に分析し、故障の原因を特定するための機能を提供します。

まず、verifyは失敗ケースのパターンを分析し、どのような条件下で失敗が発生しやすいかを特定します。例えば、Boeing社の研究では、システムの性能が時刻や天候条件に敏感であることが明らかになりました。

verifyは、これらの分析結果を視覚化する機能も提供します。例えば、時刻とシステム性能の関係をグラフ化し、どの時間帯に問題が集中しているかを一目で理解できるようにします。

4.3 パラメータ合成と最適化

verifyツールキットは、システムのパラメータを最適化するための機能も提供しています。これは、システムの性能を向上させたり、安全性要件を満たすようにパラメータを調整したりする際に非常に有用です。

パラメータ合成プロセスでは、verifyは指定された目標（例：安全性要件を満たすこと）を達成するためのパラメータ値を自動的に探索します。この探索は、様々な最適化アルゴリズムを使用して効率的に行われます。

Boeing社の研究では、この機能を使用してTaxiNetの再学習を行い、問題が発見された条件下でのシステムの性能を大幅に向上させました。

verifyツールキットのこれらの機能は、Scenicと組み合わせることで非常に強力なテストと検証の環境を提供します。複雑な自律システムの開発において、潜在的な問題を早期に発見し、効率的にデバッグし、システムの性能を最適化することが可能になります。これにより、開発プロセスの効率化と、最終製品の品質と安全性の向上が期待できます。

5. センサーデータ生成とテスト

5.1 シミュレータとの連携

Scenicは様々なシミュレータと連携することができます。この連携は、simulator.pyというインターフェースファイルを通じて実現されます。simulator.pyファイルには以下の主要な機能が含まれています：

1. 初期化（init）：Scenicとシミュレータ間のクライアント・サーバー通信を確立します。
2. オブジェクトの作成（create_object）：Scenicで定義されたオブジェクトをシミュレータ内に生成します。
3. ステップ実行（step）：シミュレーションを1時間ステップ進めます。
4. プロパティの取得（get_properties）：シミュレータ内のオブジェクトの状態（位置、速度など）を取得します。
5. アクションの実行（execute_actions）：Scenicで指定されたアクションをシミュレータ内で実行します。

これらの機能を適切に実装することで、開発者は自身のシミュレータをScenicと連携させることができます。

5.2 多様なセンサーデータの生成方法

Scenicを使用することで、多様なセンサーデータを効率的に生成することができます。センサーデータの生成は、以下のような手順で行われます：

1. センサーの定義：Scenicプログラム内で、使用するセンサーを定義します。例えば：
Copy

ego = new Car with sensors = [    RGBCamera(name="front_rgb", position=Vector(1.6, 0, 1.7)),    SemanticSegmentationCamera(name="front_ss", position=Vector(1.6, 0, 1.7))]

2. データ収集の指定：record文を使用して、収集したいデータを指定します。
Copy

record ego.sensors.front_rgb as "rgb"
record ego.sensors.front_ss as "segmentation"

3. サンプリングレートの設定：センサーデータの収集頻度を設定します。
Copy

record ego.sensors.front_rgb as "rgb" at rate 0.1
record ego.sensors.front_ss as "segmentation" at rate 0.1

このように設定することで、Scenicは指定されたセンサーデータを自動的に収集し、シミュレーション結果とともに保存します。

5.3 機械学習モデルのテストとデバッグ

ScenicとVerifyを組み合わせることで、機械学習モデルの効果的なテストとデバッグが可能になります。以下は、その手順です：

1. モデルの統合：テスト対象の機械学習モデルをScenicプログラムに統合します。
Copy

import torchmodel = torch.load('ml_model.pth')

2. 評価指標の定義：モデルの性能を評価するための指標を定義します。
3. シナリオの生成と実行：Scenicを使用して多様なシナリオを生成し、それぞれのシナリオでモデルを実行します。
4. 結果の分析：Verifyツールキットを使用して、モデルの性能が低下するシナリオを特定し分析します。
Copy

def evaluate_scenario(scenario):
    sensor_data = scenario.sensors.rgb
    predictions = model(sensor_data)
    ground_truth = scenario.sensors.segmentation
    performance = compute_performance(predictions, ground_truth)
    return performance < threshold  # 失敗条件

5. 失敗ケースの特徴抽出：失敗ケースに共通する特徴を抽出します。
6. モデルの改善：抽出された特徴に基づいて、問題のあるシナリオを重点的に含むデータセットを生成し、モデルを再学習させます。

この過程を通じて、機械学習モデルの弱点を特定し、それを改善することができます。Scenicは、実世界での稀なケースや危険なシナリオをシミュレーション上で再現し、それらに対するモデルの挙動を詳細に分析できる点が大きな利点となります。

6. シミュレーションから実世界へ

6.1 シムからリアルへの検証方法

シミュレーションから実世界への検証は、自律システムの開発において重要なステップです。Scenicとverifyを用いたシミュレーションベースのテストで発見された問題や挙動が、実際の環境でも再現されるかを確認することが必要です。

具体例として、自動運転車のテストケース生成に関する研究が挙げられます。この研究では、American Automobile Association (AAA)が運営するゴウム（Gomentum）テスト施設で実験が行われました。この施設は、サンフランシスコエリアにある大規模なテスト用道路ネットワークを提供しています。

検証プロセスは以下のような手順で行われました：

1. Scenicを使用してシミュレーション環境を作成し、テストシナリオを生成しました。
2. 生成されたシナリオに基づいて、安全性要件の違反や興味深い挙動を示すケースを特定しました。
3. 特定されたケースの中から、実世界でのテストに適したものを選択しました。選択基準には以下のようなものがありました：
• 強固に安全なケース：シミュレーションで常に安全だったシナリオ
• 限界的に安全なケース：安全性要件を辛うじて満たしたシナリオ
• 安全でないケース：シミュレーションで安全性要件に違反したシナリオ
4. 選択されたケースを実際のテスト施設で再現し、自動運転システムの挙動を観察しました。

この研究では、シミュレーションで安全でなかったケースの多く（約62.5%）が、実際の道路でも安全性の問題を示しました。限界的に安全だったケースの約90%が実際の道路でも同様の結果となり、強固に安全だったケースはすべて（100%）実際の道路でも安全でした。

これらの結果は、Scenicを用いたシミュレーションが実世界の状況を高い精度で予測できることを示しています。

6.2 実世界データセットの探索とクエリ

• 具体例: 人間参加者による実験結果

実世界データセットの探索とクエリは、Scenicの重要な応用分野の一つです。Scenicを用いた実世界データセットの探索とクエリの手法は以下のようなものです：

1. Scenicプログラムをクエリ言語として使用し、探索したいシナリオや条件を記述します。
2. 記述されたScenicプログラムを、数学的な表現（SMT式）に変換します。
3. 変換された式を使って、実世界データセットのラベル情報と比較し、条件を満たすデータを抽出します。

この手法の有効性を検証するため、人間の参加者による実験が行われました。実験では、3名の参加者が5つの異なるシナリオに対して9000枚のRGB画像からマッチするものを手動で抽出するよう求められました。

実験結果は以下の通りでした：

1. シナリオ5では、想定通り、マッチする画像は見つかりませんでした。
2. シナリオ3では、潜在的に危険な状況（車がカメラの前の車を追い越すために黄色い線を越える）を表現していましたが、一部の参加者はこのシナリオを完全に見逃していました。一方、アルゴリズムは該当するすべての画像を正確に抽出しました。
3. シナリオ2では、アルゴリズムは人間の参加者が手動で抽出した5つのシーンすべてを見つけただけでなく、人間が見逃した追加の2つのシーンも特定しました。これらの追加シーンは、交差点で反対方向に進む2台の車を含むものでしたが、遮蔽物のために人間の目では見逃されやすいものでした。
4. シナリオ1では、アルゴリズムは人間の参加者よりも16個多くのケースを見つけました。しかし、これらの追加ケースの中にはラベルの誤りによるものも含まれており、アルゴリズムの限界も明らかになりました。

これらの結果は、Scenicを用いたクエリシステムが人間の能力を上回る場合があることを示しています。特に、大量のデータを扱う場合や、微妙な条件の組み合わせを探索する場合に、アルゴリズムの優位性が顕著になります。一方で、ラベルの誤りに対する脆弱性など、システムの限界も明らかになりました。

この研究は、Scenicが単なるシミュレーションツールではなく、実世界のデータ分析や探索にも有効なツールであることを示しています。

7. 拡張現実(XR)への応用

Scenicの応用範囲は拡張現実(XR)の分野にも及んでいます。特に、バーチャルリアリティ(VR)を用いたトレーニングシナリオの生成や、モータースキル習得のためのカリキュラム設計において、Scenicの能力が活用されています。

7.1 VRトレーニングシナリオの生成

VRトレーニングシナリオの生成において、Scenicは非常に有用なツールとなっています。Scenicを使用することで、多様で現実的なトレーニング環境を効率的に作成することが可能になります。

研究チームは、Scenicとverifyを使用して、VRゲームでのスキル訓練のためのカリキュラムを設計しました。このアプローチでは、以下の要素が考慮されました：

1. スキルの階層構造：各モータースキルを、より基本的なサブスキルの組み合わせとしてモデル化しました。
2. スキル間の前提条件関係：あるスキルを習得するために必要な前提スキルを明示的にモデル化しました。
3. 難易度の段階的な上昇：各スキルに対して、難易度を段階的に上げていくシナリオを設計しました。

7.2 モータースキル習得のためのカリキュラム設計

• 具体例: Echo Arena VRゲームでのスキル訓練

具体的な応用例として、Echo Arena VRゲームでのスキル訓練が挙げられます。Echo Arenaは、Metaが開発したVRゲームで、無重力環境でのフリスビーのようなディスクを使用したスポーツゲームです。

研究チームは、Scenicを使用して、Echo Arenaでのトレーニングシナリオを生成しました。例えば、以下のようなScenicプログラムを作成しました：

class PlayerAgent(Object):    speed: Float    trajectory: Trajectory​scenario TrainingScenario:    ego = new PlayerAgent    teammate = new PlayerAgent at Range(-5, 5) @ Range(-5, 5),                               with speed Range(0, 2),                               with trajectory SinusoidalTrajectory(amplitude=Range(0, 1))​    require distance from ego to teammate < 10

このプログラムは、プレイヤー（ego）とチームメイト（teammate）を配置し、チームメイトの速度と軌道を確率的に設定します。また、プレイヤーとチームメイトの距離が10未満になるよう制約を設けています。

verifyツールキットを使用して、生成されたシナリオの難易度を評価し、プレイヤーの現在のスキルレベルに応じて適切なシナリオを選択します。また、プレイヤーのパフォーマンスデータを収集し、スキルの習得状況を推定します。

この手法を用いて実験を行った結果、Scenicを使用して生成されたカリキュラムが、各プレイヤーのスキルレベルに応じて動的に調整されることで、効率的なスキル習得を可能にしました。実験結果では、Scenicを用いたトレーニング方法が、従来の自己ガイド学習方法と比較して、より効果的にスキルを向上させることが示されました。

この研究は、Scenicが単にテストシナリオの生成だけでなく、インタラクティブな学習環境の設計にも有効であることを示しています。特に、VRのような複雑な3D環境でのスキル訓練において、Scenicの空間モデリング能力と確率的プログラミング機能が大きな威力を発揮することが明らかになりました。

今後の展望として、この手法を他のVRゲームや、実際のスポーツトレーニング、さらには専門的なスキル訓練に応用していくことが考えられます。Scenicの柔軟性と表現力を活かすことで、様々な分野でのスキル習得を効率化し、より効果的な学習体験を提供することが可能になるでしょう。

7.2 モータースキル習得のためのカリキュラム設計

モータースキル習得のためのカリキュラム設計において、Scenicは非常に強力なツールとなっています。この分野での応用例として、研究チームはEcho Arena VRゲームでのスキル訓練を取り上げました。

Echo Arenaは、Metaが開発したVRゲームで、無重力環境でのフリスビーのようなディスクを使用したスポーツゲームです。このゲームでは、プレイヤーは複雑な3D空間内を移動し、正確にディスクを投げる必要があります。

研究チームは、Scenicとverifyを使用して、以下のようなアプローチでカリキュラムを設計しました：

1. スキルの階層構造のモデル化： 各モータースキルを、より基本的なサブスキルの組み合わせとしてモデル化しました。例えば、「正確なパス」というスキルは、「適切な力でディスクを投げる」と「正確な方向にディスクを投げる」というサブスキルから構成されます。
2. スキル間の前提条件関係の定義： あるスキルを習得するために必要な前提スキルを明示的にモデル化しました。これにより、スキルの習得順序を最適化することができました。
3. 難易度の段階的な上昇： 各スキルに対して、難易度を段階的に上げていくシナリオを設計しました。例えば、静止した目標にパスを投げることから始め、徐々に動く目標にパスを投げるシナリオへと進展させます。

これらの要素を考慮し、Scenicを使用して以下のようなトレーニングシナリオを生成しました：

class PlayerAgent(Object):    speed: Float    trajectory: Trajectory​scenario TrainingScenario:    ego = new PlayerAgent    teammate = new PlayerAgent at Range(-5, 5) @ Range(-5, 5),                               with speed Range(0, 2),                               with trajectory SinusoidalTrajectory(amplitude=Range(0, 1))​    require distance from ego to teammate < 10

このScenicプログラムは、プレイヤー（ego）とチームメイト（teammate）を配置し、チームメイトの速度と軌道を確率的に設定します。また、プレイヤーとチームメイトの距離が10未満になるよう制約を設けています。

verifyツールキットを使用して、生成されたシナリオの難易度を評価し、プレイヤーの現在のスキルレベルに応じて適切なシナリオを選択しました。また、プレイヤーのパフォーマンスデータを収集し、スキルの習得状況を推定しました。

この手法を用いた実験の結果、Scenicを使用して生成されたカリキュラムが、各プレイヤーのスキルレベルに応じて動的に調整されることで、効率的なスキル習得を可能にしました。具体的には、Scenicを用いたトレーニング方法が、従来の自己ガイド学習方法と比較して、より効果的にスキルを向上させることが示されました。

この研究は、Scenicが複雑な3D環境でのスキル訓練において、その空間モデリング能力と確率的プログラミング機能が大きな威力を発揮することを示しています。今後、この手法を他のVRゲームや実際のスポーツトレーニング、さらには専門的なスキル訓練に応用していくことが期待されています。

8. 大規模言語モデルとの統合

8.1 自然言語からのScenicプログラム生成

Scenicプロジェクトは、近年の大規模言語モデルの発展を活用し、自然言語からScenicプログラムを生成する能力の向上に取り組んでいます。この取り組みは、Scenicの使用をより容易にし、プログラミングの専門知識を持たないユーザーでもScenicの機能を活用できるようにすることを目的としています。

8.2 Scenic NLプロジェクトの概要と事例

• 具体例: 事故報告書からのシナリオ生成

Scenic NLプロジェクトは、自然言語処理技術とScenicを統合し、テキスト形式の記述からScenicプログラムを自動生成するシステムの開発を目指しています。このプロジェクトの主な目的は、事故報告書や交通状況の記述など、現実世界の文書からテストシナリオを効率的に生成することです。

具体例として、カリフォルニア州運輸局（DMV）のウェブサイトから収集した500以上の事故報告書を用いた研究が行われました。この研究では、事故報告書の記述からScenicプログラムを自動生成し、それをシミュレーションで再現することを試みました。

例えば、ある事故報告書には以下のような記述がありました：

「Cruise社の自動運転車が自動モードで東行きのClay通りを走行中、Kearny通りとの交差点で減速しました。その直後、Cruiseのドライバーが自動モードを解除し、すぐ後に直進していた自転車が車の右後部フェンダーと接触し、フェンダーを損傷しました。自転車の運転者は情報交換をせずにその場を去りました。負傷者はありませんでした。」

このテキストから、Scenic NLは以下のようなScenicプログラムを生成しました：

ego = new Car with behavior DriveThruIntersectionBehavior()​bicyclist = new Bicycle on road​require (distance to intersection) > 20 for egoterminate when ego.position not in intersection

このプログラムは、報告書の主要な要素（自動運転車、自転車、交差点）を捉え、それらの相互作用を表現しています。生成されたプログラムは、Carlaシミュレータにインポートされ、視覚化されました。

シミュレーション結果を分析すると、生成されたシナリオは報告書の記述と高い一致度を示しましたが、いくつかの不正確な点も見られました。例えば、自転車と車の衝突の詳細な位置や、自動運転モードの解除のタイミングなどに若干の違いがありました。

これらの結果は、Scenic NLプロジェクトが事故報告書からの自動シナリオ生成において大きな可能性を持つことを示しています。同時に、自然言語の曖昧さや報告書の詳細さの不足などの課題も明らかになりました。

Scenic NLプロジェクトの成功は、交通安全分析、自動運転車のテスト、事故再現シミュレーションなど、様々な分野に大きな影響を与える可能性があります。自然言語からの自動シナリオ生成により、より多くの実世界のケースをシミュレーションに取り込むことが可能になり、自律システムの安全性と信頼性の向上に貢献することが期待されています。

9. Scenicの高度な機能

Scenicは、複雑なシナリオを効率的にモデル化し、テストするための多くの高度な機能を提供しています。これらの機能は、より複雑で現実的なシナリオの作成を可能にし、自律システムのテストと検証プロセスを大幅に向上させます。

9.1 シナリオの合成と再利用

シナリオの合成と再利用は、複雑なシナリオを構築する際に非常に有用な機能です。この機能により、ユーザーは小さな建築ブロックから複雑なシナリオを構築することができます。例えば、基本的な交通シナリオを定義し、それらを組み合わせてより複雑な状況を作り出すことができます。

Scenicは、シナリオを合成するための様々な方法を提供しています：

1. 並列合成：複数のシナリオを同時に実行します。
2. 順次合成：シナリオを順番に実行します。
3. 条件付き実行：特定の条件が満たされるまでシナリオを実行します。

これらの合成機能を使用することで、ユーザーは複雑なシナリオを管理しやすい小さな部分に分割し、それらを柔軟に組み合わせることができます。これにより、シナリオの再利用性が高まり、テストの効率が向上します。

9.2 マルチオブジェクティブ仕様の定義

Scenicは、複数の（しばしば相反する）目標を持つ自律システムのための、マルチオブジェクティブ仕様の定義をサポートしています。これにより、安全性、効率性、時間など、複数の要件やメトリクスを優先順位付けして定義することができます。

9.3 ランタイムモニター生成

Scenicは、指定された要件に基づいてランタイムモニターを自動的に生成する機能を提供しています。これらのモニターは、シミュレーション中にシステムの動作を継続的に監視し、特定の条件や要件が満たされているかをチェックします。

ランタイムモニターは、シミュレーション中にリアルタイムで動作し、指定された条件が違反された場合にアラートを発生させたり、シミュレーションを停止したりすることができます。これにより、長時間のシミュレーションでも、重要な安全性や性能の基準が常に満たされていることを確認できます。

これらの高度な機能により、Scenicはより複雑で現実的なシナリオのモデリングと評価を可能にし、自律システムの開発とテストプロセスを大幅に向上させます。シナリオの合成と再利用、マルチオブジェクティブ仕様の定義、ランタイムモニターの生成を組み合わせることで、ユーザーは包括的で効果的なテスト環境を構築することができ、最終的には安全性と信頼性の高い自律システムの開発につながります。

10. コミュニティとリソース

Scenicプロジェクトは、ユーザーや開発者がツールを効果的に活用し、プロジェクトの発展に貢献できるよう、様々なリソースと支援体制を提供しています。

10.1 ドキュメンテーションとチュートリアル

Scenicの公式ウェブサイト（scenic-lang.org）には、包括的なドキュメンテーションとチュートリアルが用意されています。これらのリソースは、初心者から上級者まで、幅広いユーザーのニーズに対応するよう設計されています。

ドキュメンテーションには以下のような内容が含まれています：

1. インストール手順：Windows、Mac、Linuxなど、主要なプラットフォームでのScenicのインストール方法が詳細に説明されています。
2. チュートリアル：本日のプレゼンテーションで紹介したものよりも詳細なバージョンのチュートリアルが提供されています。静的シナリオ、動的シナリオ、合成シナリオなど、Scenicの主要機能を段階的に学ぶことができます。
3. 構文ガイド：Scenicの全ての構文要素について、その使用方法と意味を解説しています。
4. Python API：ScenicをPythonプログラムから制御するためのAPIドキュメントが提供されています。
5. シミュレータ連携ガイド：独自のシミュレータとScenicを連携させる方法について、詳細な手順が説明されています。

10.2 コミュニティフォーラムの活用方法

Scenicプロジェクトは、ユーザーや開発者間のコミュニケーションを促進し、知識共有を推進するために、新しいコミュニティフォーラムを立ち上げました。このフォーラムは、Scenicの公式ウェブサイトからアクセスできます。

フォーラムでは以下のようなトピックについて議論することができます：

1. Scenicの使用方法に関する質問
2. 特定のドメインでのScenicの使用方法
3. 特定のシミュレータとScenicを連携させる方法
4. Scenicの拡張や新機能の提案
5. バグ報告と解決策の共有

10.3 今後のワークショップと開発計画

Scenicプロジェクトは、継続的な学習と開発を促進するために、定期的なワークショップを計画しています。

主要なイベントとして、2024年8月末にUCサンタクルーズで「Scenic ブートキャンプ」が予定されています。このワークショップは、2日間から2日半の予定で行われ、Scenicの高度なユーザーになることを目指す参加者や、プロジェクトに貢献したい開発者を対象としています。

このワークショップはハイブリッド形式で開催される予定で、物理的に参加できない人でも、オンラインで参加することができます。

Scenicプロジェクトは、これらのリソースとコミュニティ活動を通じて、ユーザーと開発者の継続的な学習と成長を支援し、プロジェクトの持続的な発展を実現しようとしています。ドキュメンテーションの充実、活発なコミュニティフォーラム、定期的なワークショップの開催により、Scenicは自律システムの安全性と信頼性向上のための包括的なエコシステムを構築しつつあります。