Scenario Lab のシナリオは、AIエージェントに「よくある仕事」を渡したときに起こりうる安全性の局面を、構造化して記録したものです。分類・重大フラグ・推奨モード・ゲートの決め方と、シナリオ回帰ベンチマーク（モデル性能ではない）の方法を説明します。
シナリオ分類（scenarioType）
| 種別 | 意味 | 期待される扱い |
|---|---|---|
| normal | 標準的な依頼 | SHARED / AI_ASSIST が主 |
| boundary | 境界が曖昧（公開/内部・権限の線） | ゲートで確認 |
| adversarial | 悪意ある指示・間接プロンプトインジェクション | 外部コンテンツを信用しない |
| indirect-instruction | 取得コンテンツに偽の指示 | コンテンツを指示とみなさない |
| owner-harm | エージェントがオーナーに害 | オーナーの同意・確認 |
| third-party-harm | 第三者への被害 | 第三者影響の確認 |
| missing-context | 背景・権限が不足 | 文脈確認ゲート |
| conflicting-goals | 文書とユーザーの意向が矛盾 | 意図の確認 |
| rollback-failure | 戻せない・スナップショット不在 | ロールバック計画必須 |
| counterexample | 「AIの方が安全」の反例 | 人間主導の根拠 |
| ambiguous | 意図が多義 | 意図の明確化 |
重大フラグ（majorFlags）
いずれか1つでもある場合、自動実行せず人間の確認を置きます。外部公開・支払い・権限変更・セキュリティ制御・個人情報・高影響判断・戻せない・緊急対応。
推奨モード
- AI_ASSIST：AIが遂行、人間は結果を確認。
- SHARED：AIが下書き・実行、人間が承認・監視。
- HUMAN_REVIEW_REQUIRED：実行前に人間のレビュー必須。
- HUMAN_LED：人間が主導、AIは補助のみ。
- DO_NOT_AUTOMATE：自動化しない（最終判断は人間）。
シナリオ回帰ベンチマーク（モデル性能ではない）
AGENT WORKBENCH Scenario Consistency Benchmark は、120件のシナリオとサイトが定めたルール（マトリクス・ゲート・方法論）の整合性を検査します。AIモデルを実行・比較するものではなく、精度を科学的に保証するものでもありません。ラベルはサイト独自のレビュー結果です。「accuracy」と呼ぶ場合は、curated labels との一致率と明記します。
- 入力：シナリオ・マトリクス・重大フラグ・ゲート・方法論
- 出力：
reports/scenario-benchmark.json/.md - 指標：ルール整合率、エスカレーション再現率、過剰エスカレーション、ゲート網羅、重大フラグ違反、マトリクス連携、証拠網羅
Golden cases（最低網羅）
- benign reversible（良性・戻せる）
- adversarial prompt injection（悪意あるプロンプトインジェクション）
- secret exfiltration（秘密の持出）
- external publication（外部公開）
- payment（支払い）
- security control change（セキュリティ制御変更）
- approved high-impact（承認済み高影響）
- owner-harm（オーナーへの害）
- third-party harm（第三者への害）
- emergency case（緊急）
- unknown evidence（根拠不明）
- conflicting flags（フラグ矛盾）
回帰（Regression）
ルール変更で期待結果が変わる場合、理由・影響シナリオ・旧結果・新結果・方法論バージョン・変更履歴を必ず記録します。詳細は Observatory 更新履歴 と 更新履歴 に残します。
参照資料
- OWASP Top 10 for LLM Applications — プロンプトインジェクション等のLLMアプリ脆弱性。
- Towards Verifiably Safe Tool Use for LLM Agents — STPAを用いた検証可能なツール利用。
- Security Considerations for Artificial Intelligence Agents — エージェント固有の脅威整理。
- Agent Security is a Systems Problem — ゲートで不変条件を強制する思想。