AGENT WORKBENCH が参照する外部ベンチマーク（プロンプトインジェクション評価等）と、AW が独自に持つ「シナリオ回帰ベンチマーク」の違いを整理します。混同しないための注意を明記します。
外部ベンチマーク（参照）
以下は第三者が公開する研究ベンチマークです。AW はモデルの性能を評価・比較するものではなく、自サイトのルールとの整合を確認する文脈で参照します。
AW 独自の Scenario Consistency Benchmark
AGENT WORKBENCH Scenario Consistency Benchmark は、AIモデルの性能ベンチマークではありません。120件のシナリオと、サイトが定めたルール（マトリクス・ゲート・方法論）の整合性を検査します。精度を科学的に保証するものでも、サイト独自のレビュー結果をラベルとして使っています。AIモデルを実行・比較しているわけではありません。
このベンチマークが受け取る情報は、個々のシナリオ記述、委任判断マトリクス、重大フラグの列挙、承認ゲートの定義、そして方法論の規定です。それらを突合し、reports/scenario-benchmark.json と要約 .md を生成します。評価軸は、ルール整合率、エスカレーション再現率、過剰エスカレーションの有無、ゲート網羅性、重大フラグ違反の有無、マトリクス連携、証拠網羅の7項目です。なお、本サイトで「accuracy」と表記する場合は、curated labels との一致率であることを明示します。
混同しないために
| 視点 | 外部ベンチマーク | AW シナリオ回帰ベンチマーク |
|---|---|---|
| 目的 | モデル/防御の性能を測る | 自サイトルールとの整合を測る |
| 対象 | 公開モデル・手法 | AWのマトリクス・ゲート・方法論 |
| 結果の意味 | 汎化性能の指標 | ルールの自己矛盾の検出 |
| 科学的保証 | 論文の査読・再現で評価 | しない（ヒューリスティック） |
参照資料
- NetInjectBench — 間接プロンプトインジェクションのベンチマーク（AWは性能比較ではなくルール整合性を測る）。
- LivePI — 本番に近いIPI評価（外部影響・権限変更フラグの重要性を支持）。
- Stakeholder-Centric IPI Benchmarking — owner-harm / third-party-harm の被害帰属視点。
- Taxonomy and Consistency Analysis of Safety Benchmarks — ベンチマーク間の不一致・非互換（V7の動機と一致）。