AIエージェントの主なリスクは、プロンプトインジェクション、過剰な権限、秘密情報の漏洩、サイレント失敗、自動化バイアス、外部への副作用、コスト暴走、監査可能性の欠如です。それぞれに「人間の確認地点」と「巻き戻し」を設計に組み込むことで、多くを抑えられます。不安を煽るためではなく、設計で減らすために整理します。

1. ハルシネーション（もっともらしい誤り）

AIが事実に基づかない内容を自信を持って出力する現象です。対策は「事実照合の承認地点」をAI生成の直後に置くことです。根拠となる出典を人間が確認します。

2. プロンプトインジェクション

外部の文章に紛れて「制限を外せ」といった指示が含まれ、エージェントが意図せず従う攻撃です。OWASPはLLMアプリの重大リスクの一つに挙げています[1]。対策は入力の信頼境界を分け、外部由来の指示を実行コマンドとみなさないことです。

3. 過剰な権限（excessive permissions）

エージェントに必要以上の権限を与えると、一つの失敗が大きな被害へ広がります。最小権限（least privilege）の原則を取り、実行範囲を狭くします。NIST SSDFも安全な開発の基本として権限制限を求めています[2]。

4. 秘密情報の漏洩

プロンプトやログにAPIキーや個人情報が含まれると、外部へ送出される恐れがあります。秘密情報は環境変数等へ分離し、ログに残さない設計にします。

6. 自動化バイアス

AIの出力を無批判に信じる傾向です。人間が最終判断する役割（HUMAN）を明記し、AIの出力を「下書き」として扱います。OECDも人間中心の価値と説明責任を求めています[3]。

7. 外部への副作用（external side effects）

エージェントが外部システムへ意図しない変更を加えるリスクです。影響範囲をテスト環境に限定し、本番反映には人間の承認を置きます。

8. コスト・リソースの暴走

ループや大量呼び出しで費用が膨らむ可能性があります。呼び出し上限と予算上限を設け、異常時に停止します。

9. サプライチェーンリスク

利用するモデルやライブラリの脆弱性が及ぶ恐れがあります。OWASPはLLMアプリのサプライチェーン风险も挙げています[1]。依存元を限定し、更新を追います。

10. 監査可能性（auditability）

何をどう決めたかの記録が残らないと、事故時に原因が分かりません。各工程の入力・出力・承認をログに残します。

11. 可逆 / 不可逆

元に戻せる操作（下書き・ブランチ）と、戻せない操作（公開・削除・支払い）を分け、後者には承認を置きます。

リスク行列

リスク影響起きやすさ基本対策
プロンプトインジェクション高中信頼境界・実行分離
過剰権限高中最小権限
秘密漏洩高低秘密の分離・非ログ
サイレント失敗中中停止条件・通知
自動化バイアス中高人間最終判断
コスト暴走中低上限・停止

緩和の基本

  • AI生成の直後に人間確認を置く
  • 不可逆操作の前に承認ゲートを置く
  • 実行範囲を最小に絞る
  • 失敗したら止まる仕組みを入れる
  • 各工程をログに残す

承認ゲートとの関係

リスクの多くは「人間が確認する地点」と「巻き戻し」で減ります。どこに承認を置くかは承認ゲートのガイドで整理しています。

FAQ

AIエージェントは危険ですか？
使い方によります。人間の確認と承認を設計に組み込めば、多くのリスクは管理できます。
一番対策すべきはどれですか？
ビジネス影響が大きい「公開・削除・支払い」の直前に人間承認を置くことから始めます。
個人の利用でも気をつけるべき？
はい。秘密情報の入力と、公開・削除の前の確認は個人利用でも有効です。
リスクを自分で評価できますか？
はい。AI委任リスク診断で、この仕事を任せてよいかを整理できます。
法的な義務はありますか？
EU AI法などは高リスクAIに人間監視を要件化しています[4]。適用範囲は個別に確認してください。

診断してみる

AI委任リスク診断を開く

参考資料

最終確認日：2026-07-13