入力や参照データに紛れ込ませた指示によって、AIを本来の目的から外れた動作へ誘導する攻撃です。検索したWebページ、メール、取得した文書などに埋め込まれた指示を利用するものもあります。
実務で確認すること
外部資料を扱うAIでは、資料の内容を読む処理と、実行してよい操作の権限を整理します。外部文書中の指示で送信先や操作内容が変更されないかを点検し、重要な操作の確認や、ツールへ渡す情報の制限を設けます。
参考資料
確認日:
LLMの振る舞いと評価
入力や参照データに紛れ込ませた指示によって、AIを本来の目的から外れた動作へ誘導する攻撃です。検索したWebページ、メール、取得した文書などに埋め込まれた指示を利用するものもあります。
外部資料を扱うAIでは、資料の内容を読む処理と、実行してよい操作の権限を整理します。外部文書中の指示で送信先や操作内容が変更されないかを点検し、重要な操作の確認や、ツールへ渡す情報の制限を設けます。
確認日: