プロンプトインジェクションとは

LLMの振る舞いと評価

入力や参照データに紛れ込ませた指示によって、AIを本来の目的から外れた動作へ誘導する攻撃です。検索したWebページ、メール、取得した文書などに埋め込まれた指示を利用するものもあります。

実務で確認すること

外部資料を扱うAIでは、資料の内容を読む処理と、実行してよい操作の権限を整理します。外部文書中の指示で送信先や操作内容が変更されないかを点検し、重要な操作の確認や、ツールへ渡す情報の制限を設けます。

参考資料

確認日:

用語一覧へ戻る