プロンプトインジェクション

プロンプトインジェクション

プロンプトインジェクションとは、AI（特にChatGPTなどの生成AI）に与えるプロンプト（指示文）を悪用し、AI本来の動作や設定された制限を意図的に変更させる攻撃手法のこと。例えば、ユーザーの入力に巧妙な文章を忍ばせることで、AIに機密情報を不正に出力させたり、誤った情報を生成させたりすることが可能になる。

この攻撃は、入力文が通常の内容に見えるため検知が難しいのが特徴。また、AIの利用分野やモデルの種類を問わず発生する可能性があり、出力内容に即座に影響を及ぼし、誤情報拡散や情報漏洩といった危険を招く可能性がある。

対策としては、入力文を事前にフィルタリングして不審な指示を排除することや、AI側に対して外部からの入力で上書きされない明確なルールを設定する仕組みを構築することなどが挙げられる。根本的な対策として、機密情報をAIに渡さないといった運用上の管理も不可欠。将来的には、AIが不正指示を自動的に検知・拒否する技術の高度化が進むと見られている。