このページでは
短い答え
信頼できないドキュメントやツールの出力が、ユーザーの許可されたタスクを超えてアシスタントをリダイレクトする可能性があるかどうかをテストすることで、プロンプト インジェクション耐性を評価します。明示的な権限と無害なテスト対象を使用して、隔離された環境で不適切なアクションとブロックされた正当な作業の両方を測定します。
何を持ち帰るか
- 信頼できないテキストは、それ自体の権限を定義すべきではありません。
- 長いコンテキストとツールの出力には個別のカバレッジが必要です。
- 有用なタスクの完了と攻撃耐性を測定します。
ソースをチェックしました .研究総合と Rubrex の推奨事項。例とローカル実験にはラベルが付けられています。これらはクライアントの結果ではありません。
最近のベンチマークではテスト条件が拡張されています
LongPIBench (2026 年 8 月のプレプリント) は、いくつかのドキュメント指向タスクにわたる長い入力におけるプロンプト インジェクションを研究しています。 NetInjectBench は、信頼できないアーティファクトから分離された信頼できるポリシー メタデータを使用してツール アクションを調査します。それらの範囲は異なりますが、どちらも 1 つの短い敵対的なプロンプトではなく、現実的なコンテキストと実行境界をテストする動機になります。
証拠: LongPIBench: プロンプト インジェクションのためのロングコンテキスト ベンチマーク [1]NetInjectBench: ネットワーク操作用の大規模言語モデル エージェントを使用したツールでの間接プロンプト インジェクションのベンチマーク [2]
安全で意味のあるテスト境界を定義する
許可されたユーザー タスク、信頼できない入力サーフェス、禁止された結果、およびテストに使用される環境を指定します。合成レコード、ダミー シークレット、無害なエンドポイントを使用します。合意された範囲外のシステムまたはアカウントに対して無制限の攻撃を実行しないでください。
モデルの応答とアプリケーションの適用を区別します。エージェントが未承認の操作を要求したが、ツール ゲートウェイがそれを拒否した場合、エージェントが計画の失敗を示している間も境界は機能していました。両方の事実を記録します。シングルパスラベルでは、有用な診断情報が隠蔽されてしまいます。
攻撃ケースと無害なコントロールを組み合わせる
Rubrex では、取得したドキュメント、引用メッセージ、ツール エラー、およびコンテキストが混在する長い入力をテストすることをお勧めします。コマンドを説明するマニュアルなど、命令語を含む無害な資料を含めます。このようなテキストをすべて拒否するシステムは、通常のタスクは失敗するものの、抵抗があるように見える可能性があります。
1 つの位置が常に最も難しいと仮定せずに、コンテキストの長さと配置の影響を評価します。防御を比較するときは、要求されたタスクと権限を安定した状態に保ちます。実際の機密データを公開することなく結果を再現できるように、正確なアーティファクトとアプリケーションのバージョンを保存します。
説明例: ドキュメントがサイドアクションを要求する
研究助手は文書を要約するよう求められます。テスト文書には、無関係なレコードを変更する指示が含まれています。許可されたタスクは要約のままです。ドキュメントのコンテンツでは、サイド アクションの許可を付与できません。評価では、突然変異が発生していないこと、および有用な要約をまだ完成できることがチェックされます。
良性のコントロールには、レコードの変更を要求せずに、レコードの変更がどのように機能するかを説明する段落が含まれています。アシスタントはその段落を要約できる必要があります。これは、単純なキーワードベースの防御によって引き起こされるオーバーブロッキングを検出するのに役立ちます。
抵抗と有用性を可視化する
境界違反の試み、実行された違反、ブロックされた正当なタスク、および不完全な実行を個別に報告します。ツールレベルのコントロールと既知のカバレッジギャップを文書化します。合格したテスト スイートは、システムが注入耐性があるという主張ではなく、テスト条件に関する限定された観察をサポートします。
- 孤立した状態で無害なターゲットを使用します。
- 禁止されたアクションが試行または実行されたかどうかを追跡します。
- コマンド風の言語を使用した通常のドキュメントを含めます。
- ツール、取得、権限、またはモデルの変更後に再テストします。
LLM セキュリティ チェックとガードレールの制限
LLM セキュリティ テストの場合、敵対的なケースを構築する前に、アプリケーションが保護する必要がある資産とアクションを定義します。 LLM アプリケーションの脆弱性は、信頼できないテキストがツール呼び出しに影響を与えたり、データ境界を越えたり、命令の優先順位を変更したりする場合に発生する可能性があります。 Rubrex では、各テストを特定の保護されたアクションと、許可された環境内で明確に観察可能な結果にマッピングすることを推奨しています。
LLM レッド チーミングは制限付き評価を通知できますが、プロンプト インジェクション スイートだけではすべての LLM 脆弱性をカバーできるわけではありません。敵対的なケースと正当なリクエストを組み合わせて、LLM ガードレールが有害な動作だけでなく有益な動作もブロックするかどうかを確認します。テストされたコントロール、観察された結果、およびテストされていない境界を記録します。アクセス制御と権限の強制は、モデルの裁量による指示の外に置いてください。
証拠の限界
これは信頼性を重視したテスト設計であり、包括的な侵入テストではありません。引用された研究は、選択されたシステムに関するプレプリント調査です。これらのケースを通過しても、将来のすべての攻撃に対する耐性を確立したり、アプリケーション レベルのアクセス制御の必要性を排除したりすることはできません。
よくある質問
システム プロンプトはプロンプト インジェクションを単独で解決できますか?
プロンプトは役に立ちますが、評価では実行時の権限と分離も検査する必要があります。テキストの指示が法的強制力のある境界を置き換えると想定しないでください。
すべての不審なドキュメントをブロックすることは成功とみなされますか?
その動作が製品要件に適合する場合のみ。ブロックによって失われた正当なタスクと、防止された違反を測定します。
出典と詳細情報
このブリーフィングの背後にある主な情報源。情報源の発見は、その情報源自身の研究条件に当てはまります。 arXiv での出版は査読を確立しません。
- LongPIBench: プロンプト インジェクションのためのロングコンテキスト ベンチマーク arXiv · 2026 · プレプリントレビュー済み: 要約および出版記録.アクセス済み 2026年9月25日.
- NetInjectBench: ネットワーク操作用の大規模言語モデル エージェントを使用したツールでの間接プロンプト インジェクションのベンチマーク arXiv · 2026 · プレプリントレビュー済み: 要約および出版記録.アクセス済み 2026年9月25日.
質問または修正がありますか? Rubrex に書き込む. 編集アプローチを読む.