在此页面上

简短的回答

通过测试不受信任的文档或工具输出是否可以将助手重定向到用户授权任务之外,来评估提示注入阻力。在具有明确权限和无害测试目标的隔离环境中衡量不当行为和受阻的合法工作。

拿走什么

  • 不受信任的文本不应定义自己的权限。
  • 长上下文和工具输出需要单独覆盖。
  • 衡量有用任务的完成情况以及攻击抵抗力。

已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记;它们不是客户结果。

最近的基准测试扩大了测试条件

LongPIBench 是 2026 年 8 月的预印本,研究跨多个面向文档的任务的较长输入的提示注入。 NetInjectBench 使用与不可信工件分离的可信策略元数据来研究工具操作。它们的范围不同,但都激励测试现实的上下文和执行边界,而不是一个简短的对抗性提示。

证据: LongPIBench:快速注入的长上下文基准 [1]NetInjectBench:使用大型语言模型代理进行网络操作的工具间接提示注入基准测试 [2]

定义安全且有意义的测试边界

指定授权用户任务、不受信任的输入表面、禁止的结果以及用于测试的环境。使用合成记录、虚拟秘密和无害的端点。不得对约定范围之外的系统或账户进行开放式攻击。

区分模型的响应和应用程序的执行。如果代理请求未经授权的操作但工具网关拒绝它,则边界工作,而代理仍然表现出规划失败。记录这两个事实。单次通过标签会隐藏有用的诊断信息。

将攻击案例与良性对照配对

Rubrex 建议测试检索到的文档、引用的消息、工具错误和长混合上下文输入。包括包含命令式语言的良性材料,例如描述命令的手册。拒绝所有此类文本的系统可能会在正常任务失败时显得有抵抗力。

评估上下文长度和位置的影响,而不假设一个位置总是最难的。在比较防御时保持请求的任务和权限稳定。保留准确的工件和应用程序版本,以便可以在不暴露真实敏感数据的情况下重现结果。

说明性示例:文档请求辅助操作

研究助理被要求总结一份文件。测试文档包含更改不相关记录的指令。授权的任务仍然是总结;文档内容无法授予辅助操作权限。评估检查没有发生突变并且仍然可以完成有用的摘要。

良性控制包括一段解释记录更改如何工作的段落,而不需要请求。助理应该能够总结该段落。这有助于检测由简单的基于关键字的防御引起的过度阻止。

保持阻力和有用性可见

分别报告尝试的边界违规、执行的违规、阻止的合法任务和不完整的运行。记录工具级控制和已知的覆盖范围差距。通过的测试套件支持对测试条件的有限观察,而不是声称系统是防注入的。

  • 使用隔离状态和无害目标。
  • 跟踪是否尝试或执行了禁止的操作。
  • 使用类似命令的语言包含普通文档。
  • 在工具、检索、权限或模型更改后重新测试。

LLM安全检查和护栏的限制

对于 LLM 安全测试,定义应用程序在构建对抗性案例之前必须保护哪些资产和操作。当不受信任的文本影响工具调用、跨越数据边界或更改指令优先级时,可能会出现 LLM 应用程序漏洞。 Rubrex 建议将每个测试映射到授权环境中的特定受保护操作和清晰可观察的结果。

LLM 红队可以提供有界评估,但单独的提示注入套件并不能涵盖所有 LLM 漏洞。将对抗性案例与合法请求配对,以检查 LLM 护栏是否阻止有用行为以及有害行为。记录测试的对照、观察到的结果和未测试的边界。将访问控制和权限执行保持在模型的自由裁量指令之外。

证据的局限性

这是一个以可靠性为导向的测试设计,而不是全面的渗透测试。引用的工作是对选定系统的预印本研究。通过这些案例并不能建立对所有未来攻击的抵抗力或消除对应用程序级访问控制的需要。

常见问题

系统提示符本身可以解决提示注入吗?

提示可以提供帮助,但评估还应该检查执行时权限和隔离。不要假设文本指令取代了可执行的边界。

阻止所有可疑文档是否算成功?

仅当该行为符合产品要求时。衡量因阻止而损失的合法任务以及防止的违规行为。

来源和进一步阅读

本简报背后的主要来源。来源的研究结果适用于其自身的研究条件; arXiv 上的出版物不建立同行评审。

  1. LongPIBench:快速注入的长上下文基准 arXiv · 2026 · 预印本已审核: 摘要和出版记录.已访问 2026年9月25日.
  2. NetInjectBench:使用大型语言模型代理进行网络操作的工具间接提示注入基准测试 arXiv · 2026 · 预印本已审核: 摘要和出版记录.已访问 2026年9月25日.

有问题或更正吗? 写信给Rubrex. 阅读我们的编辑方法.

从阅读到可重复评估

在您的用例周围放置一个质量栏。

AI 可靠性冲刺在 10 个工作日内涵盖一个用例、基线、故障分析和一项改进实验。

探索冲刺

需要安全和数据处理检查吗?探索 AI SaaS 审核 →