提示注入和代理边界
测试不受信任的提示、检索的文档或工具输出是否可以更改助理的授权任务。
- 直接和间接提示注入
- 工具权限和审批边界
- 意外的操作、重试和副作用
AI SaaS 安全审计 / Rubrex
测试边界。追踪数据。
针对 AI 应用程序、SaaS 产品和代理的 LLM 安全和数据处理评估。找出访问、操作和客户数据可能出错的地方，然后向您的团队提供可以采取行动的证据。
人工智能评估和工程是我们的基础。安全评估将同样的规则带入产品的边界。
01评估
模型是系统的一部分。
AI SaaS 安全审核检查应用程序、其 AI 工作流程以及它们接触的数据。我们同意哪些检查适用于您的产品并明确报告未经测试的区域。
客户和租户隔离
检查用户和代理是否只能访问其角色允许的记录、文档和操作。
- 身份验证和对象级授权
- 跨租户检索、缓存和文件访问
- 会话处理和特权操作
数据处理和提供商设置
通过应用程序、模型提供程序、日志记录、分析和存储来跟踪客户数据。
- 收集、保留和删除路径
- 培训使用设置和支持提供商条款
- 第三方共享、日志和敏感数据暴露
应用程序和API安全
检查模型周围的应用程序，包括接受数据和执行操作的接口。
- 输入验证和生成输出处理
- 秘密、依赖项、上传和配置
- 速率限制、资源限制和滥用控制
检索和数据质量
评估系统在处理数据时是否检索到允许的相关证据并保留含义。
- 来源和过时或冲突的文档
- 引文支持和不受支持的答案
- 提取准确性、完整性和模式含义
故障下的产品行为
衡量当证据、工具或提供者失败时以及建议的修复之后 AI 工作流程的行为方式。
- 代表性任务和回归案例
- 弃权、升级和安全失败行为
- 重复性、任务完成度和操作限制
02数据声明，具体说明
客户数据会怎样？
处理请求、保留日志、与提供商共享数据以及使用数据进行培训是不同的活动。有用的评估可以确定主张、证据和限制。
| 问题 | 需要检查的证据 | 报告有何区别 |
|---|---|---|
| 客户内容是否用于培训？ | 数据路径、提供商设置、适用条款和可用记录。 | 我们无法检查的观察到的配置、合同声明和行为。 |
| 一个客户可以访问另一个客户的数据吗？ | 跨 API、检索、存储和缓存的授权测试。 | 测试的角色和路径，包括访问或覆盖范围中的任何差距。 |
| 删除后还剩下什么？ | 删除工作流程、日志、提供程序保留、备份和记录的异常。 | 已验证的删除行为与保留行为取决于策略或第三方。 |
| 提取或生成的数据是否正确？ | 代表性参考案例、现场检查和来源支持。 | 评估集的测量质量，与安全和隐私调查结果分开。 |
03你的团队保留什么
您可以调查的结果。修复后您可以重新测试。
范围和数据流图
评估的产品版本、环境、授权系统、数据路径和排除。
有证据支持的调查结果
受影响组件的优先问题、复制证据、业务影响和建议的修复。
评价及复测记录
商定的案例、观察到的行为、配置、未解决的问题以及范围内重新测试的修复结果。
决策就绪切换
执行摘要、技术报告和下一步行动。如果同意并有证据支持，可以准备一份单独的公开摘要。
04工作如何进行
同意范围。遵循证据。
测试从书面授权、目标系统、允许的操作和停止条件开始。我们使用合成或批准的数据并记录可用访问的限制。
范围将相关检查映射到 OWASP ASVS，并考虑 OWASP 对 LLM 和代理风险的指导。该报告列出了实际使用的版本和要求。
阅读考核方法定义系统和声明
绘制 AI 工作流程、数据流、权限以及评估必须回答的问题。
测试和审查
运行商定的检查，检查支持证据，并将观察到的问题与未经验证的问题分开。
确定优先级并重新测试
解释影响，提出修复建议，并记录针对更新系统商定的重新测试的结果。
移交决定
提供调查结果、剩余限制和实用的下一步行动计划。
05评估徽章
主张应该有证据。
Rubrex 评估徽章必须标识特定的审查产品，并链接到包含范围、日期、证据摘要和当前状态的公共记录。它不能代表“零风险”或“不使用数据”。
徽章资格取决于书面标准和重新测试证据。对评估系统的任何重大变更都需要对受影响的索赔进行审查。
阅读徽章要求06开始之前
一些有用的答案。
什么是AI SaaS安全审计？
它是对人工智能产品的应用程序安全性、模型和代理边界以及客户数据处理的范围评估。 Rubrex 还可以根据商定的要求评估检索、结构化数据和输出质量。该报告将安全调查结果与质量结果分开。
能否验证客户数据没有用于模型训练？
我们可以审查应用程序的数据流、相关提供商设置、合同以及精确定义的培训使用声明的可用技术证据。提供者声明被如此标记。我们无法通过应用程序测试证明提供商未公开的内部行为，也无法将发现结果扩展到评估设置之外。
这是人工智能可靠性冲刺的一部分吗？
安全审计的范围是单独的。 Sprint 仍然是对一个用例的 10 个工作日评估。如果两者都需要，我们会在工作开始前就如何将评估案例、安全检查和可交付成果结合在一起达成一致。
你们使用人工智能来进行审计吗？
自动化和人工智能辅助分析可以支持商定的工作。研究结果需要可重复的证据和审查；仅模型生成的判断或扫描仪输出不足以证实评估声明。任何处理客户数据的工具在使用前都必须经过同意。
您需要什么访问权限和授权？
我们以书面形式同意目标系统、允许的测试、测试帐户、时间安排、停止条件和数据条款。根据范围，有用的输入包括架构、代码、提供程序配置以及具有合成或批准数据的测试环境。报告中记录了访问限制。
评估徽章能否保证安全性或合规性？
不可以。徽章必须引用具体的、注明日期的评估和解释其范围和状态的公共验证记录。它不能承诺零漏洞、建立法律合规性或替代 SOC 2 或 ISO 认证。付款买的是评估，而不是通过的结果。
相关研究
LLM 安全和机器人滥用测试。
提示注入、未经授权的工具操作和自动成本滥用会影响不同的边界。商定的评估可以检查访问决策、资源限制和工具结果以及模型行为。我们的实用指南展示了如何定义测试、收集证据和验证建议的修复。
07开始对话
开始于
范围界定调用。
告诉我们您正在构建什么以及您需要做出的决定。如果合适，我们会向您发送电子邮件，安排 20 分钟的范围界定电话会议。第一次对话不需要系统访问权限。
我们将讨论什么
evals@rubrex.ai - 您的用例和您遇到的问题。
- 您拥有的证据以及首先要测试的内容。
- Sprint、审计或工程项目是否合适。
接下来会发生什么
- 我们会审核您的请求以及是否可以提供帮助。
- 如果合适，我们会通过电子邮件与您商定通话时间。
- 任何工作开始之前的书面范围和报价。