프롬프트 주입 및 에이전트 경계
신뢰할 수 없는 프롬프트, 검색된 문서 또는 도구 출력이 보조자의 승인된 작업을 변경할 수 있는지 테스트합니다.
- 직접 및 간접 프롬프트 주입
- 도구 권한 및 승인 경계
- 의도하지 않은 행동, 재시도, 부작용
AI SaaS 보안 감사 / Rubrex
경계를 테스트하세요. 데이터를 추적합니다.
AI 애플리케이션, SaaS 제품 및 에이전트에 대한 LLM 보안 및 데이터 처리 평가. 액세스, 작업, 고객 데이터가 잘못될 수 있는 부분을 찾아낸 다음 팀이 조치를 취할 수 있는 증거를 제공하세요.
AI 평가와 엔지니어링이 우리의 기반입니다. 보안 평가는 제품 주변의 경계에도 동일한 원칙을 적용합니다.
01평가
모델은 시스템의 한 부분입니다.
AI SaaS 보안 감사는 애플리케이션, AI 워크플로우 및 이들이 다루는 데이터를 검사합니다. 우리는 귀하의 제품에 어떤 검사가 적용되는지에 동의하고 테스트되지 않은 영역을 명시적으로 보고합니다.
고객 및 테넌트 격리
사용자와 상담원이 자신의 역할이 허용하는 기록, 문서 및 작업에만 접근할 수 있는지 확인하세요.
- 인증 및 개체 수준 권한 부여
- 테넌트 간 검색, 캐시 및 파일 액세스
- 세션 처리 및 권한 있는 작업
데이터 처리 및 공급자 설정
애플리케이션, 모델 제공자, 로깅, 분석 및 스토리지를 통해 고객 데이터를 추적합니다.
- 수집, 보유, 삭제 경로
- 훈련 이용 설정 및 지원 제공자 약관
- 제3자 공유, 로그 및 민감한 데이터 노출
애플리케이션 및 API 보안
데이터를 받아들이고 작업을 실행하는 인터페이스를 포함하여 모델 주변의 애플리케이션을 검토합니다.
- 입력 검증 및 생성된 출력 처리
- 비밀, 종속성, 업로드 및 구성
- 속도 제한, 리소스 제한 및 남용 제어
검색 및 데이터 품질
시스템이 데이터를 처리할 때 허용된 관련 증거를 검색하고 의미를 보존하는지 평가합니다.
- 출처 출처 및 오래되었거나 충돌하는 문서
- 인용 지원 및 지원되지 않는 답변
- 추출 정확도, 완전성 및 스키마 의미
고장 시 제품 동작
증거, 도구 또는 제공자가 실패할 때와 제안된 수정 후에 AI 워크플로가 어떻게 작동하는지 측정합니다.
- 대표적인 태스크 및 회귀 사례
- 기권, 에스컬레이션, 안전실패 행위
- 반복성, 작업 완료 및 작동 한계
02데이터 주장, 구체적으로 명시됨
고객 데이터는 어떻게 되나요?
요청 처리, 로그 유지, 공급자와 데이터 공유 및 교육용 데이터 사용은 서로 다른 활동입니다. 유용한 평가는 주장, 증거 및 한계를 식별합니다.
| 질문 | 조사할 증거 | 보고서가 구별하는 것 |
|---|---|---|
| 고객 콘텐츠가 교육에 사용됩니까? | 데이터 경로, 공급자 설정, 적용 가능한 용어 및 사용 가능한 기록. | 우리가 검사할 수 없는 구성, 계약서 및 동작을 관찰했습니다. |
| 한 고객이 다른 고객의 데이터에 액세스할 수 있습니까? | API, 검색, 저장 및 캐시에 대한 인증 테스트입니다. | 액세스 또는 적용 범위의 격차를 포함하여 테스트된 역할 및 경로입니다. |
| 삭제하고 나면 무엇이 남나요? | 삭제 워크플로, 로그, 공급자 보존, 백업 및 문서화된 예외. | 정책이나 제3자에 따라 달라지는 삭제 동작과 보존을 확인했습니다. |
| 추출 또는 생성된 데이터가 정확합니까? | 대표적인 참고 사례, 현장 수준 확인 및 소스 지원. | 보안 및 개인 정보 보호 결과와 별도로 평가 세트의 품질을 측정했습니다. |
03당신의 팀이 지키는 것
조사할 수 있는 결과. 다시 테스트할 수 있는 수정 사항입니다.
범위 및 데이터 흐름 맵
평가된 제품 버전, 환경, 승인된 시스템, 데이터 경로 및 제외 사항입니다.
증거에 근거한 조사 결과
영향을 받는 구성 요소, 재현 증거, 비즈니스 영향 및 권장 수정 사항에 대한 우선순위 문제입니다.
평가 및 재시험 기록
합의된 사례, 관찰된 동작, 구성, 해결되지 않은 질문 및 범위 내에서 다시 테스트된 수정 사항에 대한 결과입니다.
의사결정 준비 핸드오프
요약, 기술 보고서 및 다음 조치. 증거에 의해 합의되고 뒷받침되는 경우 별도의 공개 요약이 준비될 수 있습니다.
04작업 진행 방식
범위에 동의하세요. 증거를 따르십시오.
테스트는 서면 승인, 대상 시스템, 허용된 작업 및 중지 조건으로 시작됩니다. 우리는 합성 데이터 또는 승인된 데이터를 사용하고 사용 가능한 액세스 제한을 기록합니다.
범위는 관련 검사를 OWASP ASVS에 매핑하고 LLM 및 에이전트 위험에 대한 OWASP 지침을 고려합니다. 보고서에는 실제로 사용된 버전과 요구 사항이 명시되어 있습니다.
평가 방법 읽기시스템과 주장을 정의
평가에서 답변해야 하는 AI 워크플로, 데이터 흐름, 권한 및 질문을 매핑합니다.
테스트 및 검토
합의된 점검을 실행하고, 뒷받침하는 증거를 조사하고, 관찰된 문제와 확인되지 않은 문제를 분리합니다.
우선순위를 정하고 다시 테스트하세요
영향을 설명하고, 수정 사항을 제안하고, 업데이트된 시스템에 대해 합의된 재테스트 결과를 기록합니다.
결정을 넘겨주세요
결과, 남은 한계 및 실용적인 다음 조치 계획을 제공합니다.
05평가배지
주장은 증거로 이어져야 합니다.
Rubrex 평가 배지는 검토된 특정 제품을 식별하고 범위, 날짜, 증거 요약 및 현재 상태가 포함된 공개 기록에 대한 링크를 제공해야 합니다. 이는 "위험 없음" 또는 "데이터 사용 없음"을 의미할 수 없습니다.
배지 자격은 문서화된 기준과 재테스트 증거에 따라 달라집니다. 평가된 시스템에 중대한 변경이 있을 경우 영향을 받은 청구를 검토해야 합니다.
배지 요구 사항을 읽어보세요06시작하기 전에
몇 가지 유용한 답변입니다.
AI SaaS 보안 감사란 무엇입니까?
AI 제품의 애플리케이션 보안, 모델 및 에이전트 경계, 고객 데이터 처리에 대한 범위 평가입니다. Rubrex는 합의된 요구 사항에 따라 검색, 구조화된 데이터 및 출력 품질을 평가할 수도 있습니다. 보고서는 보안 결과를 품질 결과와 분리합니다.
모델 학습에 고객 데이터가 사용되지 않는지 확인할 수 있나요?
우리는 정확하게 정의된 교육 사용 청구에 대해 애플리케이션의 데이터 흐름, 관련 제공자 설정, 계약 및 사용 가능한 기술 증거를 검토할 수 있습니다. 공급자 명세서에는 다음과 같은 라벨이 붙어 있습니다. 우리는 애플리케이션 테스트를 통해 공급자의 공개되지 않은 내부 행동을 증명하거나 평가된 설정 이상으로 결과를 확장할 수 없습니다.
이것이 AI 신뢰성 스프린트의 일부입니까?
보안 감사의 범위는 별도로 지정됩니다. 스프린트는 하나의 사용 사례에 대해 영업일 기준 10일 평가로 유지됩니다. 둘 다 필요한 경우 작업을 시작하기 전에 평가 사례, 보안 점검 및 결과물이 어떻게 조화를 이루는지에 동의합니다.
감사를 실행하기 위해 AI를 사용합니까?
자동화 및 AI 지원 분석은 합의된 작업을 지원할 수 있습니다. 결과에는 재현 가능한 증거와 검토가 필요합니다. 모델에서 생성된 판단이나 스캐너 출력만으로는 평가 주장을 입증하기에 충분하지 않습니다. 클라이언트 데이터를 처리하는 모든 도구는 사용하기 전에 동의해야 합니다.
어떤 액세스 권한과 승인이 필요합니까?
대상 시스템, 허용된 테스트, 테스트 계정, 타이밍, 중지 조건 및 데이터 조건을 서면으로 동의합니다. 범위에 따라 유용한 입력에는 아키텍처, 코드, 공급자 구성, 합성 또는 승인된 데이터가 포함된 테스트 환경이 포함됩니다. 액세스 제한은 보고서에 기록됩니다.
평가 배지가 보안 또는 규정 준수를 보장합니까?
아니요. 배지는 날짜가 지정된 특정 평가와 범위 및 상태를 설명하는 공개 검증 기록을 참조해야 합니다. 취약점 제로를 약속하거나, 법적 준수를 확립하거나, SOC 2 또는 ISO 인증을 대신할 수는 없습니다. 결제를 통해 합격 결과가 아닌 평가를 구매하게 됩니다.
관련 연구
LLM 보안 및 봇 남용 테스트.
신속한 주입, 승인되지 않은 도구 작업 및 자동화된 비용 남용은 다양한 경계에 영향을 미칩니다. 합의된 평가를 통해 모델 동작과 함께 액세스 결정, 리소스 제한 및 도구 결과를 조사할 수 있습니다. 우리의 실용적인 가이드는 테스트를 정의하고, 증거를 수집하고, 제안된 수정 사항을 확인하는 방법을 보여줍니다.
07대화를 시작하세요
시작
범위 지정 호출.
무엇을 구축하고 있는지, 어떤 결정을 내려야 하는지 알려주세요. 적합한 경우 20분 범위 지정 통화를 예약하기 위해 이메일을 보내드립니다. 이 첫 번째 대화에는 시스템 액세스가 필요하지 않습니다.
우리가 논의할 내용
evals@rubrex.ai - 귀하의 사용 사례와 귀하가 보고 있는 문제.
- 당신이 가지고 있는 증거와 무엇을 먼저 테스트할지.
- 스프린트, 감사 또는 엔지니어링 계약이 적합한지 여부.
앞으로 무슨 일이 일어날지
- 귀하의 요청을 검토하고 도움을 드릴 수 있는지 여부를 검토합니다.
- 적합할 경우 이메일로 통화 시간을 협의합니다.
- 작업 시작 전 서면 범위 및 견적.