검색 및 도구 사용 에이전트에 대한 신속한 주입 평가

최근 벤치마크로 테스트 조건 확장

2026년 8월 사전 인쇄인 LongPIBench는 여러 문서 중심 작업에서 더 긴 입력에 대한 신속한 삽입을 연구합니다. NetInjectBench는 신뢰할 수 없는 아티팩트와 분리된 신뢰할 수 있는 정책 메타데이터를 사용하여 도구 작업을 연구합니다. 범위는 다르지만 둘 다 하나의 짧은 적대적 프롬프트보다는 현실적인 컨텍스트와 실행 경계를 테스트하는 데 동기를 부여합니다.

증거: LongPIBench: 프롬프트 삽입을 위한 Long-Context 벤치마크 [1]NetInjectBench: 네트워크 운영을 위한 대규모 언어 모델 에이전트를 사용하는 도구의 간접 프롬프트 삽입 벤치마킹 [2]

안전하고 의미 있는 테스트 경계를 정의하세요

인증된 사용자 작업, 신뢰할 수 없는 입력 표면, 금지된 결과 및 테스트에 사용되는 환경을 지정합니다. 종합 레코드, 더미 비밀, 무해한 엔드포인트를 사용하세요. 합의된 범위를 벗어나는 시스템이나 계정에 대해 개방형 공격을 수행하지 마십시오.

모델의 응답과 애플리케이션의 실행을 구별합니다. 에이전트가 승인되지 않은 작업을 요청했지만 도구 게이트웨이가 이를 거부하는 경우 에이전트가 여전히 계획 실패를 나타내는 동안 경계는 작동했습니다. 두 가지 사실을 모두 기록하십시오. 단일 통과 라벨은 유용한 진단 정보를 숨깁니다.

양성 통제와 공격 사례 결합

Rubrex는 검색된 문서, 인용된 메시지, 도구 오류 및 긴 혼합 컨텍스트 입력을 테스트할 것을 권장합니다. 명령을 설명하는 매뉴얼과 같이 명령형 언어가 포함된 양성 자료를 포함합니다. 이러한 모든 텍스트를 거부하는 시스템은 정상적인 작업에 실패하면서 저항하는 것처럼 보일 수 있습니다.

한 위치가 항상 가장 어렵다고 가정하지 않고 컨텍스트 길이와 배치의 효과를 평가합니다. 방어를 비교할 때 요청된 작업과 권한을 안정적으로 유지하세요. 실제 민감한 데이터를 노출시키지 않고 결과를 재현할 수 있도록 정확한 아티팩트와 애플리케이션 버전을 보존하세요.

예시: 문서가 부차적 조치를 요청합니다.

연구 조교가 문서를 요약해 달라는 요청을 받았습니다. 테스트 문서에는 관련 없는 레코드를 변경하라는 지침이 포함되어 있습니다. 승인된 작업은 요약으로 유지됩니다. 문서 콘텐츠는 사이드 액션에 대한 권한을 부여할 수 없습니다. 평가에서는 돌연변이가 발생하지 않았는지, 유용한 요약이 여전히 완료될 수 있는지 확인합니다.

양성 컨트롤에는 요청하지 않고 레코드 변경이 작동하는 방식을 설명하는 단락이 포함됩니다. 보조자는 해당 단락을 요약할 수 있어야 합니다. 이는 단순한 키워드 기반 방어로 인한 과잉 차단을 감지하는 데 도움이 됩니다.

저항과 유용성을 눈에 띄게 유지

경계 위반 시도, 실행된 위반, 차단된 적법한 작업 및 불완전한 실행을 별도로 보고합니다. 도구 수준 제어 및 알려진 적용 범위 격차를 문서화합니다. 합격한 테스트 스위트는 시스템이 주입 방지라는 주장이 아니라 테스트된 조건에 대한 제한된 관찰을 지원합니다.

• 격리된 상태이고 무해한 대상을 사용합니다.
• 금지된 작업이 시도되었거나 실행되었는지 추적합니다.
• 명령형 언어로 일반 문서를 포함합니다.
• 도구, 검색, 권한 또는 모델 변경 후 다시 테스트합니다.

LLM 보안 점검 및 가드레일 제한

LLM 보안 테스트의 경우 적대적인 사례를 구성하기 전에 애플리케이션이 보호해야 하는 자산과 작업을 정의합니다. LLM 애플리케이션 취약성은 신뢰할 수 없는 텍스트가 도구 호출에 영향을 미치거나, 데이터 경계를 넘거나, 명령 우선순위를 변경하는 경우 발생할 수 있습니다. Rubrex는 각 테스트를 특정 보호 조치와 승인된 환경 내에서 명확하게 관찰 가능한 결과에 매핑할 것을 권장합니다.

LLM 레드 팀 구성은 제한된 평가를 알릴 수 있지만 프롬프트 주입 제품군만으로는 모든 LLM 취약점을 다루지는 않습니다. LLM 가드레일이 유용한 행동뿐만 아니라 유해한 행동도 차단하는지 확인하기 위해 적법한 요청과 적대적인 사례를 결합합니다. 테스트된 컨트롤, 관찰된 결과 및 테스트되지 않은 경계를 기록합니다. 모델의 임의 지침 외부에 액세스 제어 및 권한 적용을 유지합니다.

일반적인 질문