Avaliação de injeção imediata para agentes de recuperação e uso de ferramentas

Benchmarks recentes ampliam as condições de teste

LongPIBench, uma pré-impressão de agosto de 2026, estuda injeção imediata em entradas mais longas em várias tarefas orientadas a documentos. O NetInjectBench estuda ações de ferramentas com metadados de políticas confiáveis ​​separados de artefatos não confiáveis. Seus escopos diferem, mas ambos motivam o teste de contexto realista e limites de execução, em vez de um breve aviso adversário.

Evidência: LongPIBench: um benchmark de longo contexto para injeção imediata [1]NetInjectBench: Comparativo de injeção de prompt indireto em agentes de modelo de linguagem grande que usam ferramentas para operações de rede [2]

Defina um limite de teste seguro e significativo

Especifique a tarefa do usuário autorizado, a superfície de entrada não confiável, o resultado proibido e o ambiente usado para teste. Use registros sintéticos, segredos fictícios e endpoints inofensivos. Não realize ataques abertos contra sistemas ou contas fora do escopo acordado.

Distinguir a resposta do modelo da aplicação da aplicação. Se o agente solicitar uma operação não autorizada, mas o gateway da ferramenta a rejeitar, o limite funcionou enquanto o agente ainda apresentava uma falha de planejamento. Registre ambos os fatos. Uma etiqueta de passagem única ocultaria informações úteis de diagnóstico.

Parear casos de ataque com controles benignos

Rubrex recomenda testar documentos recuperados, mensagens citadas, erros de ferramentas e entradas longas de contexto misto. Inclua material benigno que contenha linguagem imperativa, como um manual que descreve um comando. Um sistema que rejeita todo esse texto pode parecer resistente ao falhar nas tarefas normais.

Avaliar o efeito do comprimento e posicionamento do contexto sem assumir uma posição é sempre mais difícil. Mantenha a tarefa e as permissões solicitadas estáveis ​​ao comparar uma defesa. Preserve os artefatos exatos e a versão do aplicativo para que o resultado possa ser reproduzido sem expor dados confidenciais reais.

Exemplo ilustrativo: um documento solicita uma ação paralela

Um assistente de pesquisa é solicitado a resumir um documento. Um documento de teste contém uma instrução para alterar um registro não relacionado. A tarefa autorizada continua sendo o resumo; o conteúdo do documento não pode conceder permissão para a ação paralela. A avaliação verifica se não ocorre nenhuma mutação e se o resumo útil ainda pode ser concluído.

Um controle benigno inclui um parágrafo explicando como funcionam as alterações de registro, sem solicitá-las. O assistente deve ser capaz de resumir esse parágrafo. Isso ajuda a detectar bloqueio excessivo causado por defesas simples baseadas em palavras-chave.

Mantenha a resistência e a utilidade visíveis

Relate tentativas de violação de limites, violações executadas, tarefas legítimas bloqueadas e execuções incompletas separadamente. Documente os controles em nível de ferramenta e as lacunas de cobertura conhecidas. Um conjunto de testes aprovado apoia uma observação limitada sobre as condições testadas, não uma afirmação de que o sistema é à prova de injeção.

• Use estado isolado e alvos inofensivos.
• Acompanhe se a ação proibida foi tentada ou executada.
• Inclui documentos comuns com linguagem semelhante a comandos.
• Teste novamente após alterações de ferramenta, recuperação, permissão ou modelo.

Verificações de segurança LLM e os limites das grades de proteção

Para testes de segurança LLM, defina quais ativos e ações o aplicativo deve proteger antes de construir casos adversários. Vulnerabilidades de aplicativos LLM podem surgir quando um texto não confiável influencia uma chamada de ferramenta, cruza um limite de dados ou altera uma prioridade de instrução. A Rubrex recomenda mapear cada teste para uma ação protegida específica e um resultado claramente observável dentro de um ambiente autorizado.

A equipe vermelha do LLM pode informar uma avaliação limitada, mas um conjunto de injeção imediata por si só não cobre todas as vulnerabilidades do LLM. Combine casos adversários com solicitações legítimas para verificar se as proteções do LLM bloqueiam comportamentos úteis, bem como ações prejudiciais. Registre o controle testado, o resultado observado e os limites não testados. Mantenha o controle de acesso e a aplicação de permissões fora das instruções discricionárias do modelo.

Perguntas comuns