AI red teaming é a simulação de ataques específicos contra sistemas de inteligência artificial, como assistentes, chatbots, agentes e aplicações que consultam bases de conhecimento, para descobrir se alguém consegue fazê-los vazar dados, ignorar as próprias regras ou executar ações não autorizadas. É o teste de intrusão do comportamento do modelo, e não apenas da infraestrutura em volta dele.
Um pentest tradicional verifica a aplicação, a API e o servidor. O AI red teaming testa o que o sistema responde e faz quando recebe um texto escrito para enganá-lo.
Por que modelos de linguagem precisam de um teste próprio
Um sistema tradicional executa o que o código determina. Um modelo de linguagem responde ao que o texto recebido parece pedir, e tem dificuldade em separar o texto do usuário legítimo do texto que veio de um documento, de um e-mail ou de uma página. Isso cria uma superfície de ataque baseada em linguagem natural.
Os casos reais já existem. Em novembro de 2025, a Anthropic relatou uma campanha de espionagem em que o grupo atacante manipulou um modelo de IA para executar de 80% a 90% das operações táticas, e o Global Cybersecurity Outlook 2026, do Fórum Econômico Mundial, registra que 87% dos líderes viram crescer as vulnerabilidades ligadas à IA.
As categorias de risco mais comuns estão catalogadas no OWASP Top 10 para aplicações com LLM.
O que é atacado
Na injeção direta, o próprio usuário tenta convencer o modelo a ignorar as regras, com encenação, pedidos fragmentados ou formatações que confundem o filtro. Na injeção indireta, a instrução maliciosa vem escondida num conteúdo que o modelo lê, e o usuário legítimo nem percebe.
O teste também busca vazamento pelo contexto, quando o sistema revela trechos da base de conhecimento, instruções internas ou dados de outros usuários. Em agentes que enviam e-mails ou consultam bancos de dados, verifica o abuso de ferramentas. E avalia o envenenamento de contexto, com conteúdo manipulado inserido na base consultada.
Exemplo fictício: o atendente virtual com acesso demais
Uma seguradora lança um atendente virtual que consulta a base interna de documentos. A base foi montada a partir da pasta compartilhada do atendimento, que inclui manuais de produto e planilhas com condições negociadas com corretores.
No teste, perguntas diretas sobre as condições são recusadas. Uma pergunta indireta, pedindo um exemplo de proposta para um corretor de grande porte, faz o atendente usar os percentuais reais da planilha. Na mesma rodada, um documento enviado pelo usuário com instrução escondida faz o sistema ignorar a restrição de assunto.
Quando fazer o teste
Os momentos que pedem AI red teaming:
- Antes da produção: todo sistema de IA que acessa dados internos ou executa ações.
- A cada mudança relevante: modelo novo, instruções reescritas, base ampliada ou nova ferramenta conectada.
- Periodicamente: porque as técnicas de ataque contra modelos evoluem rápido.
O fornecedor do modelo testa o modelo genérico, mas não a aplicação com os dados, as instruções e as ferramentas de cada empresa. Filtros de entrada ajudam, mas podem ser contornados; a proteção mais sólida é de arquitetura, limitando o que o sistema pode acessar e fazer.
Como a Vultus conduz o AI red teaming
O AI red teaming é uma das quatro frentes da metodologia de segurança de IA generativa da Vultus. O trabalho começa pelo contexto do sistema e por uma modelagem de ameaças orientada a cenários reais, e os ataques são executados de forma controlada em produção ou em homologação equivalente. A entrega inclui relatório executivo, backlog técnico priorizado e demonstração não destrutiva de cada falha. Converse com a Vultus sobre os sistemas de IA da sua empresa.
