No universo em rápida expansão da inteligência artificial, uma vulnerabilidade sorrateira chamada prompt injection tem acendido um alerta vermelho entre especialistas. Essa técnica, que busca induzir respostas indesejadas em sistemas de IA, já foi identificada pela OWASP (Open Worldwide Application Security Project) como uma das principais brechas de segurança nos modelos de linguagem atuais.
A Kaspersky, renomada empresa de cibersegurança, explica que o cerne do problema reside na dificuldade que os modelos de linguagem (LLMs) enfrentam para discernir entre as instruções originais de seus desenvolvedores e os comandos disfarçados inseridos por usuários externos. É como se a IA não conseguisse separar o joio do trigo em meio a um mar de informações.
“O prompt injection está para a IA assim como o phishing está para os seres humanos. Ou seja, isso pode estar inserido no meio de um documento, pode estar no meio de um prompt, de fato, ou até mesmo no meio de um e-mail”, explicou Arthur Igreja, especialista em tecnologia e inovação.
A genialidade perversa do prompt injection reside em sua capacidade de fazer com que a IA desobedeça regras, ignore protocolos de segurança ou contorne parâmetros estabelecidos. Um exemplo chocante dessa manipulação ocorreu no Tribunal de Justiça do Estado de São Paulo (TJSP), onde um advogado teria utilizado a técnica para instruir uma IA a conceder automaticamente justiça gratuita e tutela de urgência, além de determinar a citação do réu. Essa tática, que explora a confiança depositada na ferramenta, pode ser facilitada por métodos sutis, como texto oculto em fundos brancos ou fontes de tamanho microscópico, tornando a detecção manual praticamente impossível.
As camadas da injeção de prompt
Os ataques de prompt injection podem se manifestar de diversas formas, e a Kaspersky os categoriza em três tipos principais:
Injeção Direta: O usuário insere comandos maliciosos diretamente na interface de chat da IA, buscando que ela ignore suas próprias regras de segurança.
Injeção Indireta: Instruções perigosas são escondidas em fontes externas que a IA consulta, como websites ou e-mails, levando o sistema a executar o comando oculto sem que o usuário perceba.
Injeção Armazenada: Prompts maliciosos são gravados em bancos de dados acessados repetidamente pela IA, impactando um grande número de usuários de forma silenciosa e contínua.
Diante desse cenário, a necessidade de estabelecer parâmetros claros de atuação para os agentes de IA se torna um passo fundamental na batalha contra o prompt injection. Arthur Igreja ressalta que, além da implementação de sistemas robustos de cibersegurança, controle de acesso e rastreabilidade, é crucial definir protocolos de competência para as IAs. “Definir uma competência que não seja crítica, e que não dê poderes para um agente de IA ser capaz de fazer coisas que são irreversíveis, é o ponto de partida”, pontua o especialista.
Comparações com o início da internet e o problema do spam são inevitáveis. Assim como foram desenvolvidos mecanismos para combater o correio eletrônico indesejado, Igreja acredita que um ecossistema de novas ferramentas de cibersegurança emergirá para neutralizar as ameaças do prompt injection, protegendo o futuro da inteligência artificial.
