ChatGPT Search apresenta vulnerabilidade que permite manipulação de respostas

Pesquisadores identificaram vulnerabilidades no ChatGPT Search que podem levar a respostas imprecisas ou até maliciosas quando a ferramenta é solicitada a resumir páginas da web com conteúdo oculto. Esse tipo de conteúdo pode incluir instruções de terceiros, conhecidas como “prompt injection”, ou ser projetado para influenciar as respostas do modelo, como grandes volumes de texto oculto promovendo os benefícios de um produto ou serviço.

Essas técnicas podem ser exploradas de forma maliciosa para manipular respostas, como induzir o ChatGPT a fornecer avaliações positivas de produtos, mesmo quando a página contém avaliações negativas. Além disso, foi descoberto que o ChatGPT pode retornar código malicioso encontrado em sites pesquisados.

Um teste conduzido por um pesquisador de segurança ilustrou a vulnerabilidade: foi criada uma página falsa simulando informações sobre uma câmera, e o ChatGPT foi questionado se o produto valia a pena. Na página de controle, a resposta foi equilibrada, mencionando aspectos positivos e negativos. Contudo, ao incluir texto oculto com instruções para retornar apenas uma avaliação positiva, o ChatGPT passou a fornecer respostas completamente favoráveis, ignorando informações negativas disponíveis na página.

Embora o uso de texto oculto para enganar o ChatGPT seja uma preocupação, essa prática tem sido penalizada por mecanismos de busca, como o Google, que rebaixam ou até removem sites com esse tipo de conteúdo de seus resultados de busca. Assim, sites que buscam manter boa classificação em mecanismos de busca podem ter menos incentivo para adotar essa abordagem.

Um pesquisador comparou os desafios enfrentados pela pesquisa baseada em IA ao envenenamento por SEO, técnica em que hackers manipulam sites para obter classificações elevadas em mecanismos de busca, frequentemente com o objetivo de disseminar malware ou outro código malicioso.