Cloudflare lança ferramenta para mitigar crawlers de IA não autorizados

O AI Labyrinth é projetado para dificultar a atividade de crawlers de IA que ignoram diretrizes como "não rastrear" e arquivos robots.txt. De acordo com a empresa, esses crawlers realizam mais de 50 bilhões de solicitações diárias à sua rede, representando quase 1% de todo o tráfego web registrado pela Cloudflare.

Em vez de simplesmente bloquear as requisições desses bots, o AI Labyrinth os redireciona para páginas geradas por IA que não contêm o conteúdo original dos sites protegidos. Essa abordagem tem como objetivo consumir tempo e recursos computacionais dos crawlers, reduzindo sua eficácia na coleta de dados. O conteúdo dessas páginas é baseado em fatos científicos e estruturado em código HTML, minimizando o risco de disseminação de desinformação.

A solução é integrada de forma discreta aos sites protegidos, sem modificar sua estrutura original. Além disso, as páginas geradas incluem metadados que impedem sua indexação por mecanismos de busca, preservando a reputação dos domínios.

Apenas bots suspeitos de scraping são direcionados para essas páginas, enquanto usuários legítimos e crawlers autorizados continuam acessando o conteúdo normalmente.

O AI Labyrinth está disponível para todos os usuários da Cloudflare e pode ser ativado diretamente no painel de gerenciamento de bots. Após a ativação, a ferramenta entra em operação imediatamente, sem necessidade de configuração adicional.