Bot de scraping da ByteDance, dona do TikTok, pode ser o mais agressivo da internet, segundo especialistas

O Bytespider teria sido lançado em abril, e capaz de extrair dados a uma taxa várias vezes superior à de outras grandes empresas, como Google, Meta, Amazon, OpenAI e Anthropic, que também utilizam bots de scraping para treinar e melhorar seus modelos de linguagem.

Estima-se que o Bytespider opere a uma taxa de aproximadamente 25 vezes maior que o GPTbot da OpenAI, e até 3 mil vezes a taxa do ClaudeBot, da Anthropic. E assim como os bots da OpenAI e da Anthropic, o Bytespider desconsidera o arquivo robots.txt.

Fontes próximas à ByteDance afirmam que a empresa está trabalhando em um novo modelo de linguagem, com objetivo de expandir a função de busca do TikTok, o que poderia fortalecer ainda mais a atuação da plataforma no setor.