Executando verificação de segurança...
5
adomaitisc
2 min de leitura ·

E Agora? Como identificar textos escritos por AI?

Como identificar textos escritos por AI?

Introdução

Olá, me chamo Cauã Adomaitis, e ultimamenete me surpreendi muito com o ChatGPT da OpenAI. Utilizei o programa para diversas finalidades, e inclusive escrevi uma redação de 4 páginas sobre o movimento pós-modernista para a faculdade.

Usar esse programa me levou a pensar. Como que a gente garante que algo não é... Falso?

Bom. Com um pouco de pesquisa, econtrei GLTR, um projeto desenvolvido por estudantes do MIT que analisa a frequência de palavras e a composição gramatical das mesmas, e usando Inteligência Artifical, te mostra um gráfico com o conteúdo analisado, o que não é muito útil pra facilmente decidir se encontrou algo Falso ou Real. -- http://gltr.io/dist/index.html

Continuando as minhas pesquisas, me deparei com GPT-2 Output Detector, que mostrou a probabilidade da minha redação ser Falsa - 98% foi o resultado. -- https://openai-openai-detector.hf.space/

Embora esses programas foram desenvolvidos para detectar textos da GPT-2, eles ainda funcionam para diferenciar textos da GPT-3 da OpenAI.

Por que Diferenciar Real vs. Falso?

Recentemente me deparei com notícias do StackOverflow banindo comentário e respostas feitas usando ChatGPT. Também me deparei com Escolas banindo o uso da Inteligência Artificial, e até mesmo, alunos sendo expulsos por causa disso.

Decidi que precisava fazer algo. Sempre quis fazer um projeto que seja usado por gente e que seja interessante.

Pois bem. Aqui vai a minha solução para identificar textos escritos por Inteligência Artificial.

InspectGPT -- https://inspectgpt.com/

Acabei de terminá-la. Comecei fazem duas semanas.

Com certeza houveram varios problemas e acontecimentos inesperados que me frustraram ou me deixaram estressado. Mas estou muito feliz com o resultado.

É Realmente muito simples de usar. Adicione ao Chrome, e em qualquer página web, clique no ícone da extensão e voilà.

Em questão de segundos, a Extensão escaneia a página e te traz informaçoes importantes, tais como:

  • Número de parágrafos Falsos
  • Quantidade total de parágrafos
  • Parágrafo com a maior chance de ser Falso
  • Chance da Página ser Falsa

Conclusão

Me dediquei bastante para esse projeto e quero que a comunidade dev aproveite.

Tenho muitas atualizações já sendo desenvolvidas e espero que me motivem a continua-las.

Se por acaso encontrarem algum bug podem me enviar um email ou mensagem em qualquer lugar. Pode ser um comentário nesse post também.

Link para baixar a extensão. -- https://inspectgpt.com/

Link para Favoritar o repositório. -- https://github.com/adomaitisc/inspect-gpt

Siga o Twitter da InspectGPT para atualizações -- https://twitter.com/inspectGPT

Obrigado. 🇧🇷

Carregando publicação patrocinada...
1
1
1
Silva97

Já chegaram ao ponto de usar IA para produzir trabalho de faculdade. Professores vão ter que usar ferramentas assim a partir de agora kkk.

1
GabrielSozinho

A interface tanto do site quanto da própria extensão são bonitos demais! Agora, por algum motivo, quando eu clico no ícone da extensão ela fica carregando infinitamente e não aparece o resultado.

E vi que você usa o openai-detector do Hugging Face para identificar os textos, mas fazendo alguns testes lá, ele ainda é bastante impreciso também. Identificar texto gerado por IA através de outra IA ainda é um grande desafio, mas eu acredito que não levará muito tempo até criarem uma solução com uma grande precisão e disponibilizarem gratuitamente.

Parabéns pelo projeto, foi realmente uma ideia muito boa! Vou continuar tentando usar e qualquer coisa eu edito esse comentário. 🤝

1
Ghizzi

Eu ia comentar sobre isso, mas complementando, realmente a imprecisão pode ser muito grande quando seu prompt no chatgpt for bem preciso, percebi que quanto mais prompts de estilo de escrita e ciclos de reescrita você fazer, mais "humano" o texto se torna, inclusive acho que seria até legal postar um artigo prático demonstrando, só para exemplificar, um texto que estava em 80% de ter sido gerado pelo gpt se tornou um texto que tem 0,02% de ter sido gerado pelo gpt, mesmo texto, mesma estrutura. E até mesmo nos gráficos da ferramenta do MIT o texto acabou drásticamente próximo dos textos humanos.

Outro desafio é que tem uma extensão que "conecta" o gpt na web e você pode gerar resposta com base na refêrencia dos sites, como uma especie de sub treinamento, isso também confunde muito essas ferramentas de detecção de texto gerado por IA.

Pra finalizar, eu juro haha, existe uma IA que remonta a estrutura do seu texto, substituindo longas sentenças por sinonimos mais naturais e conversacionais, e ao passar seu texto por lá, os gráficos também mudam drásticamente se assemelhando aos textos humanos.

Por fim o projeto é uma excelente ideia, a interface é intuitiva e bonita, porém pode acabar não pescando aquele usuario mais profundo do gpt haha, mas aqueles copia e cola provavelmente vão ser pescados.ᓚᘏᗢ

1
adomaitisc
Autor
Autor

Então. Não tenho conhecimento profundo em como a tecnologia funciona.

Pretendo me aprofundar pra fazer um sistema próprio que identifique IA em textos. Acredito que demore pra essa funcionalidade sair, já que não sei nem por onde começar ainda. Mas meu objetivo é fazer isso usável e pratico.

Um ponto interessante é que a hugging face fica certeira com mais de 50 tokens, +- 50-60 palavras. E em grande parte dos sites, os paragrafos não são tão longos. Mas se der uma agrupada nos textos ele funciona. E a média disso é apresentada na ultima bolha de valores da extensão. A porcentagem média da página é a mais certeira.

1
anze

Excelente! Vou testar agora, com certeza essa ferramenta será muito útil nos meus estudos. Assim que possível vou deixar um feedback aqui mesmo neste comentário.

1