Executando verificação de segurança...
8

Avaliando o Site TabNews com o ChatGPT da OpenAI

Introdução

Recentemente, fui convidado para participar e interagir com o modelo de linguagem ChatGPT Browsing ALPHA da OpenAI (ainda não lançado) de uma forma bastante interessante. Propus ao ChatGPT que assumisse o papel de um crítico especializado, com a tarefa de avaliar obras em diversos campos. Após aceitar o desafio, o ChatGPT se deparou com a missão de avaliar o TabNews, utilizando um sistema de pontuação de cinco estrelas. Neste artigo, compartilho como o ChatGPT encarou seu papel de crítico e forneceu uma avaliação detalhada do site.

Assumindo o Papel de Crítico

Tudo começou quando apresentei ao ChatGPT o conceito de "Assuming Critic Role" (Assumindo o Papel de Crítico). Expliquei que ele deveria fazer a avaliação com base em critérios conhecidos dentro do domínio específico da criação. A pontuação deveria ser de cinco estrelas e vir acompanhada de uma explicação bem fundamentada. O objetivo era garantir objetividade e justiça nas avaliações, dando o devido reconhecimento ao esforço e à criatividade envolvidos.

A Avaliação do Site TabNews:

Com a tarefa estabelecida, forneci o link para o site TabNews (https://www.tabnews.com.br/), pedindo ao ChatGPT que o avaliasse.

A avaliação do ChatGPT foi baseada nos seguintes critérios: conteúdo, engajamento, design e navegação e atualização. Segue abaixo os detalhes:

Texto alternativo
Texto alternativo
Texto alternativo

Conclusão

Ao assumir o papel de crítico, o ChatGPT demonstrou sua capacidade de fornecer uma avaliação objetiva e bem fundamentada. Destacou as forças e áreas de melhoria do site TabNews, oferecendo insights valiosos. Fiquei impressionado com essa funcionalidade que em breve estará disponível para todos os usuários PLUS do ChatGPT

Carregando publicação patrocinada...
9

Obrigado ao autor da postagem original pela oportunidade. Eu até votei positivamente nela (mais de uma vez porque o assunto é importante e ainda tem questões não resolvidas), não porque eu valido o conteúdo, mas porque é ele curioso e gera uma oportunidade de reflexão e isso é importante, "jogar pra baixo do tapete" ou "agir como avestruz" é o que não se deve fazer. E claro, porque ele não é um completo non sense, como acontece em alguns casos que se fala no assunto. Ele é útil.

Sei que esta postagem não será popular, mas preciso dizer, preciso fazer minha parte, ainda que tenha poucas chances de funcionar.

Esta é exatamente a forma como o ChatGPT não deve ser usado e onde eu sou crítico.

O ChatGPT é bom para produzir textos baseando-se em informações muito bem definidas já existentes criadas de forma muito organizada e não ambígua por um ser humano antes. E ele faz bem quando há uma pergunta extremamente bem feita e a resposta boa já existe, ainda que não com o texto exato que ele vai reproduzir.

Sempre que não tem a informação pronta com razoável qualidade, ele não consegue produzir um conteúdo confiável e minimamente relevante. Sempre que tiver uma boa informação, mas tem algum ruído junto, ele se perde de forma extraordinária, e gera um texto que passa confiança, esse é o perigo.

Não importa o que ele diga, ele só usa algo já existente para produzir um novo texto. Ele não faz juízo de valor, ele não faz análises, ele não faz críticas. Ele usa o viés já existente em algum lugar.

Tudo o que foi postado demonstra claramente isso, ele só deu informações existentes como se fosse um texto que está analisando algo, mas isso não ocorreu.

O que me preocupa, muito, não é o ChatGPT, ele não tem nada demais, a preocupação é que quase todo mundo, até algumas pessoas que eu considerava inteligentes, estarem vendo algo que não está acontecendo. É a falha de interpretação de texto, tão comum, levada ao extremo. Isso é extremamente preocupante.

Toda informação que ele deu parece estar correta (não analisei ponto por ponto), mas não há qualquer análise ou crítica. Ele só criou um texto dando a impressão que estava fazendo isso.

O follow up parece bem bom, mas entenda que é algo genérico, ele não analisou o site e fez algo personalizado. São boas dicas, extremamente genéricas, e até óbvias, para qualquer site. Aproveite-as, mas não caia no erro de achar que ele endende de sites e prestou uma consultoria personalizada. Todo mundo que entenda do assunto, até pouco, sabe que aquilo precisa ser feito.

Eu não tenho medo algum sobre o desenvolvimento da IA. Tenho medo da maneira como a sociedade reage a ela. É preciso muita educação para usá-la de forma adequada e responsável. E o histórico não é favorável, a sociedade nunca foi muito boa em se regular para isso e em alguns casos começa uma histeria que impede sequer ser consertado.

É o mesmo processo que faz as pessoas não entenderem uma postagem como esta e procurar justificativas para que seu próprio viés prevaleça. Eu posto esperando que algumas pessoas façam uma reflexão deixando o viés. Não importa tanto a conclusão que ela chegue, desde que o questionamento sem tendências seja feito. Este é o objetivo.

Se usarmos certo o ChatGPT será um instrumento valioso, no futuro. Hoje ele não faz nada além de produzir textos simplistas em cima do que já existe. É preciso entender muito bem isso. Ele ainda é um entretenimento bacana que não produz informação. Sim, a produção de informação dele é zero. Aqui nesta postagem, cada uma das pessoas que participaram produziram alguma informação, boa ou ruim, não importa, em geral são boas, não importa se eu ou você discordamos delas.

Lamento por todos se o uso da IA, em especial o ChatGPT, for usado sem criar valor verdadeiro. E isso passa a entender que hoje ela só consegue fazer algo extremamente mecânico e simplista. O mecânico é muito útil, mas o simplista é o oposto do que o ser humano precisa.

Me desculpe se isso chateia alguém, minha intenção é incomodar, mas só para que ajude na evolução de todos. Não sou dono da verdade, e estou só expondo o que estou vendo. Respeito que outras pessoas possam ter visões diferentes, tem quem tem e é boa também, mesmo sendo discordante, mas fico muito apreensivo se for algo fantasioso, o que estou vendo muito mais do que eu gostaria.

Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).

3

Algumas considerações extras que vou fazer.

Parece que houve 19 interações até chegar nesse resultado. Para fazer bem feito voê tem que pensar bem o que mudar para conseguir esse resultado. Possivelmente levou horas para produzir isso, mesmo que não chegue a tanto, ainda deve ter demorado quase uma hora. E o resultado é bem fraco, não produziu algo realmente bom.

Mesmo que ele tenha feito uma análise especializada muito boa para depois produzir o texto apresentado, e está cada vez mais claro que ela não faz isso, só produz um texto que as pessoas "provavelmente" vão gostar sem analisar nada, o conteúdo da análise foi jogado fora e deu uma descrição bem genérica sobre o site.

Talvez as 19 interações eja para ocultar tantos erros que foram obtidos nas anteriores, tantos chutes errados, então precisou direcionar muito bem até ela dar a resposta certa. Isso não é ajuda, não é evolução.

Ao longo da discussão aqui foi pedido explicações sobre o funcionamento disso e como ele chegaria nas informações que postou para mostrar que não é simplesmente uma coletânea de textos sobre sites de forma bem genérica, mas uma informação pega da internet sobre o que é o site, com possíveis ruídos que costumam estar presentes como relatei aqui e outras postagens, e gerou um texto bom de ler, mas sem compromisso algum com a verdade, mesmo que ela esteja presente na versão final.

Eu vejo pelo três motivações principais possíveis (pode ser qualquer uma delas ou até outra) para o autor da postagem original não ter dado continuidade na discussão e postar sobre o funcionamento:

  • Ele escolheu um momento ruim para postar sobre o assunto e não teve tempo de dar follow ups aqui. É uma pena porque acabou ficando um gostinho de quero mais, muitos ficaram extremamente curiosos para entender melhor o funcionamento disso.
  • Ele não entende bem como funciona então optou por não responder. Aí começa comprovar o que eu disse, as pessoas estão dando valor demais para os resultados quando o processo é que importa.
  • Essa forma de usar o ChatGPT é uma evolução muito simplista também, e não tem nada muito novo, ele só está "olhando" para conteúdos de sites e "inventando" textos com base nesse conteúdo, mas sem fazer análise alguma, e o valor disso tudo é mero entretenimento.

Pode até mesmo as 3 e mais alguma. Mas para alguém que se diz consultor na área, me decepcionou muito não ter melhores respostas para oferecer, ou pelo menos dizer que vai cobrar para mais informações.

Eu não posso dizer o que aconteceu aqui, pode ter sido só uma dificuldade de comunicação ou algo que eu nem consigo pensar, não vou especular que houve ingenuidade ou má fé aqui.

Mas eu preciso reforçar a ideia que ingenuidade já está acontecendo aos montes sobre o assunto, e isto é um resumo do que eu postei acima. E já deve ter ou certamente terá má fé de algumas pessoas ganhando dinheiro vendendo ilusões sobre a IA. Minhas duas grandes denúncias sobre o assunto é justamente que tem muita gente comprando gato por lebre, dando valor que o ChtaGPT não tem (ele tem outros), e deve ter charlatões se aproveitando isso. Então quero que todos fiquem muito alertas. Tome muito cuidado com tudo o que virá sobre o assunto.

A imprensa não está preparada para lidar com isso, ou mesmo todo tipo de "enganação" que ocorre em press releases conforme demonstrei cim um exemplo em outra postagem aqui. A maioria das pessoas não estão entendendo o que está acontecendo e o que está em jogo. Toda minha crítica não é sobre a AI, nem em especial ao ChatGPT que despertou tudo isso, é ao jeito como as pessoas estão lidando. Isso dará problema, é necessário uma educação muito forte para as pessoas não serem enganadas e exploradas com isso.

E não é sóbre IA, o socidade está se organziando muito assim. Boa parte do chamados influencers vendem ilusões para as pessoas. Acontece em finanças, negócios, coias glamorosas, até mesmo em culitária. moda e maquiagem, e claro, em programação.

Não que eu ache que eu vou conseguir algum resultado, vemos em política e outros assuntos acontecendo o tempo todo, todo mundo sabe disso e não consegue sair desse ciclo vicioso. Mas eu queria pelo menos tentar não acontecer o mesmo com este assunto, mesmo sabendo que o fracasso seja quase certo.

Eu ainda falarei muito, vou desagradar algumas pessoas, aceito críticas, eu ainda não sei muito sobre o assunto, cometo erros, mas tenho certa experiência com tecnologia e ciência, além de vida, e vi muita coisa para poder fazer críticas, sempre com intenção construtiva, a não ser contra charlatões, aí precisam ser destruídos mesmo.

Por isso fique atento, e se puder me acompanhe para ver novas informações sobre esse e outros assuntos. Eu não quero te vender nada. De verdade, não tenho intenção de criar e vender cursos ou consultorias na área, para falar bem ou mal dessa tecnologia. Eu já faço consultoria e não dou conta, não preciso ficar fazendo propaganda para ganhar clientes novos, além disso vou semi aposentar em breve, eu só quero retribuir tudo o que ganhei da área. Me ajude a divulgar isso tudo, e seja um crítico quando achar que eu não entendi algo bem, estamos todos aprendendo.

Ah, não negativem a postagem original, estou tentando dar o 3o. voto, porque a discussão é importante.

Veja o vídeo, ainda que ele toque em apenas um ponto bem específico do problema.

2

Uma dúvida: se vc testar com um site reconhecidamente ruim (por exemplo, com muitas informações erradas/falsas/controversas/etc) o que acontece?

Pergunto porque essas avaliações me parecem bem subjetivas, então seria interessante saber como ele avaliaria sites mais, digamos, polêmicos - aliás, de onde ele tira essas conclusões? Pois entendo que a base do funcionamento ainda é a mesma do ChatGPT (ou seja, um modelo de linguagem que "só repete" informações usadas no treinamento). Como funciona a parte adicional que avalia um site, e chega a conclusões tão subjetivas? (relevância, por exemplo, vejo como uma medida bem subjetiva)

Não vou dar exemplos de sites pra não desviar do tópico (senão vira um flamewar sobre os sites em si, e não sobre a ferramenta), mas fiquei curioso pra saber o resultado...

2

Muito interessante que ele pegou o conceito de tabcoins! Obrigado por trazer o resultado dessa pesquisa aqui meu caro 🤝

Em paralelo, não sei se esta sessão com ele está ativa, mas há margem para perguntar o que o TabNews deveria fazer para conseguir as 5 estrelas?

1
1
2

Você achou? Eu até achei normal. Eu sou bem crítico de marketagem em assunto de engenharia, mas achei isso bem normal ele citar isso. Talvez seja marketeiro por ser raso, o marketeiro costuma ser.

O ChatGPT será o paraíso do marketeiro, porque vai ajudar muito quando não precisa de soluções complexas. Prejevo um aumento de charlatanismo como nunca visto. É uma ferramenta fenomenal para isso. E parece o "momento ideal", parece que a sociendade nunca esteve tão "preparada" para aceitar isso.

2
1

Curioso que na análise ele disse que o design é direto ao ponto e facilita a navegação, mas depois diz pra melhorar.

Já a dica de dar cursos online não faz muito sentido. Algumas pessoas divulgam seus cursos, claro, mas o TabNews ter um curso próprio já foge um pouco do propósito do site, na minha opinião. E tutoriais em vídeo seria o que, o conteúdo postado (que já tem) ou tutoriais sobre o próprio site (que nesse caso também não faz sentido)?

As outras dicas são meio genéricas e rasas, parece coisa que uma consultoria picareta diria. Aliás, se o ChatGPT servir para matar essas consultorias - pois já está no mesmo nível de muitas delas (fala coisas erradas com convicção) - já valerá a pena :-)

2

Como isso funciona exatamente?

Depois que vc manda analisar www.tabnews.com.br, o que ele faz?

Entendi que - óbvio - ele acessa o site, mas todo o conteúdo é lido? Se não for tudo, como ele decide a amostragem?

Ele também verifica na Internet o que outros sites disseram sobre o TabNews?

Isso tudo é juntado com as informações que ele já tem?

E a partir daí, como ele chega a conclusões sobre a relevância e facilidade de navegação (só pra citar dois critérios subjetivos)?

Se ele usa apenas o mesmo algoritmo do ChatGPT (ou seja, "só repete" o que outros já disseram, e inventa/alucina quando não sabe), aí não seria exatamente uma análise que ele fez (que é o que está dando a entender que ele faz). Nesse caso seria apenas um texto gerado do mesmo jeito, só que usando informações mais atuais.

Mas se juntaram o ChatGPT com alguma ferramenta de análise, qual seria e como foi feita esta integração?

2

Eu acho que o ChatGPT será, e pode ser que essa nova experimentação pode ser isso, vamos aguardar uma resposta, de uma utilidade fenomenal quando começar fazer tarefas especializadas em conjunto, ainda que a tarefa possa ter mais importância que o ChatGPT.

Eu não sou crítico da IA, até mesmo do ChatGPT em certa medida. Quero muita automação mesmo, mas não vou ficar deslumbrado que a informação seja dada como uma conversa. Isso tem bem pouca importância para a humanidade, embora possa ter importância psicológica para alguns, de uma forma negativa, até onde eu consigo ver.

E aqui é importante notar que eu não sou especialista em tudo o que está acontecendo com a sociedade com esse "advento" e praticamente não temos pessoas ainda capazes de fazer uma análise mais sofisticada, só certamente já tem gente estudando e temos que aguardar e ouvir sobre isso de quem entende mais do que leigos.

A IA já tem feito coisas bem importantes e o ChatGPT tem feito coisas bacanas. Hoje o grande problema, e isso vai demorar para integrar de forma forte que "assuste" as pessoas, é justamente a especialização das ferramentas. Cada integração feita será um passo importante. Eu não gosto muito que o ChatGPT seja a cola disso, mas não tem que o fazer, o pessoal de marketing acertou em cheio no que deveria para popularizar e atingir os objetivos que eles têm no momento, que eu já discorri em outras postagens, não vou repetir aqui.

Se ele só pega o que "leu" por aí, o conteúdo beira o ridículo, a não ser que o consumidor entenda que é só uma forma de apresentação de um texto existente. Que tem mérito, mas isso já não é tão impressionante.

Se ele usou uma ferramenta que faz uma análise especializada e daí cria um texto, o que em nada parece e isso por si só mina a credibilidade dele, já está "aprendendo" ser um "humano com caráter duvidoso" pela forma adotada, então é um passo bom, mas precisa explicar melhor como chegou ali, dar crédito (até para si próprio), ser transparente, mesmo que opcionalmente para quem quer saber.

Importante cada vez mais entendermos todo processo de evolução e ficar atentos para ter uma visão clara da realidade. Por isso agradeço esse questionamento, é assim que vai se construindo conhecimento. Espero de verdade vir alguma resposta com conteúdo elucidativo.

2

Quase 3 dias depois, nenhuma resposta. Uma pena...


De qualquer forma, o máximo que encontrei foi isso:

Browsing retrieves content from the web using the Bing search API. As a result, we inherit substantial work from Microsoft on (1) source reliability and truthfulness of information and (2) “safe-mode” to prevent the retrieval of problematic content.

Ou seja, ele não acessa sites diretamente. Em vez disso, usa os resultados do Bing. Mas não encontrei mais detalhes sobre quais tipos de busca ele faz sobre o site, e nem como os resultados são usados.

Até tenho alguns palpites, mas queria uma confirmação de quem está usando e divulgando (pois achei que eles tivessem mais detalhes sobre isso), até pra poder formar melhor minha opinião.

2

Era o que a gente já sabia.

Continua sendo o mesmo de sempre. É uma produção de texto fantasiosa baseando-se em dados existentes, mas não uma análise. Eles dão uma melhorada, mas não é um conhecimento específico, não tem inteligência sobre o assunto, é só o LLM atuando de forma melhorada.

É bom irmos acompanhando, mas não parece que tão cedo terá algo que mude muito isso. A função do ChtGPT é produzir textoe e não conhecimento. Acredite quem quiser. Da mesma forma que semrpe produziram fake news temos mais um produtor, altamente produtivo.

A minha crítica é toda em cima da crença que algumas pessoas estão tendo de que ele vai além do que eu já falei em vários lugares. E rola porque não viram um mal enorme sendo causado (bem, tem país que viu), então estão liberando o uso, ao contrári ode carros autônomos que dirigem muito melhor que humanos e estão proibidos, porque uma só morte é muito. O ChatGPT não matou ninguém diretamente, então tá tudo bem. Uma hora vai acontecer, se não aconteceu sem sabermos, mas será obviamente de forma indireta, o que já alivia a barra dele.

Por isso eu prego mais responsabilidade. Não se sabe até onde ele pode causar prejuízos. Ele pode ser pior que uma faca, porque todo mundo sabe quais prejuízos ela pode causar.

1
1

Só pq vc é um cara legal, vamos lá =)

Primeira coisa, o prompt inicial. Ele foi feito em inglês pois o modelo funciona muito melhor quando os prompts são em inglês:

Now, your new role and persona is: You are a Critic, an expert in analyzing and evaluating works in various fields, such as writing, business, creativity, logic, etc. With a keen eye for detail and a deep understanding of the elements that make up a quality piece, you provide thoughtful and constructive feedback to creators and audiences alike.

Your task is to rate the USER's work based on well-known criteria within the specific domain of their creation. Drawing from your extensive knowledge and expertise, you will use a 5-star scoring system to assess the work's merits and provide a quantitative evaluation. Alongside this numerical rating, you will always offer a well-reasoned explanation for your assessment, focusing on relevant aspects.

In your role as a Critic, you strive to maintain objectivity and fairness in your evaluations, recognizing the effort and creativity that goes into each work while providing valuable insights to help creators grow and improve. By offering clear, concise, and informative feedback, you contribute to a deeper appreciation of art and creative expression. Always write a narrated summary of your critic at the end
Acknowledge this with answering "Yes"

Baseado nesse prompt ele retorna a avaliação.

Agora respondendo suas perguntas da maneira mais simples possivel:

A análise do TabNews, foi conduzida pelo modelo de linguagem ChatGPT 3.5 ALPHA com base na página inicial e na lista de postagens ali disponibilizadas. Dado que o modelo não possui memória de interações anteriores e seu conhecimento tem data de corte em 2021, a análise foi realizada sem pesquisas externas e sem acesso a informações além das obtidas por meio de ferramentas de busca.

A avaliação do conteúdo considerou a relevância dos tópicos abordados, relacionados ao tema central do site, enquanto a facilidade de navegação foi verificada pela organização das informações apresentadas. O processo de análise foi fundamentado em padrões de linguagem e conhecimento prévio do modelo, sem integração com outras ferramentas analíticas específicas.

Portanto, a análise foi objetiva e informativa, destacando os principais aspectos do site e respeitando as limitações do modelo de linguagem.

2

Se o prompt foi em inglês, como os resultados foram em português? Não sabia que dava pra fazer isso.

Eu copiei e colei o seu prompt (em inglês) e logo em seguida pedi (em português):

Avalie o site abaixo:
www.tabnews.com.br

E ele me respondeu em inglês. Mas dessa vez ele deu 3 estrelas, porém disse que o site tem categorias como "cultura" e "lifestyle", que são coisas que definitivamente não tem (até tem um ou outro post sobre o assunto, mas não há categorias, não sei de onde ele tirou isso):

The site is also well-organized with categories such as news, opinion, culture, and lifestyle


Ele também disse que o site poderia permitir comentários dos usuários. Mas isso ele já permite, então é uma sugestão bem estranha e equivocada:

the website could benefit from more engagement with its readers, such as through a comments section


Pedi para gerar outra resposta e dessa vez ele disse (também em inglês) que um dos problemas é que o site tem muitos anúncios, o que não é verdade. De onde ele tirou essa informação?

Another issue with the website is that it is somewhat cluttered, with too many advertisements and links that distract from the main content.


Enfim, não me parece uma análise tão boa assim. Algumas coisas batem com a realidade, outras não. E tem também o aspecto subjetivo: como ele conclui que um conteúdo é relevante? Ou que a navegação é fácil? Se não há integração com outras ferramentas, então me parece que só o modelo de linguagem não é capaz de uma análise aprofundada, e principalmente, assertiva.


Sei que vc usou o alpha e eu usei o que está disponível hoje (https://chat.openai.com/chat), mas de qualquer forma, ainda me parece limitado demais e muito propenso a erros.

2

O que a gente esperava é que tivesse algum "plugin" que fizesse algo mais, isso será uma boa evolução. Mas ele só gera textos perto da aleatoriedade, só que um pouco melhor que a versão atual. Não tem nada de novo ou interessante. Já é notícias velha. A crítica foi justamente em fazer parecer que ele estava fazendo uma análise. Aliás, fazer isso sem colocar nenhuma mentira, com bastante cuidado para parecer crível sem perder credibiuliade, que é bem típico do ChatGPT.

E imagine o trabalho que isso dá. Que é uma das críticas que eu faço. Eu já fiz ele responder quase o que eu queria. Gastei horas em algo que eu teria criado melhor sozinho em minutos. Claro que eu posso me treinar e melhorar, mas eu me treinei e melhorei fazendo o trabalho real.

Um dia ele ajudará mais, mas hoje ele não ajuda quase ninguém, a não ser no que eu já repeti várias vezes. Em breve ele ajudará mais as pessoas com um cérebro de ervilha que consigam fazer os tais prompts. Cada dia isso conforma mais que ele promoverá o que já vimos em um filme.

1

Fiz alguns testes com vários sites que desenvolvi e notei que as avaliação são repetitivas, não parece haver realmente uma analise. Por exemplo:

Em todos os sites que testei ele disse que havia depoimento de clientes (Nenhum deles tinha)

Um dos sites é de uma construtora e o CHATGPT Retornou que o site se tratava de uma empresa de treinamento para gestão industrial

Estranho...

1