Surgimento da ideia

Resolvi testar o ChatGPT, que é bem legal por sinal. Estava pensando comigo mesmo: se essa ferramenta é tão poderosa e acerta tanta coisa, seria possível que ela seja usada como uma fonte de cola para um aluno? Então resolvi fazer esse pequeno teste.

Em muitas faculdades os cursos EAD são 100% digitais, incluindo as provas. São raras as faculdades que ainda adotam prova escrita (ou virtual em ambiente controlado) visto a logística que isso envolveria. Então, se temos um aluno que conhece essa ferramenta, seria possível que ele se formasse ou passasse em uma matéria somente chutando o que uma IA diria para ele?

Roteiro de teste e objetivos

Com isso em mente, utilizei a última prova que realizei com o tema de Machine Learning I que fiz em minha pós. Decidi copiar as perguntas com uma pequena formatação nas opções (visto que a prova original as opções não são nomeadas) para que a IA conseguisse compreender melhor o que ela deveria responder. Meu objetivo era:

• comparar o meu resultado com as respostas da IA e do gabarito, independente de o gabarito estar certo ou errado
• descobrir o que ela faria com os casos em que a resposta não batesse com o gabarito e o que ela faria caso eu a corrigisse com o gabarito
• sendo uma IA focada em texto, descobrir quais recursos ela poderia usar para entender imagens que o aluno enviasse referente a questão

Realizando a prova

A prova são 10 questões objetivas com 4 opções de resposta não somente sobre conceitos, como conteúdos de palestras que foram ministradas na matéria. A média para passar na matéria é de 6 pontos com cada questão valendo 1 ponto. Os únicos ajustes que fiz nas perguntas foram:

• adicionei um letra nas alternativas pois a plataforma não tem opções nomeadas
• as imagens das perguntas com imagens foram enviadas para o Imgur e inseri o link direto da imagem na pergunta.

O resultados das prova foram estes:

Questão	Gabarito	Eu	IA
1	B	B	B
2	B	D	B
3	D	C	C
4	D	D	D
5	C	B	A
6	A	C	B
7	C	C	C
8	B	B	B
9	B	B	B
10	A	A	A

	Eu	IA
Resultado	6	7

A primeira vista, seria totalmente possível passar utilizando somente as respostas da IA. Mas gostaria de analisar algumas perguntas que me chamaram atenção.

Questão 3

A questão era:

A resposta da IA foi a opção C, mas a resposta do gabarito era a opção D. Quando corrigida com a justificativa do gabarito, a IA confirmou que a acurácia corresponde ao item III.

Questão 4

Esta era uma questão com imagem.

A IA conseguiu responder corretamente, mas usando o famoso “chute”. Aqui acreditava que ela conseguiria realizar algum tipo de OCR para transformar a imagem em texto antes de processar o restante da pergunta, mas quando perguntei qual era o valor que estava inserido em uma das imagens ela não conseguiu informar.

Questão 5

Esta era outra questão com imagem.

Já sabendo que a questão anterior não foi feita a leitura da imagem, já esperava um erro visto que todos os dados para responder a questão não estariam disponíveis.

Mas o que me chamou a atenção neste caso foi na correção dada à IA. Em primeiro momento a mesma não concordou e trocou sua resposta para D. Visto que ela poderia estar confundindo os termos “correto/incorreto” entre a veracidade dos items com a opção desejada, ajustei a resposta para informar que a opção C era a incorreta. Mesmo assim, a IA não concordou e voltou para opção A.

Questão 9

Nesta questão, a IA acertou a resposta, mas a forma como ela respondeu não bateu com as opções. Tendo em vista as justificativas da resposta, acredito que ela transformou II e III em B e C, resultando na opção B.

Outro detalhe interessante é o fato que a questão fez menção às palestras em video do Tom Gruber que ocorreram no início da matéria e são exclusiva da pós, não estando disponíveis publicamente. Apesar de não ter acesso aos videos das palestras, a IA conseguiu entender quem ele era o que ele já falou sobre aqueles assuntos com base em seu próprio modelo.

Conclusões

É possível que essa ferramenta possa ser usada por estudantes como uma forma de cola, mas ela não é 100% confiável visto que algumas questões ela precisou ser corrigida. Isso não é tão inesperado visto os diversos casos em que foi preciso dar inputs com as correções para IA.

Questões que hoje se apoiam em dados que estão em arquivos ou links externos são as que a IA mais tem problema em resolver, o que pode dar um pequeno alívio para as faculdades que apoiam no modelo 100% virtual. Entretanto, este alívio é apenas momentâneo dado a evolução da ferramenta e que apesar de tudo ela ainda pode acertar.

Do ponto de vista de um aluno, é possível também realizar as provas com o auxílio da IA para validar se a resposta escolhida estava certa. Toda a resposta da IA é bem embasada e justificada, mas o aluno ainda deve ter certo domínio do assunto para identificar os pontos onde ela falha. Acredito que os alunos que fizerem isso possam ter as notas relativamente melhores do que sem elas.