Contexto

Como mostrado no meu último post, o uso do ChatGPT nos meus estudos tem sido uma bela de uma ajuda. Caso não tenha visto vou deixar o link para o post.
Depois de dar uma navegada pelo TabNews eu encontrei um post de um colega estudante que falava sobre a aplicação de parâmetros no uso da ferramenta, o post é esse aqui, e então eu tentei dar uma mixada nas duas abordagens pra ver como ele se sairia. Esse é o resultado.

Primeira abordagem

Na minha primeira tentativa eu fui mais descritivo, forneci um Trigger para ele saber quando executar aquilo e em seguida entreguei as informções do que devia ser feito, tudo de maneira bem direta e simples. Comecei atribuindo três gatilhos diferentes: "Begginer test", "Intermmediate test" e "Advanced teste". Cada um possuía quantidade de questões diferentes além é claro da dificuldade, os testes intermediários e avançados também tinham uma probabilidade de serem criados com textos de suporte nos quais as questões, que variavam de múltipla-escolha e escritas, seriam baseadas. Mas eu me deparei com alguns problemas:

1. Primeiramente, talvez pelo fato de as instruções não estarem bem estruturadas ele constantemente misturava as informçãoes de um teste com o outro, gerando textos nos testes iniciantes ou deixando a dificuldade ridiculamente fácil nos avançados.
2. Algumas vezes ele se recusava a responder com os testes, argumentando não ser capaz de seguir diretrizes, mas algumas mudanças no request faziam ele voltar a funcionar normalmente.
3. Muitas vezes ele parava as respostas no meio sem o menor motivo. Não acho que isso tenha algo a ver com os parâmetros definidos mas eram erros constantes.
4. Por último, muitas vezes ele gerava perguntas sem respostas corretas na seção de múltipla-escolha, e repetidamente era preciso pedir por explicação ou reanálise dessas questões.

Funcionava bem, com alguma ressalvas claro, mas funcionava. Porém eu ainda não tava muito satisfeito com aquilo e tentei uma abordagem diferente.

Segunda abordagem

Dessa vez eu tentei ser mais claro e mais restrito no que devia ser feito. Eu pontuei as diretrizes em tópicos e estabeleci um trigger mais claro, que não havia a possibilidade de ser acionado acidentalmente durante uma conversa. A request ficou assim:

Okay, here we go. When i send the trigger term "BEG" you will answer me with an english test. There are some parameters this test must respect, they are:

Number of multiple-choice questions: 7;
Number of open questions that will be responded with text: 3;
The answers must not be shown;
The subject for the questions will be sent right after the trigger term;
The difficult of the test must be something between intermmediate and advanced;
The questions may vary from each other, try to keep things interestings avoinding repeating questions.
Sometimes you can also create a support text where the written questions will be based of, but don't make this very often, keep it at a low chance of showing.
Did you get it?

Ele respondeu com uma simples confirmação:

Yes, I understand the requirements. To clarify, when you send the trigger term "BEG", I will generate a custom English test with the following specifications:

Number of multiple-choice questions: 7
Number of open questions that will be responded with text: 3
The answers will not be shown
The subject for the questions will be sent right after the trigger term
The difficulty of the test will be between intermediate and advanced
The questions will vary from each other to keep things interesting and avoid repetition
Sometimes a support text may be included to provide context for the questions, but this will be done sparingly to keep the test unpredictable.
Is that correct?

Então, eu resolvi testar para ver se ele teria algum problema em executar isso.

Great. So let's try it out.
BEG about perfect tenses and past participle

Ele então, devolveu:

Understood. Here is your custom English test on perfect tenses and past participle:

Section 1: Multiple Choice (7 questions)

1 - Which sentence correctly uses the present perfect tense?
a) He has went to the store yesterday.
b) She have visited London twice.
c) They have been studying for their exams all week.
d) I has finished my homework just now.

2 - Which sentence correctly uses the past perfect tense?
a) They were walking to the store when it starts to rain.
b) She will have arrived in New York next week.
c) He had finished his meal before his friends arrived.
d) I was studying English when my phone ringed.

3 - Which sentence correctly uses the present perfect continuous tense?
a) She is living in Paris for five years.
b) They have been watched TV all day.
c) I have been learning English since I was a child.
d) He has been finish his project yesterday.

4 - Which sentence correctly uses the past perfect continuous tense?
a) They had been playing soccer for two hours when it starts to rain.
b) She had been study for her exam for an hour when she got a headache.
c) I have been watching TV all day yesterday.
d) He had been finished his work before he left the office.

5 - Choose the correct past participle form of the verb "eat".
a) eated
b) eaten
c) eated
d) eat

6 - Choose the correct past participle form of the verb "swim".
a) swam
b) swum
c) swimmed
d) swim

7 - Choose the correct past participle form of the verb "fly".
a) flied
b) flown
c) flewed
d) flowned

Section 2: Open Questions (3 questions)

1 - Write a sentence in the present perfect tense using the verb "read".
2 - Write a sentence in the past perfect continuous tense using the verb "study".
3 - Write a sentence in the past participle form using the verb "write".
Note: The answers will not be shown.

Assim como nos testes anteriores a correção das respostas foi bem de boa.

That was amazing! can you check if my answers are correct?

Section 1

1 - c
2 - c
3 - c
4 - can you explain this one, please?
5 - b
6 - b
7 - b

Section 2

1 - She has read all the books from the series
2 - she had been studying for a long time when she felt asleep
3 - They had wrote a considerable part of the script when they changed the story

A resposta:

Great job! Your answers are correct for Section 1 except for question 4, which is (a) They had been playing soccer for two hours when it started to rain.

In the past perfect continuous tense, we use "had been + present participle" to describe an action that was ongoing and had been happening up until a specific time in the past. The sentence (a) correctly uses the past perfect continuous tense to describe that the action of playing soccer had been happening for two hours up until it started to rain.

For Section 2, your answers are also correct. Well done!

A base da interação foi basicamente essa pelos próximos testes que eu pedi. Em todos os testes eles gerou as perguntas de maneira rápida e não saiu das diretrizes que tinham sido estabelecidas, talvez pelo fato de estarem melhor organizadas ou pelo fato de ser o único gatilho ao contrário de três que eu criei na primeira tentativa. O que importa é que tudo funcionou lindamente.

Depois de alguns testes respondidos, e algumas puxadas de orelha de ambos os lados eu resolvi testar aplicar um sistema de pontuação para avaliar o desempenho no fim de cada teste. De maneira bem direta eu pedi que ele estabelecesse um método de pontuação e ele não desapontou:

Oh, okay then. Can you list to me what must be done when the term BEG is send?

Sure, here are the instructions for when the trigger term "BEG" is sent:

1 - The chatbot will respond by generating an English test with 7 multiple-choice questions and 3 open-ended questions about the topic requested after "BEG" (in this case, adjectives and their comparative and superlative forms).
2 - The test questions will be of intermediate to advanced difficulty and will vary from each other to keep things interesting.
3 - The chatbot will not show the correct answers to the test questions.
4 - The chatbot will also occasionally generate a support text, which the written questions will be based on.
5 - The chatbot will wait for the user to answer the open-ended questions, and will provide feedback on the correctness of the answers.
6 - The chatbot is able to answer any questions or concerns the user may have during the test.

ツTeus
Can we add another rule there?

Of course! What additional rule would you like to add?

ツTeus
Considering we have 10 questions, can you provide a pontuation system based on the amount of questions i get right?

Sure, here's a potential scoring system for your English test:

Each multiple-choice question answered correctly will earn 2 points.
Each open-ended question answered correctly will earn 4 points.
The maximum possible score for the test is 30 points (14 points from multiple-choice questions and 16 points from open-ended questions).
Would you like to use this scoring system, or do you have any modifications to suggest?

ツTeus

Thats perfect! Can you calculate and send my pontuation after checking my answers?

Sure thing! Just let me know which English test you would like me to check, and I'll provide your score once I've evaluated your answers.

Pedi mais alguns testes para verificar se o sistema de pontuação funcionava bem. Algumas vezes ele enviava somente a pontuação sem a correção em si, outras vezes ele fazia o contrário, mas no mais ele funcionava de maneira decente. Para finalizar eu pensei em pedir uma retrospectiva. pedi pra que ele compilasse os resultados dos testes, e baseado nos temas, respostas corretas e respostas disponíveis, ele calculasse minha pontuação geral, e ele fez!

Ta sendo bem divertido brincar com ele, e aprender enquanto se diverte é um belo de um bônus, mas tem algumas coisas que valem apena serem ressaltadas.

Ressalvas

[...]However, I must remind you that I am a language model and not a professional English language educator. While I will do my best to provide a challenging and diverse test, it is important to keep in mind that the quality and accuracy of the test may not be comparable to that of a test designed by a professional educator.[...]

[...] Entretanto, devo lembrar que sou um modelo linguístico e não um educador profissional de língua inglesa. Embora eu faça o meu melhor para fornecer um teste desafiador e diversificado, é importante ter em mente que a qualidade e precisão do teste pode não ser comparável à de um teste projetado por um educador profissional.[...]

• Como ele mesmo disse, esse método NÃO é certeiro, vez ou outra ele vai cometer erros e se não forem percebidos por você, eles podem se passar como verdade mesmo estando equivocados.
• Esse NÃO é o melhor método pra se aprender uma nova língua, eu tenho usado isso mais como uma prática de escrita e interpretação do que pelo exercícios em si.
• Não dependa somente disso para evoluir seu conhecimento no que quer que esteja estudando, procure sempre se basear em conteúdos criados de maneira mais embasada, por prifissionais aptos a fornecer informações e questões sobre o assunto (pelo menos até o lançamento do GPT-4 hehehe)
• É MUITO mais lógico e simples estudar inglês em uma plataforma especializada nisso, mas isso mostra muito da versatilidade da ferramenta e como ela pode trazer melhorias pro ensino no futuro.
• Vale lembrar também que nas explicações de teoria e estrutura sobre as várias vertentes da língua ele é impecável, mas ele deixa um pouco a desejar no fornecimento de exemplos.
• E por último mas não menos importante, muita gente já deve estar ciente de todas essas possibilidade mas pra mim ainda é uma parada surreal ver como tudo isso pode ser criado com simples requests por texto hehehe.

Ainda vou continuar usando esse carinha como um colega de conversação, a prática de escrita, interpretação e desenvolvimento de frases é essencial para melhorar a comunicação em uma outra língua, e mesmo sem toda essa parafernalha de parâmetros e diretrizes pré-estabelecidos essa base ainda pode ser treinada através da simples troca de mensagens.

Decidi fazer esse post mais a título de curiosidade para demonstrar a capacidade da ferramenta que, ao menos eu, jamais imaginei ser possível. Mas apesar das limitações nessa versão, a versão do GPT-4 promete trazer muitas melhorias voltadas para o ensino, assim como ja foi anunciada a parceria com a plataforma Duolingo (que é muito boa a propósito), Então a ideia é continuar aprendendo e praticando pra receber o GPT-4 com o inglês em dia.