Executando verificação de segurança...
5
regisnv
2 min de leitura ·

Com o avanço dos modelos de IA generativa, a engenharia de prompt tornou-se desnecessária?

Dado o contexto atual, tendemos a responder afirmativamente a pergunta apresentada no título. Temos modelos de centenas de bilhões de parâmetros ao nosso dispor, com capacidade de raciocínio e, até certo ponto, disponibilizados de maneira gratuita.

Porém, devemos entender a diferença entre o uso de uma IA generativa por um CPF, em relação ao uso desta mesma IA generativa por um CNPJ.

Como sabemos, o ambiente corporativo lida com tradeoffs, isto é, os gestores (constantemente) tentam encaixar a frase "... mas em compensação...". Por exemplo, o modelo llama de 1 bilhão de parâmetros não é tão assertivo quanto o modelo de 400 bilhões de parâmetros, mas em compensação, soluções que utilizam o modelo de 1 bi custam muito menos e podem, facilmente, ser implementadas de maneira local.

Aí entra a mágica da Engenharia de prompt. A engenharia de prompt leva em consideração a natureza probabilística do LLM. Se a sequência de tokens (input) que é produzida a partir do seu prompt for bem projetada, a probabilidade do seu modelo errar diminui.

A vantagem dessa abordagem é o baixo custo, uma vez que você não precisa fazer o fine-tuning do seu modelo, nem apresentar contexto adicional (como soluções RAG).

Uma maneira de melhorar o resultado de seus prompts é através de uma técnica chamada Chain-of-Thoughts (CoT). Nesta técnica, você estimula o raciocínio do modelo através de cadeias de pensamento. Veja aqui, a imagem ilustrando este processo, como podemos ver, a resposta correta (9 maçãs) só é obtida quando utilizamos a cadeia de pensamento.

Vemos assim que a engenharia de prompt continua sendo uma habilidade importante. E quanto mais competente o engenheiro de prompt, menor o custo de implementação e maior a eficácia de soluções que dependem de modelos de IA generativa.

Fontes consultadas

"6 Common LLM Customization Strategies Briefly Explained". Publicado no Towards Data Science.

"Chain-of-Thought Prompting Elicits Reasoning in Large Language Models". Publicado no Arxiv.
#CadeiaDePensamentos #EngenhariaDePrompt #LLM

Carregando publicação patrocinada...
2
maniero

Claro que sim, pode ser que precise até mais pela maior capacidade. A IA não vai adivinhar o que você quer, ela não vai inferir o que quer com precisão se escrever 3 palavras. Até demonstram isso, mas só funciona em casos muito especíicos, e meio que a pessoa já sabia o que seria entregue. Obviamente que vai mudar o jeito de fazer, para alguns casos poderá funcionar razoavelmente para entradas relativamente ruins. E IA continuará sendo não determi nística por um bom tempo, então ela vai continuar errando muito, o que pode ser minimizado por um prompt melhor. Porém, algumas coisas você pode fazer o melhor prompt do mundo e IA ainda entregará algo diferente do que realmente deseja, até mudarem cmpletamente esses modelos e tornar ela mais determinística, o que não é fácil sem pareceer algo robótico, e exigir um prompt ainda melhor.

S2

Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente (não vendo nada, é retribuição na minha aposentadoria) (links aqui no perfil também).

2
teknolista

Isso é bem interessante. Aos poucos, dia a dia, eu vejo minhas perguntas mudando, minha linguagem quando digito tá se adequando, mais detalhada, específica e objetiva.

A gente é bem prolixo no cotidiano, e nossa inteligência nos torna indulgentes quando alguém não se esforça muito pra ser objetivo.

Ou seja, vamos todos nos tornar vulcanos, pelo menos nós, devs. Fascinante!

2
1
regisnv
Autor
Autor

Acho que a definição de engenharia é: utilização de conhecimento técnico e científico na melhoria de estruturas, produtos, processos e serviços. Não vejo o porquê do termo engenharia estar sendo utilizado de forma banal neste contexto. Acho que se enquadra corretamente.

1
diversalizando

A grosso modo, temos o contexto textual "engenharia de prompt" e podemos ter agora o contexto "vetorial" que ela mesmo gera. Deveria ter alguma maneira de não precisar sempre mandar ambos para que ela possa continuar uma conversa por exemplo. Agora comparar um modelo 1b com 400b é sacanagem! kkkkk claro que o 400b vai ser melhor, o custo as vezes bem menor, se contar o tempo a precisão, etc.. Para algumas aplicação é obvio que llm menores são bem melhores.. vai de cada projeto..

1
regisnv
Autor
Autor

A maior parte das empresas são PMEs. Elas não têm condições de fazer milhares de requisições ao dia para um modelo de 400 bilhões de parâmetros.

É verdade que, de maneira geral, como você disse, a performance de um modelo de 1 bilhão (ou 8 bilhões) de parâmetros, é pior do que a performance do modelo de 400 bilhões. Mas, o custo para se utilizar um modelo de 400 bilhões é muito mais alto.

Assim, para PMEs, compensa investir em profissionais que possam utilizar engenharia de prompt, RAG e fine-tuning para personalizar modelos que possam, para tarefas específicas, ter uma performance similar a modelos maiores, a um custo muito menor.