Executando verificação de segurança...
3
welovetech
3 min de leitura ·

Contruir algo com a IA esta saindo caro.

Ontem começamos testar uma API que utiliza ferramentas de IA e geração de código disponiveis no mercado, ela permite conexão os principais fornecedores de IA e conectei com o Cloude e comprei $50 de créditos. Quero deixar claro que ainda são experiências que estou fazendo, e que o sistema esta gerando o código completo para diversas linguagens baseadas em js por enquanto, como Next, React, Remix, etc.

Essa API vai ser integrada a nossos projetos e a intenção principal é que nossos desenvolvedores tenham acesso a uma area integrada com nossos sistemas a qual conhecerá todo o funcionamento dos mesmos permitindo criar muito mais rapidamente codigos que poderiam ser trabalhos manuais, deixando esse tempo para se concentrarem no que importas, nas regras de negocio e na logica.

O funcionamento dela é regressivo, ela lembra do que criou antes e usa isso para tentar manter a fidelidade da criação e ajustes e melhorias no codigo fonte.

O que ocorre é que com poucas iterações no sistema, permitindo que ele crie e ajuste algumas telas, como um CRUD inicial, consumiram $10 do me crédito, e ainda não tenho nada funcional, apenas uma brincadeira. Eu usei ela por uns 20 minutos. O que causa esse consumo é justamente a quantidade de codigo que precisa devolver, justamente a parte mais cara. Cada vez que precisa de correção, ela analisa todo o codigo e muitas vezes repete tudo de novo. Isso estamos tentando minimizar, mas a IA ainda é cara para desenvolver codigos, pois a quantidade de saida é grande em cada iteração.

Esta claro que gerar código a partir dela, para todos os projetos que temos, para quase 30 devs atuaream, chegaria facilmente a mil ou mais dolares por dia (e poderia passar muito disso e não teriamos por enquanto o retorno em codigo funcional e eficiente). Creio que o caminho é hibridizar as coisas, ou seja, ela servirá para codigos mais trabalhosos e etapas iniciais dos projetos, permitindo que o desenvolvedor trabalhe junto.

Por enquanto a IA é cara, não é pra qualquer um e quem esta se aproveitando muito disso são as Bigs, com caixas milionários, o que não é o meu caso, pra elas sai muito barato. Se você se deixar levar pelos youtubers "programdores" você vai achar que nunca mais ninguém precisará de seu perfil, mas isso é uma enorme bobagem. Esses dias vi um suposto dev falando que era para todos os Juniors desistirem, pois não eram mais necessários e o cara fazia um sisteminha inteiro na ia que gerava uma lista de compras, ou seja, nada alem de um crud que minha filha de 2 anos já entende e faz..rs. Mas tenta passar disso sem saber programar para ver se sai algo.

Imagine se um dev que trabalha sozinho e que já cobra barato pelos seus projetos, vai conseguir utilizar $500, 1k ou 1.5k (dolares) em créditos para desenvolver um sistema completo, com varias iterações para tentar chegar a algo funcional, é provavel que não.

Outro problema ainda é que todas elas, chegam num ponto que começam a "perder a memória" e desfazer coisas que funcionavam antes para tentar ajustar ou criar novas, ou chegam a um ponto de preguiça onde cortam trechos dos codigos funcionais colocando comentarios.

Estamos focados em dar mais liberade aos devs aqui dentro, colocar poder da criação de codigo na mão da IA e nossos devs vão se concentrar na parte complexa, regras, supervisão e correção e vamos ver o que ocorre. Já temos esse piloto inicial funcionando, agora proximo passo é integrar a outras IAs.

Ah, e dentro de alguns dias, vamos disponibilizar nosso projeto no formato Open Source para que quem desejar, usar.

Carregando publicação patrocinada...
2
vlira

Eu acho o Claude melhor que o Gpt 4 pra gerar código, mas o preço da api deve ser tão alto quanto ou mais caro. O GPT 4 mini é o mais barato com folga, mas você teria que desenvolver seu sistema pensando nas limitações de contexto dele.

Acho que você teria que trabalhar com algo híbrido (automações + ai), como os colegas falaram, mas de toda forma tem um ponto que você precisa considerar e acho que ta falhando: o valor que o seu sistema entrega. Você pode estar assustado com o preço, mas imagina o custo da mesma tarefa executada por um dev humano.. será que não seria maior? Acho que é nessa linha que você tem que trabalhar

1
welovetech
Autor
Autor

Não, não estou assustado. Meu ponto de vista é mais no sentido de que desenvolver por IA exclusivamente é tão caro como um dev humano e dificilmente sairá o mesmo resultado, pois meu cliente quer o sistema com UX perfeita, o posicionamento dos elementos é crucial em um software de verdade e a IA apenas joga as coisas na tela. Gerar prompts para gerar códigos é uma coisa, mas pensar em executar manutenção ou criar features específicas somente com IA é completamente ineficiente.

1
valkhantech

Quando falamos de back-end a IA consegue ajudar muito, quando fala de UX nunca tive boas experiências, UX é sempre algo muito criativo e a gosto do cliente... complexo pra humanos e IA tirar uma ideia da cabeça do cliente e converter em algo que agrade a todo mundo.

1
vlira

Eu acho que quanto menos contexto pior. Eu uso o Claude pago e me tornei muito produtivo com ele, mas é sempre dando muitas referências. Como eu tenho um certo padrão que envolve mvp e um kit visual, ele retorna baseado no que eu entrego de referência pra ele. Existem algumas iniciativas de geração de sistemas via prompt, mas são para coisas pequenas. Eu imagino que existem inúmeros meios de fazer isso, mas quem conhece a variedade de modelos (inclusive os open source) toma vantagem.

1
valkhantech

Tem diferença de usar a interface dessas ferramentas e usar a API, eu já fiz o teste com a OpenAI, mesmo prompt, formato de resposta totalmente diferente.

Meu exemplo era, quero retornar somente o JSON dado uma análise.

No ChatGPT ele explicava e só depois colocava o JSON.

Via API ele retornava apenas o JSON, que é o que eu precisava.

Ou seja, a versão "chat" dessas ferramentas são mais prolíxas embora mais fácies de manipular, acredito que nosso amigo esteja usando via API uma vez que está integrado na solução dele e não como um auxiliador, pq se ele está dizendo que está ficando tão caro quanto um programador... é pq não é o custo fixo mensal baratinho que vc paga pra usar uma versão premium do chat, e sim o custo de tokens veiculados nas APIs.

2
vlira

Conheço bem a api e uso em diversos projetos. Já ouvi falar que eles retornam uma resposta "pior" quando você pede a saída em json (acho que também é questão de ajuste). Mas de toda forma, fique atento pois o melhor jeito de trabalhar com resposta json é usando o "strict" que tem lá no manual.. senão ele viaja na resposta e altera o padrão.

1
valkhantech

e um sempre determino o formato e nunca me ocorreu essa alucinação na estrutura do json, já mudou formato de resposta poucas vezes mas vou me atentar.

1
2
DivinSphere

Eu tenho utilizado bastante a IA Vertex do google, achei ela relativamente barata pra gerar os códigos que eu preciso, não gosto muito da ideia de utilizar plano mensal pra usar uma IA então essa mes serve bem gastando apenas o que eu utilizo

3
2
DivinSphere

Ainda não cheguei a testar o Claude então não sei dizer ao certo sobre uma comparação
só costumo utilizar esses que eu mencionei mesmo, também já testei o copilot mas não peguei muito gosto por ele

2
sarsdev

legal, como não conhecia nada além do uso do chatGPT free para ajudar a tirar dúvidas durante o desenvolvimento, achei muito interessante como as coisas estão evoluindo rapidamente.

Acredito que as ferramentas pagas ajudem muito mais, o que eu percebi tirando dúvidas na versão gratuita é que ela ajuda a ganhar tempo, mas você tem que saber o que está fazendo, ou vai acabar perdendo todo o tempo "que ganhou" tentando ajustar o que não funciona 😅

Seria interessante se em uma publicação futura você pudesse trazer informações do ganho real de tempo e essa relação de ganho por maturidade técnica do time.

Ótimo texto! vlw.

0
-3
1
1
1
guilhermeDaniel

Você ja prensou em manter uma estrutura utilizando o Ollama self-hosted? vejo muita gente indo por esse caminho, mas não faço ideia de como é o treinamento, só sei que dá pra baixar uns modelos e wue estão chegando na casa dos terabyte, mas são modelos genéricos e com informações que talvez nao sejam uteis para a programação.

1
valkhantech

vc já experimentou usar com a openai modelo 3.5-turbo?

é um dos mais baratos que conheço.

agora usar IA pra desenvolver sem ser de forma tradicional via chatgpt, copilot e outras muitas por aí onde vc usa como pergunta e resposta e vc decide o que usar do que foi gerado (não sei se entendi certo o que vc está criando), acho extremamente arriscado.

não é melhor investir em generators que façam tarefas repetitivas e com precisão ao invés de deixar numa ia que cada vez que executar vai devolver um código similar porém diferente?

eu criei um generator que cria um crud completo com interface e regra de negócio com 1 chamada, me economiza 4h de trabalho para 15m de customização pós execução e dentro da conformidade e padrão de escrita da minha empresa.

2
welovetech
Autor
Autor

eu criei um generator que cria um crud completo com interface e regra de negócio com 1 chamada, me economiza 4h de trabalho para 15m...

Sim, é o que estamos fazendo aqui, mas com um poder bem maior, pois ele consegue entender nossos projetos e gerar o CRUD e as telas iniciais seguindo o mesmo padrão que ja temos em cada um. Cada vez que vamos criar uma funcionaldiade nova, indicamos a ele o que desejamos e ele mesmo ja cria os campos já com toda base inicial.

A partir dai os programadores é que serão responsáveis pelo resto, a IA vai entrar para ajudar.

Mesmo que quisessemos, a IA não tem capacidade ainda de criar tudo, tirando essas brincadeiras ai simples, que vemos no youtube.

O que esta deixando claro é justamente essa parte onde ele precisa interagir muito com nossos codigos relevantes para criar o dele.

0
xafiyom362

A galera não curtiu e negativou mas por um bom tempo esse tipo de ferramenta é o mais víavel de se ter geração de código automatizado, ele mistura um algoritmo procedural de processamento de linguagem natural com dados que você mesmo manda parecendo IA, pra quem faz projetos repetitivos é uma mão na roda

1
welovetech
Autor
Autor

Exatamente, para criar telas novas com base em atuais é otimo. O que fizemos aqui não é novidade, somente estamos adequando ao nosso ambiente ferramentas que já existem aos montes por ai, inclusive, já usamos APIs prontas para isso. Não adianta, esse será o futuro do desenvolvimento, essas ferramentas permitem ganhar tempo.