Executando verificação de segurança...
2
ProgramandoJuntos
1 min de leitura ·

Pergunta para a galerinha (dev) que gosta de "brincar" com IA.

Comecei me aventurar no Hugging Face, dando meus primeiros passos, e entendi o porque a NVidia está nadando de braçadas: GPU AMD é praticamente inútil para IA nesse momento.

E adivinha? Minha GPU é AMD 🙄

A pergunta é: Qual CLOUD vocês tem usado para rodar os modelos pré treinados do Hugging Face?

Estou fazendo pesquisas e buscando a melhor alternativa custo/benefício.

Por favor, me deem suas sugestões.
Qualquer ajuda é bem vinda.

(Imagem chamativa com a representação gráfica da valorização da NVidia na bolsa de valores)

Carregando publicação patrocinada...
4
Oletros

Meus 2 cents:

vultr.com (na inscricao te dao US 250 de creditos - eh basicamente 1 ou 2 dias de maquina, mas ja da para brincar). Alem disso tem a opcao de prompts: US 10 doletas por 50M de tokens com RAG (eh o mais barato que encontrei ate agora)

massedcompute.com

1
ProgramandoJuntos
Autor
Autor

Muito obrigado pelas dicas, meu amigo.

Pelo visto não vai ser nada barato rodar uma IA. Estou a cada minuto entendendo mais do motivo do boom da NVidia kkk

No momento estou usando o Google Colabs. Para estudos é o suficiente. Fica aí o sugestão para quem chegar nesse tópico ^^

3
Pilati

Qual CLOUD vocês tem usado para rodar os modelos pré treinados do Hugging Face?

Se você quer rodar um modelo específico é mais barato investir em uma GPU mesmo.

Se quer rodar coisas PEQUENAS com IA o mais "barato" que encontrei foi a Cloudflare: https://ai.cloudflare.com/

1
ProgramandoJuntos
Autor
Autor

Valeu pela recomendação.
Estou dando uma lida no site e tentando entender melhor os serviços/preços.

Aparentemente eles já tem umas Models configurados e você pode pagar apenas para fazer inferência, né?

Pior que eu gastei 2k na minha GPU tem 1 ano mais ou menos. Não to podendo gastar assim dnv kkk

3
itlpps

Ontem mesmo brinquei bastante com Fooocus no colab do google, até esgotou a cota de GPU de uma conta kkkkk

Pesquisei (bem pouco) sobre algum cloud gpu, e são extremamente caros.. Não encontrei nenhum viável "só para brincar".

Também queria.

1
ProgramandoJuntos
Autor
Autor

Também usei bastante o Google Colab.
No momento atual dos meus estudos, tem sido a opção mais fácil e barata (grátis) pra poder fazer os testes que estou fazendo.

Só por curiosidade, o que você fez que acabou com a cota de GPU? Pois um dia desses gerei dezenas de imagens e alguns áudios e parecia que ainda tava longe de acabar com a cota.

Quantas imagens em média você gerou pra acabar com essa cota?

3
itlpps

Cara, achei esse site civitai e baixei várias LoRA, alguns checkpoints; ai fiquei gerando imagem igual maluco kkkk
Por baixo fiz umas 300 imagens, muitas com "full quality" que consomem muito mais GPU.

Ainda estou aprendendo pra que serve cada coisa, como usar LoRA, checkpoints, multiplas LoRA, criar minha própia LoRA, etc..

1
2
1
Regios

E pior, antigamente era pior a questão de AMD para IA, hoje em dia ainda tem ROCm. Dito isso, a cloudflare AI da pra brincar um pouco.

1
DevJonathan

Sofro do mesmo problema... Placa de vídeo (GPU) AMD. Ent poucos modelos são compatíveis, rodar o ollama somente na CPU fica inviável.
Existe o llama.cpp q compila o lamma em c++ e tem compatibilidade com GPUs AMD usando o Vulkan como "renderizador". Vc pode tentar isso. Existe tbm o GPT4ALL, talvez consiga algum resultado...

Outras opções seria usar APIs mais em conta, como deepSeek, maritaca ai (focado em ptbr).
Existe tbm o gemini api gratuita, porém tem limitações de uso, portanto para uso mais complexos vai estourar o limite...

Existe tbm a possibilidade de procurar modelos alternativos no huggingface q possuem melhor desempenho com GPU. É algo q estarei pesquisando em breve.

Vms ser sinceros, esses llms estão longe de serem democráticos, principalmente para treinamento e finetunnig. Sem falar a desvalorização do real em relação ao dolar, oq complica tudo