Então, o maior problema é em relação ao hardware.
Hoje já está ficando comum ter computadores com 16GB de Ram, mas há ainda muitos computadores com 8GB. Em relação ao disco, já está praticamente todo mundo usando SSD, mas nenhum destes que falei acima são utilizados para IA, que no caso seria o CPU e GPU, mas no caso de IA é mais utilizado GPU.
O que é possível fazer com computadores básicos e medianos?
Teria exemplos?
Básicos e medianos, nada.
Modelos de 8B, que são os menores, podem rodar de forma apenas razoável em laptops "tipo gamer". Embora não alcancem o poder dos modelos gigantes, o Llama 3.1, que é o estado da arte por exemplo, é capaz de realizar tarefas impressionantes.
Torná-los apenas uma ponte para a internet e utilizar o processamento em núvem kkkkkk basicamente o que todos já fazem, a IA já está dando indícios de que está chegando em seu limite, não acho que a comunidade irá coseguir fazer esse milagre. Mas como sempre esses computadores estarão muito ultrapassados, então, minha opinião é de que nem valeria muito a pena resolver o probelma de rodar offline nesses computadores.