Básicos e medianos, nada.
Modelos de 8B, que são os menores, podem rodar de forma apenas razoável em laptops "tipo gamer". Embora não alcancem o poder dos modelos gigantes, o Llama 3.1, que é o estado da arte por exemplo, é capaz de realizar tarefas impressionantes.
Respondendo a "Então, o maior problema é em relação ao hardwar..." dentro da publicação Saiba como usar Inteligência Artificial Offline, sem necessidade de internet
1