O título foi escrito assim para chamar mais atenção, e deu certo.

Sim, um tempo de carregamento mais rápido é um ponto muito importante para um site, mas vamos tentar olhar de outra perspectiva:

• Quase todos os web frameworks de hoje em dia já otimizam e reduzem o seu código no build (seu css, javascript).

E no final, o seu código é uma das menores coisas que o usuário que vai entrar no seu site vai receber. Os milissegundos de diferença entre o Astro ou NextJs nessa situação não vai ser nem perceptível.

Vamos focar em uma das coisas que mais pesam em um site: imagens.

Eu imagino que ambos o Astro e o NextJs tenham formas de otimizar as imagens, mas eles não tem nenhuma forma milagrosa de concertar tudo. Algumas coisas ou ideias de otimização vão ter que vir de você.

Exemplo:
O site tem uma homepage com 6 por 6 imagens que ocupa a tela inteira do navegador.
São 36 imagens que precisam ser carregadas para o usuário conseguir usar o seu site direito.

E se ao invés de incluir todas as imagens no começo, distribuir elas pelo site com scroll e somente carregar elas quando estiver na visão?

Trocar um simples .png por um .svg vai criar uma otimização muito melhor do que você trocar de nextjs para astro.

Na minha opinião você tem que usar e estudar qual você mais gosta e a que o mercado mais procura. Não é legal ter uma experiência de desenvolvimento ruim porque "essa framework é mais rápida que a outra".

No final, tudo vira javascript mesmo...