É por aí, praticamente de graça.

Você paga por armazenamento e transferência.

Levando em consideração que um site estático possui, no máximo, alguns MB, provavelmente vá pagar o mínimo de armazenamento (Primeiros 50 TB/mês - 0,0405 USD por GB).

No caso das transferências, paga a cada 1000 solicitações / acessos, que pra mim aparece listado como 0,007 USD o pacote de 1000.

PS: foi considerada a região de São Paulo na AWS.

Tem uma outra questão. Se seu website carregar vários arquivos, como css's e js's por exemplo, pode ser que cada carregamento seja considerado como um acesso. Aí entra sua habilidade em utilizar o webpack e outras tecnologias que empacotam tudo de modo a economizar recursos. O Angular já empacota por debaixo dos panos, por exemplo.

E um conselho. Comece a utilizar e veja como está a cobrança. Somente quando "aperta no bolso" é que o sujeito começa a se preocupar de verdade e aprender melhor gestão de recursos. É um excelente caminho para o aprendizado e, nesse contexto, a um custo baixo, se não, insignificante :)