Importante apontar que essas bibliotecas sobre as quais você perguntou não são exatamente frameworks, são apenas bibliotecas. Nesse caso, são bibliotecas que facilitam o gerenciamento de rotas pra servidores HTTP.
Quanto a "não precisar mais dessas bibliotecas": tenta implementar seu próprio Express usando o módulo de http do próprio Node. Não é tão difícil e você vai aprender muito! Mas pra projetos em produção, eu aconselharia usar, sim, Express ou Hono.