Depende de que público você quer atingir, está desenvolvendo para quem?

Se quer ser acessível para qualqur usuário deve suportar até o Lynx.

Se está fazendo algo público para toda a população poder acessar, deve suportar qualquer navegador. Não é difícil fazer isso, e ficar difícil é porque provavelmente isso não deveria ser web. Os governos fazem isto? Não fazem, descumprindo a lei.

Em muitos casos as páginas deveriam funcionar sem problemas, ainda que a experiência não seja a melhor, até mesmo sem JS ligado. E tem uma porcentagem não desprezível de pessoas que navegam assim.

Se acha que não vale o esforço para manter tantas versões, faça um corte olhando estatísticas de utilização para ver quais navewgadores e versões tem mais uso por aí e vê que porcentagem de pessoas você aceita que não vão navwegar no seu site.

Também precisa observar que, ao contrário da crença popular, o que você faz que roda na versão atual, pode não funcionar na versão futura e seu site ficar total ou parcilamente inacessível. Os browsers se atualizam e nem sempre mantém compatibilidade com o que funcionava antes, especialmente quando o que funcionava era em cima de algo não documentado.

Existe uma coisa chamada Graceful Degradation e Progressive Enhancement?.

S2

Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente (não vendo nada, é retribuição na minha aposentadoria) (links aqui no perfil também).