Os endereços IP são dinâmicos, portanto, creio que banir o IP causaria mais problemas que soluções. Talvez um pequeno programa p executar a captura do endereço MAC da origem. Assim, um usuário que pegasse o IP monitorado por usar IP dinâmico (a maioria dos IPs clientes são dinâmicos) não teria seu acesso negado. Já o atacante pode mudar seu endereço IP diversas vezes e com facilidade, entretanto, mascarar um MAC irá demandar mais recursos do atacante.
Qto ao tempo de bloqueio, me parece que o ideal seria adotar uma função exponencial.