Mais tarde eu tento fuçar melhor. Mas vendo o Dockerfile, você poderia colocar instruções do apt numa linha só, usando && e . Colocar várias instruções do mesmo comando acaba criando layers (procure sobre) a mais na imagem.
Mas talvez a bronca seja versão I compatível do Chrome do apt-get e ChromeDriver. É normal repositórios do Debian terem versões um mais antigas digamos, assim, mesmo utilizando um repo externo.
O que eu quero dizer... Talvez a versão mais recente do ChromeDriver seja com compatível com a versão mais recente do Chrome, digamos que 10.22. Pra Windows, possivelmente já tenha a 10.22, mas pra Debian esteja na versão 10.21. É minor version, mas pode fazer diferença.
Talvez você especificando a versão que você quer do Apt-get seja mais fácil de resolver. Na verdade, o mais correto é sempre especificar versões de qualquer coisa que você for usar.
Por exemplo.
apt-get install google-chrome-$CHROMEVERSION
wget URL-do-ChromeDriver-$CHROMEVERSION