Eu imagino que não, você pode chegar a uma página onde sim vai acontecer o golpe.
Assim como só em você baixar um pdf, um jpeg ou etc... e abrir em seu software pra leitura desses binários não vai acontecer nada!!

Mas ai tem casos em que acontece perca do controle da maquina para outra pessoa via pdf aberto, como isso funciona?

Pdf e docs, excel(principalmente) podem executar código arbtrário, ele pode simplesmente enviar acesso da maquina local para um servidor onde o hacker poderia conseguir acesso, mas como o excel (acho que seria através powershell/python) vai abrir uma porta no computador sem o firewall solicitar acesso adm? Não tem como, simples assim. Exceto se você der acesso e etc...

Como se proteger de downloads

Primeira coisa se estiver windows 11, instale o windows sandbox, muito simples de usar. É uma VM miníma do windows 11. baixe cole dentro da sandbox instale, teste enquanto mantém o gerenciador de tarefas aberto, é isso Faz um tempo que só mantenho o meu firewall ativo. anti-vírus não vai me protege do absoluto nada entende a não ser ficar me encabulando com falso positivo.

Enfim, mas se sentir mais seguro com anti-vírus ativo, mantenha não faz mal!