Com certeza o foco deve ser nas pessoas prioritariamente.
Sempre comentei com meus superiores que queriam milagres dentro dos times:

Se implementarmos o Scrum mal implementado, ninguém irá gostar do Scrum

As mudanças e implementações devem ser feitas pouco a pouco, para que se aprenda sobre as pessoas que fazem parte daquele time e se entenda quais as melhores práticas para tais.

Já trabalhei em time que utilizamos Scrum com XP, outras que tinhamos as cerimônias do Scrum mas o board Kanban e outras com as mais diversas mixagens de metodologia.

É necessário entender as cerimônias e utilizar elas de uma maneira que seja produtiva e não massante. Trabalhando em outros cargos, para auxiliar os times na implementação do ágil, já vi Squads que a daily durava mais de 1 hora e não se respondia nada, acabava a daily e as pessoas saiam com a sensação de terem jogado fora 1 hora do dia.

O ágil veio para auxiliar o time a fazer o pessoal da gestão entender os prazos por eles dados, mas acabou caindo em um cenário que o pessoal da gestão usa o ágil para "julgar" o time, ou seja, vira uma confusão e nada melhora.

E diversos "Scrum Masters" que só tiraram a certificação mas não entenderam de fato a metodologia, não sabe nem fazer uma resolução de conflitos, não sabe o básico, manter o time unido no objetivo.

É igual para todas as coisas que existem e todas as que vão existir, por causa de alguns, todos serão julgados culpados. É o famoso 'pré conceito'.

Não só para o ágil, mas para tudo, desde não utilizar software pirata, respeitar as leis, escutar mais do que falar, entre outras coisas, precisamos ser sempre melhores para que em um futuro longínquo, tudo se torne melhor.