GPUs são apropriadas para operações matriciais de ponto flutuante; com grande capadidade de paralelização.
Rede Neural fazem uso extensivo disso.
O processamento gráfico também.

Enquanto que o CPU é mais adequado para processamento sequencial de inteiros.

Há uma outra tecnologia no estado da arte que é ainda mais apropriada para redes neurais; Mythic, Tenstorrent; há uma lista maior aqui: AI Chip.
São matrizes in memory processor analógicas.
Porém os custos ainda são impeditivos.

E ainda a próxima tecnologia que deve emergir usando Menristores.