Primeiro, precisa avaliar o que está acontecendo. Pelo que está dizendo o volume de dados é pequeno demais para Python não estar aguentando. Mesmo que Python aguente menos que C, ainda aguenta uma quantidade monumental. Eu não iria por esse caminho de culpar Python. Certamente tem outra explicação, mas não temos como saber só com o que foi coloado.
Em geral as bibliotecas que as pessoas usam com Python são escritas e C ou C++, e Python só é usada para passar os dados e interagir, inclusive o grosso do que é importante do Tensorflow é feito em C++. Então não acho que faça sentido reclamar disso.
Inclusive TF está disponível para várias linguagens, seja oficialmente ou através de comunidade. São só bindings para o C++.
Pode ter algum bug aí, mas não parece ser culpa de Python. Pode ter alguma configuração errada. E tem uma chance bem razoável de ser no C++.
Melhor é algo subjetivo por natureza. Eu não acho que a maioria das pessoas deveria usar diretamente Cou C++ para acessar os algoritmos que deseja.
Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).