Tensores são comumente usados para denominar matrizes de dimensões mais altas Dizer que tensores não são matrizes é o mesmo que dizer que quadrados não são retângulos. Essa informação, portanto está equivocada.
Na verdade não. Tensores são uma generalização de escalares, vetores e matrizes. Isso nos leva para outro lado, matrizes são tensores de ordem menor. É como pensarmos em quadriláteros, eles podem ter dois lados paralelos e de mesmo tamanho, daí dizemos que são paralelogramos, daí temos mais uma divisão: quadrados, retângulos e paralelogramos. Um quadrado é um paralelogramo, mas um paralelogramo não é necessariamente um quadrado.
Com matrizes e tensores temos a mesma situação. Tensores são o conceito maior e matrizes são um caso particular, a forma de enxergar tensores como matrizes de maiores dimensões é apenas uma comodidade que a definição nós permite fazer. Se essa fosse a definição, se tensores fossem realmente matrizes em sua essência, logo tensores não poderiam ser uma generalização.
Um caso particular é um subconjunto contido em outro. Portanto, não deixa de também de estar contigo no conjunto maior. Impreciso. Tensores são matrizes, sim. Tensores não são a generalização. Matrizes são.
Você está se confundindo. Matrizes são tensores, não o contrario. Matrizes são o caso particular para tensores de 2 dimensões, pela própria definição de matriz entendemos que elas podem ter no máximo 2 dimensões. Para uma abordagem simples pode até funconar essa visão, mas a matemática não funciona assim
Você está completamente certo. E eu me equivoquei ao dizer que os termos "matriz" e "tensor" são intercambiáveis. Na verdade não são.