Na verdade não. Tensores são uma generalização de escalares, vetores e matrizes. Isso nos leva para outro lado, matrizes são tensores de ordem menor. É como pensarmos em quadriláteros, eles podem ter dois lados paralelos e de mesmo tamanho, daí dizemos que são paralelogramos, daí temos mais uma divisão: quadrados, retângulos e paralelogramos. Um quadrado é um paralelogramo, mas um paralelogramo não é necessariamente um quadrado.

Com matrizes e tensores temos a mesma situação. Tensores são o conceito maior e matrizes são um caso particular, a forma de enxergar tensores como matrizes de maiores dimensões é apenas uma comodidade que a definição nós permite fazer. Se essa fosse a definição, se tensores fossem realmente matrizes em sua essência, logo tensores não poderiam ser uma generalização.