Matrizes multidimensionais são usadas o tempo todo!
Não conheço a sintaxe do Java, mas a ideia de matriz multidimensional é o mesma para todas as linguagens.
Por exemplo, imagine que você queira criar um conjunto de usuários. Ficaria algo mais ou menos assim:
[
['nome' => 'John'], // Linha 1
['nome' => 'Doe'] // Linha 2
]
Quase sempre quando você consultar várias linhas em um banco de dados, por exemplo, você estará lidando com matrizes multidimensionais.
Espero ter ajudado!