Você já deve conhecer o canal desse cara, mas vou tentar indicar assim mesmo.
https://www.youtube.com/@javidx9
Ele não usa Java mas mostra todos os cálculos de geometria por trás da sua engine.
Esse outro tem uma rica playlist de matemática para games
https://www.youtube.com/@JorgeVinoRodriguez/playlists
Computação gráfica
https://www.youtube.com/@huerst/playlists
Código-fonte jogo antiquíssimo Berzerk
https://www.youtube.com/@mnetogames8384/playlists
Esse usa muito DirectX mas acho que já foge do seu escopo né, pois parece que você quer criar a coisa em um nível muito baixo
https://www.youtube.com/@ChiliTomatoNoodle/playlists
Seria interessante comprar o jogo desse Chinês e seguir ele nas redes sociais, GitHub, etc. Ele ama criar engine. Acho que essa é a sua segunda
https://store.steampowered.com/app/1386180/Bitty_Engine/