Opa!
Muito legal que você está interessado em entender esse funcionamento :)
Basicamente dentre todos os conceitos de constraints, indexes, locks que os SGBDs atuais implementam, alguns com diferentes estratégias, tudo é basicamente voltado para trabalhar com concorrência e consistência de todos os dados.
Vou deixar um link para um paper da Oracle que aborda um pouco esse tema: https://docs.oracle.com/en/database/oracle/oracle-database/21/cncpt/data-concurrency-and-consistency.html#GUID-E8CBA9C5-58E3-460F-A82A-850E0152E95C
Uma segunda recomendação é o livro Database Internals: A Deep Dive Into How Distributed Data Systems Work de Alex Petrov.
Bons estudos!