E se você estiver realmente preocupado com desempenho, poderia ajustar esse tamanho para preencher a cache L1 do seu processador.

Com o Java também dá para fazer isso. Tenho um exemplo usando o Java heap e outro usando memória nativa via sun.misc.Unsafe.

Não é super complexo quanto parece. Tudo que vc tem que fazer é espaçar as coisas para isolá-las dentro de um cache line do CPU, de forma que outras coisas não te expulsem do cache sem que vc precisasse ter saído do cache. Para isso vc pode usar padding.

Acho que o disruptor foi o primeiro que fez isso com Java, mas posso estar errado.