Infelizmente não há solução. Buscando bastante percebi que a clusterizacao feita pela vector tile cria um formato de quadrado pois clusteriza cada tile, então não consegue ser mais dinamica.
Em resposta a Clusterização da Mapbox ficando quadrada com tileset
0