Consegui!

Invés de utilizar um repositório secreto, utilizei o vercel para pegar os dados privados. Você basicamente realiza um fork do github-readme-stats e hospeda no vercel, colocando a chave do token nas variáveis de ambiente. Depois, coloquei o link deste projeto que está no vercel e substitui pela url que estava o github-readme-stats oficial.

Segue aqui o vídeo do Rafael Alexandrino o passo a passo.

No vídeo não mostra colocando os parâmetros que coloquei na url, mas para mim só funcionou colocando eles. Caso não esteja dando certo, coloque as permissões na url do stat como eu fiz.