Essa não é uma desvantagem exclusiva da solução que desenvolvi, mas do Teste A/B mesmo.

Quando falamos em usuários logados, isso se resolve com uma chave forte, igual você comentou, como um id de usuário.

Mas quando falamos em usuários anônimos, que normalmente serão o público alvo do teste (pessoas que não sabem da existência do Curto, que clicaram no link curto).

Por não terem nenhum vínculo com a plataforma, fica difícil ter essa chave forte, talvez a melhor opção seja o IP, que pode ser alterado também com o uso de VPNs.

É uma feature muito podeorsa, mas tem esse tradeoff que pode, significativamente, alterar os resultados.

Obrigado pela sugestão, isso me deu uma ótima idéia haha!