A maioria das lojas grandes no Brasil, Eua e Canadá usam Shopify acho que seria uma boa montar um crawler para shopify como o sistema de rotas deles é o mesmo, não é tão dificil de criar e reaproveitar boa parte do codigo, da pra voce pegar uma estrura que tem em todos os themas onde você descobre o thema e reaproveitaria o crawler pra lojas com mesmo tema.
Se tiver alguma duvida sobre Shopify comenta aqui que vejo se posso te ajudar. Trabalhei numa agencia grande aqui no Brasil com grandes lojas, to meio enferrujado, mas acho que posso ajudar

Na Shopify ainda tem a vantagem dos temas serem a maioria parecidos.
Ainda pode criar um crawler pra usar o google e pesquisar lojas shopify com o dominio myshopify.com (uma vez fiz um projeto para pegar emails das lojas e oferecer meus serviços como frela assim)

Muitas lojas no Brasil usam datalayer então você consegue crawlar facil uns JS com todos os produtos da loja (uma vez fiz isso no wallmart tinha mais de 20 mil produtos em json static)