Executando verificação de segurança...
8
acgfbr
1 min de leitura ·

criei uma ferramenta pra monitorar preços do mundo todo

olá pessoal, estava trabalhando para um casino canadense e infelizmente rodei no ultimo layoff, enquanto procuro um novo emprego criei uma ferramenta pra monitorar preço de qualquer ecommerce.

Meu objetivo é monitorar QUALQUER ecommerce do mundo, no momento está funcionando para AMAZON (US,CA,BR) e alguns ecommerces brasileiros como magalu/mercado livre.

Pretendo adicionar varios sites, o problema é que para cada novo site eu preciso codar uma estrategia de crawling, entao vai demorar pelo menos 20 minutos cada novo site xd, gostaria de sugestoes de sites para adicionar, adoraria ouvir a opiniao de voces!

Já trabalhei com varejo e logistica no passado, amo o varejo, ah e registrei o dominio 19 anos atrás LOL, parece uma boa oportunidade para empreender enquanto nao arrumo uma nova ocupaçao (mercado tech ta muito ruim wtf), tambem sou apaixonado por crawlers

o mvp é https://ilovediscount.com/

tem a versao BR que é a https://euamodesconto.com.br/ mas ainda nao está funcionando

estou trabalhando no suporte de idiomas, vou começar com ingles/portugues, pretendo adicionar pelo menos 15 idiomas, mas para o mvp EN/BR está otimo.

o roadmap do projeto é grande, inclui uma comunidade de ofertas com compartilhamento e interaçao entre usuarios, fiz até um mvp em react native mas foi rejeitado nas lojas de app

obrigado pelo espaço e um feliz natal e um prospero ano novo!!! valeu!

Fonte: https://ilovediscount.com

Carregando publicação patrocinada...
3
lemuelroberto

Sensacional o produto! Muito bem feito. A apresentação super direta e fácil de utilizar o fluxo padrão. Bem rápido para responder com o resultado quando submete uma URL para monitorar, e direto para adicionar notificação por e-mail.

Parabéns!

1
1
0
1
1
1
nandumoura

A maioria das lojas grandes no Brasil, Eua e Canadá usam Shopify acho que seria uma boa montar um crawler para shopify como o sistema de rotas deles é o mesmo, não é tão dificil de criar e reaproveitar boa parte do codigo, da pra voce pegar uma estrura que tem em todos os themas onde você descobre o thema e reaproveitaria o crawler pra lojas com mesmo tema.
Se tiver alguma duvida sobre Shopify comenta aqui que vejo se posso te ajudar. Trabalhei numa agencia grande aqui no Brasil com grandes lojas, to meio enferrujado, mas acho que posso ajudar

Na Shopify ainda tem a vantagem dos temas serem a maioria parecidos.
Ainda pode criar um crawler pra usar o google e pesquisar lojas shopify com o dominio myshopify.com (uma vez fiz um projeto para pegar emails das lojas e oferecer meus serviços como frela assim)

Muitas lojas no Brasil usam datalayer então você consegue crawlar facil uns JS com todos os produtos da loja (uma vez fiz isso no wallmart tinha mais de 20 mil produtos em json static)

1
1
NicolasFG

Muito daora a ferramenta mano, estou iniciando na area, poderia me dar um caminho de como posso começar em um projeto de crawling? oque estudar, quais tecnologias\ferramentas usar?
agradeço desde já, parabens!

4
acgfbr
Autor
Autor

claro, sugiro voce dar uma lida sobre como funciona o processo de crawling, basicamente é um browser simulando açoes, inicialmente o crawler nasceu como uma automaçao para testes - Simular usuarios reais pra ver se tudo ocorre como o planejado, acontece que as pessoas viram a possibilidade de extrair dados e surgiu o webcrawling.

No passado existiam algumas libs como phantomJS mas a maioria acabou morrendo com o nascimento do google chrome, a google mantinha o pupeter, um dos frameworks mais famosos de web crawling usando o chrome como navegador por trás.

a microsoft viu o sucesso do pupeter e decidiu criar o playwright, ela contratou toda equipe do pupeter e está investindo pesado no playwright, a diferença entre o pupeter e o playwright é que o playwright roda no safari e firefox, entao é como se fosse uma versao mais parruda do pupeter.

sugiro voce começar com o playwright, é exatamente ele que uso neste projeto, pode começar com o basico tipo abrindo uma pagina e extraindo titulo das paginas, com o tempo voce vai pegando a malicia e escalabilidade, por exemplo se voce acessar o mesmo site 10 vezes por segundo provavelmente seu IP será banido, entao necessitará usar um proxy rotativo pra mudar seu IP a cada requisiçao, outra maneira legal é alterar o user agent, resoluçao da tela e simular um fingerprint de usuario real, vale tudo pra mostrar pro site que voce é realmente um usuario..

acho que com esse overview voce consegue começar na area de crawling, sucesso e boa sorte!

0
0