non - pq “non” tava fazendo nada!

Em um desses dias procurando alguma coisa para assistir no YouTube, acabei me deparando com o título certo desconforto.

O que aconteceria se por meses ou um ano eu projetasse o mesmo projeto?

Isso me vez pensar em tantos projetos que deixei pela metade ou mesmo exclui da minha máquina por não ter mais a mesma vontade de me dedicar.

Pensando nisso resolvi encarar um desafio que seria usar tudo o que já tinha feito anteriormente e colocar em PRODUÇÃO finalmente.

Abri o Notion e comecei a escrever todos os passos que deveria fazer, escolhi fazer um projeto de scrapy de dados que salva em uma database e depois usa em diversos Front's.

foi assim que a lista ficou:

• Scrap de dados

  • capturar os dados especificos
  • Tratamento de dados brutos

• Log

  • fazer uma amostragem com Polaris:
    • quantidade de itens capturados
    • quantidade de falhas
    • data e hora que ocorreu a captura

• Envio de dados para a DB

• Main, executa diferentes scripts

  • Executa o Scrap de dados
  • Executa o Log
  • Executa a Exclusão dos dados da DB
  • Executa o Envio

• Desktop gui analytics

  • Quantidade de Bancos de dados criados
  • Quantidade de Dados salvos
  • Quantidade de Usuários salvos e pagantes do mês
  • Quantidade de visitas na landing page

• Mobile gui analytics

  • Quantidade de Bancos de dados criados
  • Quantidade de Dados salvos
  • Quantidade de Usuários salvos e pagantes do mês
  • Quantidade de visitas na landing page

• Landing Page, grid para mostrar uma quantidade maxima de items

  • Nove cards
  • Filtrar pelos melhores dados capturados
  • Salvar os dados em cache até a DB ser atualizada com novos dados

• Landing Page, email capture

  • Capturar o email
  • Enviar para a DB

• Email request

  • Requisitar clientes
  • Enviar email para a lista de clientes

• Telegram

  • Telegram Bot
    • Retornar o resultado dos melhores dados
  • Telegram Channel
    • Excluir informações anteriores
    • Retornar o resultado dos dados da DB
    • Exibir propagandas

• Whatsapp

  • Whatsapp Bot
    • Retornar o resultado dos melhores dados
  • Whatsapp Channel
    • Excluir informações anteriores
    • Retornar o resultado dos dados da DB
    • Exibir propagandas

• Fake data

• Payment

• Analytics

Não sei se vou fazer um "build in public", mas toda a parte de scraping de dados já foi implementada e refeita para rodar em um script Main.py, estou pensando em colocar em um servidor Raspberry futuramente se esse projeto der algum lucro.

Muitas coisas escritas na lista são puramente para testar minhas capacidades e treinar coisas diferentes com a base que já tinha

Me diz o que você acha desse projeto e se tem alguma dica para me passar, pode me perguntar qualquer coisa.