Executando verificação de segurança...
1

JSON de >2 gb no elasticsearch??

Bom dia!

Alguém que ja trabalhou com o elastic search ja viu/usou essa abordagem? Problemas? Vantagens? Desempenho?

tenho usado o elk a pouco tempo, mas para coisas mas normais(logs, e controle de microsservicos) são json pequenos e funciona muuuuuuuuito bem.

O problema começa quando meu time de negócio vem com um regra onde é preciso avaliar valores nas chaves de um json, problema, o json pode chegar a tamanhos ilógicos (o maior que vi foi 3.2gb), as abordagem anterior(não fui eu) foi colocar isso no postgres mas isso nao ia dar certo mesmo, e agora estamos mudando a arquitetura e estão tentando manter essa busca, mas ela pode ser removida desde que seja inviável tecnicamente.

Sugeriram o elk mas nao sei se isso resolve(minha intuição diz que vai dar problema), sou do time "joga pro s3" e usa outra tecnologia pra tratar e avaliar os dados.

Diz ai a sua opinião/experiencia

Carregando publicação patrocinada...
5

Eu já uso o ELK para monitorar as aplicações e todos os seus demais funcionalidades.

Quanto a sua dúvida, e posso lhe dizer que sim, é possível armazenar tantos valores e chegar até indices de documentos maiores.

Vou dar o exemplo do meu contexto

Tenho indices de 15Gb ali e menores, alguns são de logs de aplicações outros são de indices de produtos e preços dado o contexto do negócio onde trabalho, precisamos ter um tempo de resposta relativamente baixo na busca e filtragem por termos.

O elastic é uma excelente alternativa para obter performance no quesito de filtros e busca de termos livres. Obviamente se bem criado o mapping do seu indice com os tipos corretos.

Se forma resumida respondendo sua dúvida:

Sim é possível usar o ELK para tal, S3 também, mas se precisar fazer buscas mais avançadas, não vai ter a mesma performance.

Sem cogite usar um DynamoDB, já fiz os testes de busca de termos livres, mesmo bem indexados não performa tão bem quanto no Elastic.

Espero ter ajudado!

1
1

Esse JSON desse tamanho, qual o conteúdo? Não seria possível quebrar ele em varios documentos? Por exemplo se dentro desse json você tiver algum array, você pode tentar criar um documento para cada item do array.

Além disso é importante limpar esse JSON tirando tudo o que não for necessário para a sua busca.

Também não ficou claro se você tem UM json desse tamanho ou varios.