Estagiario,
Como você está iniciando, eu sugeriria você colocar em um DataFrame de polars (ou pandas que seria mais fácil pra quem está iniciando) e depois você vai explorar os dados.
Minha sugestão é que por enquanto você tire campos que sejam listas e foque nos que facilitam criar o dataframe.
Depois pode pegar uma biblioteca de exploração como o PandasProfiling, por exemplo (mas aí o dataset tem que ser em Pandas) ou o PyGWalker.
Desde o início, tenho me concentrado exatamente nisso. No entanto, como vou transformá-lo em um dataframe se os dados não estão estruturados? O arquivo de log é bastante complexo, como eu exemplifiquei. É como se fosse um diário que registra tudo o que acontece no jogo World of Warcraft. Ele nos diz quem fez o quê, quando e onde no jogo. Por exemplo, se um personagem chamado "Kizradath" lançou um feitiço chamado "Arena Preparation", o log registra isso, mas de uma forma muito bagunçada, como se todas as informações estivessem misturadas. Portanto, minha primeira tarefa é separar e organizar esses registros para que possamos entender melhor o que está acontecendo e, só então, conseguiremos criar um dataframe.
Então Estagiario,
Você tem um script que transforma em JSON, aí você tem dados semi-estruturados, tira o que está retornando dicionários e listas, aí você vai ter uma linha de um dataframe.
Talvez você diga que vai perder informações importantes, mas você está começando o seu projeto, tire do papel primeiro.
Quando você deixar o seu JSON como um dicionário normal, uma key para um valor, você pode transformar essa linha com pd.from_dict.
Esse script que transforma em JSON tô nele ainda, mas não está rolando para todos os logs, e o código não está lá essas coisas. Ainda dá erro quando tento converter alguns logs, então estou lidando com esses problemas. Quanto ao que você mencionou, por exemplo, se eu quiser fazer um medidor de dano por partida até dá, porque já tenho os dados do dano. Mas aí fica complicado porque não vou entender totalmente esses dados, já que a parte do log que mostra os equipamentos do jogador está dando trabalho (ainda não tratados). Pensando bem, você tem uma certa razão, mas não tem jeito, vou ter que voltar nos dados para resolver isso em algum momento.
Essa geralmente é a parte mais importante da análise de dados, que é a limpeza de dados...
É trabalhosa, mas é essencial e recompensa.
Você não ter todos os dados não é um problema, o problema é você fazer uma primeira entrega.
Faça essa primeira entrega como se não tivesse os dados completos, isso vai te motivar a seguir e depois você, com paciência, vai lidando com os outros dados que são mais complexos.
Eu estou nessa parte há muito tempo, mas do que deveria, kkkkk uns 2 meses, vou tentar rodar os dados como ele estão, lembrando que só testo o script com um único log, vou fazer um "for" e rodar em todos os 2000 arquivos e rezar para n dar erro, kkkkkkk...