Eu conheço e prefiro usar a retribuição da variável, as vezes até salvando mais variáveis!
Sei que não é uma boa prática de memória, mas como não trabalhei com grandes bases e foi com objetivo didático, dessa forma é mais compreensível o que ocorre em cada passo
O que você disse sobre memória é real!
Aqui na empresa eu já lidei com um projeto em que um dataframe ocupava mais ou menos 8GB, então eu não podia manter outras variações dele em outras variáveis porque atingia o limite de RAM.
Nesse caso, Wilian, não seria melhor usar outro manipulador? Não lembro os nomes de imediato, mas sei que tem outras opções mais eficientes com Df's maiores!
Acredito que sim. Acabei testando alguns, mas pra migrar o projeto pra outra biblioteca, mesmo que seja muito parecida com o pandas, demandaria muito tempo, tanto pra mim quanto pro pessoal aqui do trabalho que tem um conhecimento básico.
Então com alguns ajustes consegui salvar bastante memória em momentos de stress do processo e ficou por aí. Mas não vou descartar a possibilidade de usar outras libs no futuro caso apareça algum projeto ainda maior.
E ah, eu lembro de ter testado o Dask!
Você poderia também buscar maneiras de compactar, acredito, como diminuir float64 para 32, mudar floats inteiros para uint..
Nunca pensei nisso! Nem sabia que fosse possível.
só é necessário se atentar aos limites reais das colunas, de acordo com a quantidade de bits...
Por exemplo, não faz sentido usar float para idade, pode usar uint8 que tem 8 bits de limite, que é mais que suficiente!
O método é df.col=df.col.astype("uint8")
Pode-se usar loc tbm, ou como preferir
DeividBraian, na verdade não é uma má prática criar/reatribuiar variáveis, pelo contrário, é a forma padrão que a interface do pandas sugere.
Isso acontece porque o pandas preza pela imutabilidade dos dados, isto é, ao realizar uma operação sobre um dataframe, por padrão o pandas cria um novo dado, ao invés de alterar o dado antigo. Isso é considerado uma boa prática pois evite alguns erros comuns.
Muitas linguagens funcionais utilizam este padrão, Haskell e Rust são exemplos.
Acho que vale a pena utilizar esse modelo Pipeline(O pandas tem uma função pipeline também, não é? 🤔)
quando o projeto já está finalizado e não será necessário modificar. Mas na realidade nunca se sabe quando será necessário modificar, né? 🤷♂️
É bem difícil dizer o que o pandas sugere, como o @DeividBraian disse, o pandas também trabalha com pipelines.
Então o que eu consigo enxergar são 3 padrões até agora. O jeito pythonico, chained methods e pipes.
E eu acredito que devemos usá-los dependendo da situação.
É bem difícil dizer o que o pandas sugere
Eu quis dizer que o pandas sugere o uso de imutabilidade, por que digo isso? porque as três formas que você citou "o jeito pythonico, chained methods e pipes" não alteram dados, eles criam dados novos. Para alterar, você precisa explicitamente indicar ao pandas que você quer fazer isso atrávez do parâmetro inplace.
Ou seja, por padrão o pandas usa imutabilidade, pra mim, isso é uma clara sugestão. Entende?