Ciência de Dados - Otimizando Dataframes do Pandas

Quer saber mais sobre o nosso Curso Completo de Ciência de Dados? Clique no link abaixo para garantir sua vaga na próxima turma: https://blp.hashtagtreinamentos.com/ciencia-dados/esperacienciadadosimpressionador?origemurl=hashtag_yt_org_listaesperacd_0IoOuHeYERg PARA BAIXAR O MINICURSO GRATUITO DE ANÁLISE DE DADOS: https://pages.hashtagtreinamentos.com/inscricao-minicurso-analisededados-python?origemurl=hashtag_yt_org_minipython_0IoOuHeYERg ----------------------------------------------------------------------- ► Arquivos Utilizados no Vídeo: https://pages.hashtagtreinamentos.com/arquivo-cienciadados-1zmqDqRZZNY6Vj1lQ5y25SpCvrPiNJqGM?origemurl=hashtag_yt_org_planilhacd_0IoOuHeYERg ----------------------------------------------------------------------- Caso prefira o vídeo em formato de texto: https://www.hashtagtreinamentos.com/otimizar-dataframes-ciencia-de-dados ----------------------------------------------------------------------- Playlist Pandas Python: https://www.youtube.com/watch?v=4fSCEcMYyLc&list=PLpdAy0tYrnKwBTr4Ouo3LBeT6ZXgOgi7h ----------------------------------------------------------------------- PARA CONTRATAR A HASHTAG PARA SUA EMPRESA: https://www.hashtagtreinamentos.com/treinamentos-corporativos?fonte=yt ----------------------------------------------------------------------- Fala Impressionadores! Hoje nós vamos falar sobre otimização de dataframes no pandas. Esse é um assunto muito importante, pois com as técnicas que eu vou te mostrar nessa aula, você será capaz de diminuir o uso de memória do seu dataframe e a velocidade de processamento dos procedimentos que fizer. Isso é crucial, principalmente quando falamos de bases de dados muito grandes, e você ter uma redução de 50%, por exemplo, já faz uma diferença absurda! EU vou te mostrar como fazer operações mais rápidas com dataframes fazendo algumas otimizações, alterando o tipo de dados e até fazendo a mudança do tipo dos números no pandas. Podemos fazer a mudança de um int64 para um int8, por exemplo, que ocupa muito menos espaço na memória e que no nosso exemplo não vai alterar em nada os nossos dados. Isso quer dizer que conseguimos diminuir o tamanho que o dataframe ocupa na memória e aumentar a velocidade de processamento sem nenhuma alteração nos dados! ----------------------------------------------------------------------- Hashtag Programação ► Inscreva-se em nosso canal: http://bit.ly/3c0LJQi ► Ative as notificações (clica no sininho)! ► Curta o nosso vídeo! ----------------------------------------------------------------------- Redes Sociais ► Blog: https://bit.ly/2MRUZs0 ► YouTube: http://bit.ly/3c0LJQi ► Instagram: https://bit.ly/3o6dw42 ► Facebook: http://bit.ly/3qGtaF2 Aqui nos vídeos do canal da Hashtag Programação ensinamos diversas dicas de Ciência de Dados para que você consiga se desenvolver e até mesmo mudar de área mesmo sem nenhuma experiência! ----------------------------------------------------------------------- Conteúdo da Aula 00:00 Introdução 01:16 Importação do pandas e base de dados 01:37 Visualização da base de dados 02:40 Informações da base de dados (método info) 05:10 Método describe (informações das colunas) 06:19 Describe das colunas não numéricas 07:58 Operação de agrupamento (groupby) 10:04 Comando %timeit (Jupyter Notebook) 12:33 Otimizações de dataframes (data) 17:44 Otimizações de dataframes (categorias) 23:16 Espaço que números ocupam em memória 31:00 Biblioteca sys (tamanho máximo em bits) 32:18 Como mudar o tipo dos números no pandas 38:22 Uso de memória no pandas 40:45 Método describe (verificação das informações) 42:46 Novo tempo de processamento 45:00 Resultado dos agrupamentos (após tratamento) 46:43 Leia a documentação 47:16 Resumo da aula 48:40 Conclusão #cienciadedados #cienciadados #hashtagprogramacao