Téo Calvo

Eu não sabia disso. Mas ordenar a leitura de arquivos pela ordem data de criação aumenta consideravelmente a performance de leitura.

Tinha que ler +800.000 arquivos json. Fiz apenas um os.listdir() e comecei a iterar. Com apenas 70 arquivos/segundo, achei a performance bem estranha. Então pensei ler os arquivos pela ordem que foram gravados. BOOM!!

Com apenas uma linha de código, passamos de +3hrs de esperando, passou para apenas 3 minutos.

A linha: file_paths.sort()

Acredito que isso se dá pela forma facilitada que meu HDD vai ter em achar os arquivos para iniciar e leitura, uma vez que serão sequenciais. O que acham? Faz sentido?

ps: o nome do arquivo corresponde à sua data_hora de criação. Isto é: 20222712_235915108836.json

👀 👀 Gostaria de compartilhar que estou começando em um novo cargo de Data Solution Architect na A3Data.

#dataArchtect #dataEngineer #dataScience #bigData

Uma galera chegou aqui e talvez não sabia o que faço na internet.

Eu ensino sobre tecnologia e dados de forma acessível. Tenho +10 anos de experiência na área, passando por várias empresas, onde construí e fiz gestão de times de dados.

São 5 anos de canal na Twitch realizando lives sobre o mundo de dados de forma aberta. Fizemos muita coisa em conjunto com a comunidade, tipo muita mesmo. Aproximadamente 600 horas de conteúdo gravado e +1.800 horas de transmissão.

Vou deixar nos comentários o acesso para a lista de todo meu material para você conferir.

Por que eu faço tudo isso? Talvez para tornar o mundo um lugar melhor, sendo exemplo para minha filha.

O maguinho agora é partner da Twitch.

São quase 5 anos gerando conteúdo gratuito em formato de lives. Trabalho de formiguinha mesmo, para ajudar pessoas a conseguirem melhores condições de vida.

Hoje, avançamos mais uma etapa para emancipação do conhecimento. Uma jornada que tem sido minha missão de vida, isto é, contribuir com aquilo que sei, compartilhando com quem mais precisa.

Nosso conteúdo é real, com problemas reais, ferramentas reais e pessoais reais. São vocês que tornam isso possível, independente da plataforma.

Obrigado Twitch pela parceria, que essa iniciativa possa fortalecer ainda mais meu projeto de ensino.

Me parece, apenas parece, que cresce.

❤️ Vai ter curso de SQL com Databricks sim!! ❤️
Entre os dias 12/12 e 16/12 faremos as transmissões e liberaremos acesso ao ambiente para você acompanhar junto conosco!

⏬⏬ Se inscreva e confira todos os detalhes no formulário que está nos comentários! ⏬⏬

🚨🚨 Antes de perguntar a data, preencha o formulário e vote nos melhores horários. 🚨🚨

🔔🔔 COMPARTILHE!! 🔔🔔