Let's talk like a pro
Se você leu meu último post, sabe que eu estava participando de um processo seletivo para um curso em uma trilha de engenharia de dados. Então, good news: eu passei e estarei nos próximos 4 meses me atualizando e aprendendo um pouco mais sobre essa parte de engenharia de dados. Provavelmente vai ter mais posts sobre esse curso aqui.
Mas para hoje, ocorreu-me de vir aqui falar um pouco sobre as profissões relacionadas à area de dados e que estão sendo cada vez mais demandadas. Eu diria que são basicamente 4: analista de dados, cientista de dados, engenheiro de dados e o arquiteto de dados. O resto é uma variação disso, como MLOps, engenheiro de machine learning, desenvolvedor AI…
Mas se perguntarem minha real opinião (que ninguém perguntou), eu digo que, salvo as partes de arquitetura e engenharia de dados, que eu acho que tem muito da computação e análise de performance dos códigos (e é isso que eu quero aprender no curso de engenharia), as demais profissões são todos uma variação da estatística 😁
Vou mais longe e polemizar aqui dizendo que eu sinceramente não consigo aceitar a ideia de um cientista ou analista de dados que não tenha uma formação sólida em estatística. Eu já fiz muitos cursos que tinham por objetivo formar “cientistas de dados” e já vi muitos conceitos mal usados, professores mal preparados, que não sabiam a real teoria por trás dos modelos aplicados. E muito me preocupam os profissionais que saem para o mercado de trabalho com essas formações “fofas” em estatística, que é a base para praticamente todos os algoritmos utilizados.
Por isso, um conselho: se você quer seguir uma carreira em dados, a estatística é a alma dessa festa!
Enfim… Devaneios a parte, vamos lá, falar um pouquinho de cada.
Analista de dados
Os analistas de dados são responsáveis por coletar, analisar e interpretar dados para identificar tendências e padrões. Imagine os dados como um quebra-cabeça gigante, e os analistas de dados são como os detetives destemidos que desvendam cada peça! Com um olhar perspicaz, eles identificam tendências e padrões, transformando dados aparentemente desconexos em insights valiosos para a tomada de decisões. Usam técnicas de análise exploratória de dados e inferência estatística.
Podem trabalhar com python, R, SAS, ferramentas de Business Inteligence, como Power BI, Qlik Sense ou Tableau, também linguagens de bancos de dados e não podemos nos esquecer do excel.
Cientista de dados
Os cientistas de dados são responsáveis por desenvolver e aplicar técnicas de aprendizado de máquina e inteligência artificial para resolver problemas complexos. Se os dados são o nosso universo encantado, então os cientistas de dados são os mágicos que dão vida a ele! Com suas varinhas estatísticas e habilidades em programação, eles transformam dados brutos em insights brilhantes! Assim como verdadeiros alquimistas, eles misturam técnicas avançadas de análise e modelagem estatística para desvendar os segredos mais bem guardados dos dados.
Usam R (cada vez menos), python (cada vez mais), especificamente bibliotecas como Scikit-learn, TensorFlow, PyTorch, keras e também ferramentas de big data (Hadoop, Spark, Hive).
Engenheiro de dados
Os engenheiros de dados são responsáveis por projetar, construir e manter sistemas de gerenciamento de dados. Com sua expertise em ferramentas de big data e nuvem, eles garantem que a jornada dos dados seja suave, sem congestionamentos! Você sabe quando os dados precisam viajar de um lugar para outro, certo? É aí que entram os engenheiros de dados! Eles são responsáveis por criar nossas rodovias digitais, construindo pipelines ETL/ELT eficientes para transportar informações com segurança e com as devidas modificações, para que cheguem ao seu destino prontos para o uso, por exemplo, pelos analistas ou cientistas de dados.
Trabalham frequentemente com linguagens de bancos de dados em geral, ferramentas para orquestração de dados, airflow, python, scala, spark, hadoop.
Arquiteto de dados
São os responsáveis por garantir que os dados sejam organizados de maneira que respondam ao problema de negócio. Eles são os urbanistas que projetam a infraestrutura para acomodar nossos amados dados. Uma cidade de dados precisa de planejamento adequado, certo? É aí que entram os arquitetos de dados! Com suas habilidades em modelagem de dados e governança, eles criam cidades digitais seguras e organizadas, onde informações fluem livremente e em perfeita harmonia!
Usam ferramentas de modelagem e integração de dados (aqui não posso dar muitos detalhes, pois não conheço muito), Hadoop, Spark, Hive e, claro, linguagens de bancos de dados em geral.
Bom, para hoje é tudo.
Espero que tenham se divertido nessa jornada pelos profundos mares dos dados! Lembrem-se sempre: no universo ‘data’, tudo é possível 🙃