Vaga de Analista de Sistemas

A netvagas busca um engenheiro de dados para atuar em salvador/ba. O profissional será responsável por projetar, implementar e manter a infraestrutura de dados da empresa, garantindo a qualidade, consistência e disponibilidade das informações para análise e tomada de decisão. Responsabilidades: Projetar e implementar pipelines de etl (extração, transformação e carga) eficientes e escaláveis para a coleta, transformação e carga de dados de diversas fontes, incluindo bancos de dados relacionais, arquivos planos, apis e outras fontes de dados estruturados e não estruturados. Automatizar processos de integração de dados, garantindo a qualidade, consistência e confiabilidade dos dados. Isso inclui a implementação de testes automatizados e monitoramento contínuo dos pipelines. Desenvolver e implementar soluções para a limpeza, transformação e preparação dos dados para análise, utilizando técnicas como normalização, enriquecimento, agregação e tratamento de valores ausentes. Projetar e implementar sistemas de armazenamento de dados, como data warehouses, data lakes e bancos de dados nosql, considerando os requisitos de performance, escalabilidade e segurança. Implementar técnicas de tratamento de dados, como normalização, enriquecimento e agregação, garantindo a qualidade e consistência dos dados. Desenvolver e manter a documentação técnica dos pipelines de dados, incluindo diagramas, scripts e procedimentos operacionais. Colaborar com a equipe de ciência de dados na definição de requisitos de dados e na resolução de problemas relacionados à qualidade e disponibilidade dos dados. Monitorar o desempenho dos pipelines de dados e identificar e resolver gargalos de performance. Manter-Se atualizado sobre as novas tecnologias e tendências em engenharia de dados. Trabalhar em equipe, colaborando com outros engenheiros, cientistas de dados e stakeholders. Participar ativamente do processo de definição de arquitetura de dados, garantindo a escalabilidade e a performance do sistema. Implementar e manter soluções de segurança de dados, garantindo a confidencialidade, integridade e disponibilidade das informações. Apoiar na definição e implementação de políticas e procedimentos para a governança de dados. Requisitos: Formação superior completa em ciência da computação, engenharia da computação, sistemas de informação ou áreas afins. experiência sólida em desenvolvimento de pipelines de etl utilizando ferramentas como apache spark, hadoop, kafka, ou similares. experiência com bancos de dados relacionais (sql server, postgresql, mysql, oracle) e nosql (mongodb, cassandra, etc.). Conhecimento em linguagens de programação como python ou scala. Familiaridade com ferramentas de orquestração de workflows como airflow ou similar. experiência com ferramentas de versionamento de código (git). Conhecimento de metodologias ágeis. Boa comunicação e trabalho em equipe. Capacidade de resolução de problemas e proatividade. Diferenciais: experiência com cloud computing (aws, azure, gcp). Conhecimento de ferramentas de monitoramento e logging de dados. experiência com data visualization e ferramentas de bi. Certificações em tecnologias relevantes.