Vaga de Analista de Sistemas

A netvagas busca um engenheiro de dados para atuar em salvador/ba. O profissional será responsável por projetar, implementar e manter a infraestrutura de dados da empresa, garantindo a qualidade, consistência e disponibilidade da informação para análise e tomada de decisão. Responsabilidades: Projetar e implementar pipelines de etl (extração, transformação e carga) eficientes e escaláveis para a coleta, transformação e carga de dados de diversas fontes, incluindo bancos de dados relacionais, arquivos planos, apis e outras fontes de dados estruturados e não estruturados. Automatizar processos de integração de dados, garantindo a qualidade, consistência e confiabilidade dos dados. Isso inclui a implementação de testes automatizados e monitoramento contínuo dos pipelines. Desenvolver e implementar soluções para a limpeza, transformação e preparação dos dados para análise, utilizando técnicas como normalização, enriquecimento, agregação e tratamento de valores ausentes. Projetar e implementar sistemas de armazenamento de dados, como data warehouses, data lakes e bancos de dados nosql, considerando os requisitos de performance, escalabilidade e segurança. Implementar e manter a documentação técnica dos pipelines de dados, incluindo diagramas, scripts e procedimentos operacionais. Trabalhar em colaboração com outras equipes, como ciência de dados e engenharia de software, para garantir a integração dos sistemas de dados. Investigar e resolver problemas relacionados à qualidade e integridade dos dados. Manter-Se atualizado sobre as novas tecnologias e tendências em engenharia de dados. Implementar e monitorar métricas de performance dos pipelines de dados, identificando gargalos e oportunidades de otimização. Contribuir para a definição de padrões e melhores práticas para a gestão de dados. Apoiar na definição da arquitetura de dados da empresa, garantindo a escalabilidade e a flexibilidade do sistema. Participar ativamente do processo de desenvolvimento de novos produtos e serviços, fornecendo suporte técnico e expertise em engenharia de dados. Realizar a manutenção e otimização dos pipelines de dados existentes, garantindo a performance e a estabilidade do sistema. Requisitos: Formação superior completa em ciência da computação, engenharia da computação, sistemas de informação ou áreas afins. experiência sólida em desenvolvimento de pipelines de etl utilizando ferramentas como apache spark, apache kafka, apache airflow ou similares. experiência com bancos de dados relacionais (sql) e nosql. Conhecimento de linguagens de programação como python ou scala. Familiaridade com ferramentas de versionamento de código (git). experiência com metodologias ágeis (scrum, kanban). Boas habilidades de comunicação e trabalho em equipe. Capacidade de resolução de problemas e proatividade. Diferenciais: experiência com cloud computing (aws, azure ou gcp). Conhecimento de ferramentas de orquestração de containers (kubernetes, docker). experiência com data visualization e ferramentas de bi. Conhecimento de conceitos de big data. Certificações em tecnologias relevantes.