Vaga de Engenheiro de Processos

A netvagas oferece oportunidade para Engenheiro de dados Em salvador, ba. O profissional será responsável por projetar, implementar e manter a infraestrutura de dados da empresa, garantindo a qualidade, consistência e disponibilidade das informações para análise e tomada de decisão. Responsabilidades: Projetar e implementar pipelines de etl (extração, transformação e carga) eficientes e escaláveis para a coleta, transformação e carga de dados de diversas fontes, incluindo bancos de dados relacionais, arquivos planos, apis e outras fontes de dados estruturados e não estruturados. Automatizar processos de integração de dados, garantindo a qualidade, consistência e confiabilidade dos dados. Isso inclui a implementação de testes automatizados e monitoramento contínuo dos pipelines. Desenvolver e implementar soluções para a limpeza, transformação e preparação dos dados para análise, utilizando técnicas como normalização, enriquecimento, agregação e tratamento de valores ausentes. Projetar e implementar sistemas de armazenamento de dados, como data warehouses, data lakes e bancos de dados nosql, considerando os requisitos de performance, escalabilidade e segurança. Implementar e manter a documentação técnica dos pipelines de dados, sistemas de armazenamento e processos de integração. Trabalhar em colaboração com outras equipes, como análise de dados, ciência de dados e desenvolvimento, para garantir a disponibilidade de dados de alta qualidade para os projetos da empresa. Investigar e implementar novas tecnologias e ferramentas para melhorar a eficiência e a escalabilidade da infraestrutura de dados. Monitorar o desempenho dos pipelines de dados e sistemas de armazenamento, identificando e resolvendo problemas de performance e disponibilidade. Garantir a segurança e a privacidade dos dados, seguindo as políticas e regulamentações aplicáveis. Participar ativamente do processo de definição de arquitetura de dados, contribuindo com a escolha das melhores tecnologias e soluções para atender às necessidades da empresa. Realizar a manutenção e otimização dos pipelines de dados existentes, garantindo a performance e a escalabilidade. Apoiar a equipe de desenvolvimento na integração dos sistemas com a infraestrutura de dados. Requisitos: Formação superior completa em ciência da computação, engenharia da computação, sistemas de informação ou áreas afins. experiência sólida em desenvolvimento de pipelines de etl utilizando ferramentas como apache spark, apache kafka, apache airflow ou similares. experiência com bancos de dados relacionais (sql server, postgresql, mysql, oracle) e nosql (mongodb, cassandra, etc.). Conhecimento de linguagens de programação como python ou scala. Familiaridade com ferramentas de orquestração de workflows de dados. experiência com ferramentas de monitoramento e logging de dados. Conhecimento de metodologias ágeis (scrum, kanban). Habilidade para trabalhar em equipe e comunicar-Se eficazmente. Capacidade de resolução de problemas e proatividade.