Vaga de Engenheiro de Produção

O centro de integração de dados e conhecimentos para saúde (cidacs) do igm-Fiocruz, localizado no parque tecnológico da bahia, busca um engenheiro de dados pleno para integrar sua equipe de curadoria de dados. O profissional selecionado terá um papel crucial no suporte às pesquisas desenvolvidas pelo cidacs, contribuindo para a qualidade e a disponibilidade dos dados. Responsabilidades e atribuições: Automação de pipelines de dados: Desenvolver e manter pipelines de dados automatizados em ambiente on-Premises para big data, garantindo a eficiência e a escalabilidade do processo de tratamento e integração de informações. Isso inclui a definição de arquiteturas de dados, a implementação de soluções de etl (extract, transform, load) e a monitoração do desempenho dos pipelines. Inspeção e validação de dados: Realizar inspeções rigorosas e validações completas dos dados utilizados nas pesquisas, assegurando a acurácia, a consistência e a confiabilidade das informações. Isso envolve a identificação e a correção de erros, a detecção de inconsistências e a aplicação de regras de negócio para garantir a qualidade dos dados. Descrição, dicionarização e historicidade de dados: Criar metadados detalhados, incluindo descrições precisas, dicionários de dados e informações sobre a historicidade dos dados, facilitando o entendimento e o uso das informações por pesquisadores e outras partes interessadas. Gestão da qualidade de dados: Implementar e monitorar métricas de qualidade de dados, identificando áreas de melhoria e propondo soluções para garantir a conformidade com os padrões estabelecidos. Produção de metadados e relatórios: Gerar metadados completos e relatórios concisos e informativos sobre os dados, fornecendo insights valiosos para as pesquisas e para a tomada de decisões. Suporte à pesquisa: Fornecer suporte técnico aos pesquisadores, auxiliando-Os na utilização dos dados e na resolução de problemas relacionados à qualidade e à disponibilidade das informações. Colaborar com a equipe: Trabalhar em equipe, compartilhando conhecimento e colaborando com outros membros da equipe de curadoria de dados para garantir a eficiência e a qualidade do trabalho. Requisitos: experiência comprovada como engenheiro de dados, com foco em automação de pipelines e tratamento de grandes volumes de dados. Sólido conhecimento em tecnologias de big data (hadoop, spark, etc.). Domínio de linguagens de programação como python ou scala. Familiaridade com ferramentas de etl e bancos de dados relacionais e não relacionais. experiência com metodologias ágeis de desenvolvimento de software. Capacidade analítica e de resolução de problemas. Habilidade de comunicação e trabalho em equipe. Diferenciais: experiência com ferramentas de visualização de dados. Conhecimento em metodologias de gestão da qualidade de dados. experiência em projetos de saúde pública.