Vaga de Engenheiro de Minas

A conexa saúde busca um(a) engenheiro(a) de dados jr. Para atuar em regime home office. Você fará parte de uma equipe e colaborativa, contribuindo para o desenvolvimento e manutenção de nossa infraestrutura de dados. Responsabilidades e atribuições: Desenvolvimento de pipelines de dados: Projetar, construir e manter pipelines de dados escaláveis e eficientes, utilizando metodologias etl (extract, transform, load). Automatizar o fluxo de dados entre diferentes sistemas, assegurando a integridade e a qualidade da informação. Realizar testes unitários e de integração para garantir a confiabilidade dos pipelines. Documentar detalhadamente os processos e a arquitetura dos pipelines desenvolvidos. Monitorar o desempenho dos pipelines e identificar gargalos, propondo soluções para otimização. Manipulação e consulta de dados: Criar, otimizar e manter consultas sql complexas para extração e transformação de dados de diferentes fontes. Desenvolver scripts e soluções em python para manipulação e análise de grandes volumes de dados, utilizando bibliotecas como pandas e numpy. Realizar a limpeza e tratamento de dados, garantindo a consistência e a acurácia da informação. Desenvolver e manter documentação clara e concisa para os scripts e consultas criadas. Orquestração de workflows: Implementar e gerenciar fluxos de trabalho utilizando apache airflow, garantindo a execução eficiente e o monitoramento de tarefas. Criar dags (directed acyclic graphs) para automatizar processos complexos de processamento de dados. Monitorar o desempenho dos workflows e identificar possíveis falhas, solucionando-As de forma proativa. Implementar mecanismos de alerta e notificação para garantir a visibilidade do status dos workflows. Modelagem e transformação de dados: Utilizar principalmente python para modelar e transformar dados, aplicando técnicas de etl e elt. Desenvolver e implementar modelos de dados que atendam às necessidades dos diferentes stakeholders. Garantir a consistência e a qualidade dos dados transformados. Utilizar ferramentas de versionamento de código (ex: git) para gerenciar as alterações nos modelos de dados. Integração e interoperabilidade: Integrar diferentes tecnologias de processamento de dados, como trino, para garantir a interoperabilidade entre diferentes sistemas de banco de dados. Investigar e avaliar novas tecnologias e ferramentas para aprimorar a infraestrutura de dados. Colaborar com a equipe para definir e implementar padrões e melhores práticas para o desenvolvimento de pipelines de dados. Requisitos e qualificações: Mínimode experiência na área de dados, com histórico comprovado em desenvolvimento de pipelines de dados. Domínio de sql para criação de consultas complexas e otimização de desempenho. experiência em python, com capacidade para desenvolver scripts e automações para processamentos de dados. Conhecimentos que te destacam: Habilidades analíticas e de resolução de problemas avançadas. Capacidade de trabalhar de forma colaborativa em um ambiente de equipe multidisciplinar. Habilidade para documentar processos e explicar soluções complexas para públicos não técnicos. Conhecimento em ambiente de produção ou estudos com o dbt. Conhecimento em ambiente de produção ou estudos com o apache airflow. Conhecimento em ambiente de produção ou estudos com o clickhouse. Benefícios conexa: Analistas conexa Cartão de crédito Cartão caju (crédito de R$ 1.059,00 mensal para refeição, alimentação, mobilidade, saúde, home office, cultura e educação) Plano de saúde amil s450 apto, com coparticipação (extensível a dependentes com valores e coparticipação adicionais). Acesso gratuito às plataformas conexa e zenklub (consultas online para saúde mental e física) Auxílio creche (conforme convenção coletiva) Licença maternidade estendida (6 meses) e licença paternidade (30 dias) Seguro de vida sulamérica Day off no mês do aniversário Totalpass e wellhub (benefícios fitness) Vale transporte (desconto de 6% do salário, se optar).