Vaga de Analista de Sistemas

Job description . Main responsibilities Desenvolver e otimizar soluções de dados em larga escala em ambientes distribuídos e em nuvem (aws) Criar dags e workflows de orquestração de processos de transformação e integração de dados utilizando airflow Implementar scripts e aplicações em python e scala para atender às regras de negócio e necessidades específicas da bu Aplicar regras de negócio e validações para garantir a consistência, integridade e qualidade dos dados, especialmente na camada gold Realizar transformações complexas utilizando spark (pyspark) e sql, assegurando performance e escalabilidade Utilizar amazon s3 para armazenamento e aws emr para processamento distribuído de grandes volumes de dados Implementar e gerenciar tabelas iceberg e arquivos parquet, garantindo versionamento, governança e otimização do armazenamento Empregar clickhouse como tecnologia complementar para análises de alta performance Garantir qualidade, governança e monitoramento contínuo dos pipelines de dados, promovendo automação e observabilidade Colaborar com áreas de negócio e times de produto para traduzir requisitos em soluções técnicas robustas. Requirements and skills Proficiência em airflow orquestração e agendamento de pipelines de dados experiência com em amazon s3 armazenamento distribuído experiência com em aws emr processamento distribuído e escalável Banco de dados sql modelagem, consultas e otimização experiência comspark (pyspark) processamento de dados em larga escala experiência com python e scala desenvolvimento de scripts e aplicações de transformação Conhecimento em iceberg versionamento e governança de dados Conhecimento em parquet formato otimizado de armazenamento columnar. Diferencial :clickhouse,java,parquet avançado,scrum e metodologias ágeis . Não possui todos os requisitos para a vaga? Está tudo bem! Na compass uol, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades. Additional information #remote Remote #j-18808-Ljbffr.