Vaga de Engenheiro de Software

Trabalhar em projetos novos e em andamento. Requisitos Vivência com a ferramenta cloudera:- Nifi - Orquestração- Impala- Hadoop - Hdfs- Spark- Kafka- Kudu- Hive- Kérberos - Segurança- Hbase Inglês técnico Planejamento, programação e implantação de pipeline dos dados (grande volume de dados) que serão inseridos no ambiente big data (data lake) Acompanhamento e resolução de problemas em pipelines Planejamento e execução em saneamento dos dados Desenvolvimento, construção, teste e manutenção de arquiteturas de bancos de dados e/ou sistemas de processamento de dados em tempo real e/ou de forma distribuída Criação e implementação de métodos e técnicas para melhorar a eficiência, a qualidade e a confiabilidade dos dados Conhecimento em arquitetura de big data Desenvolvimento em linguagens scala ou spark ou python Conhecimento para desenvolver soluções com dados estruturados, não estruturados ou semi-Estruturados Propor melhorias, ajustes e otimizações em processos por meio de novas metodologias ou ferramentas. Documentação, descrição e conceituação de informações e metadados Administração e segurança de dados.