Engenheiro de dados sênior

Descrição

Resumo da Vaga: Profissional com experiência em Big Data para liderar projetos, projetar ambientes distribuídos, desenvolver pipelines de dados e garantir a governança e segurança. Principais Destaques: 1. Liderança em projetos de arquitetura e soluções Big Data 2. Desenvolvimento de pipelines de dados e processos ETL 3. Garantia de alta disponibilidade, segurança e desempenho de clusters Descrição: * Formação em nível superior completa; * Conhecimento avançado em ITIL; * Domínio avançado em Python; * Conhecimento avançado em PySpark; * Experiência com Airflow e automação de pipelines; * Experiência avançada em Cloudera; * Conhecimento em Hadoop (administração e otimização); * Experiência avançada em ETL (Pentaho Data Integration/Kettle, Jasper ETL e similares); * Vivência em práticas de infraestrutura como código e DevOps. * Liderar projetos de arquitetura e soluções Big Data; * Projetar, administrar e otimizar ambientes distribuídos (Hadoop, Cloudera, Spark); * Desenvolver pipelines de dados e processos ETL; * Garantir alta disponibilidade, segurança e desempenho dos clusters; * Resolver problemas complexos de infraestrutura e realizar tuning; * Apoiar e treinar times técnicos, documentando boas práticas; * Colaborar com stakeholders na definição de requisitos e desenho de soluções; * Assegurar governança, qualidade e segurança dos dados. 251110020218420281