Engenheiro de dados sênior

Descrição

Resumo da Vaga: Profissional com experiência em liderança de projetos Big Data, arquitetura de soluções, desenvolvimento de pipelines e otimização de ambientes distribuídos. Principais Destaques: 1. Liderar projetos de arquitetura e soluções Big Data. 2. Desenvolver pipelines de dados e processos ETL. 3. Garantir alta disponibilidade, segurança e desempenho dos clusters. Descrição: * Formação em nível superior completa; * Conhecimento avançado em ITIL; * Domínio avançado em Python; * Conhecimento avançado em PySpark; * Experiência com Airflow e automação de pipelines; * Experiência avançada em Cloudera; * Conhecimento em Hadoop (administração e otimização); * Experiência avançada em ETL (Pentaho Data Integration/Kettle, Jasper ETL e similares); * Vivência em práticas de infraestrutura como código e DevOps. * Liderar projetos de arquitetura e soluções Big Data; * Projetar, administrar e otimizar ambientes distribuídos (Hadoop, Cloudera, Spark); * Desenvolver pipelines de dados e processos ETL; * Garantir alta disponibilidade, segurança e desempenho dos clusters; * Resolver problemas complexos de infraestrutura e realizar tuning; * Apoiar e treinar times técnicos, documentando boas práticas; * Colaborar com stakeholders na definição de requisitos e desenho de soluções; * Assegurar governança, qualidade e segurança dos dados. 251110020218420281