Data Engineer Pleno (Databricks / Spark / Python)

Descrição

Resumo da Vaga: Keyrus busca um Engenheiro de Dados apaixonado para desenvolver e manter pipelines de ingestão de dados, processar dados em larga escala e otimizar performance em Databricks. Principais Destaques: 1. Oportunidade de crescer profissionalmente e criar uma trajetória de carreira 2. Desenvolver e manter pipelines de ingestão de dados com Autoloader 3. Colaborar com times de negócio, analytics e tecnologia ***A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.*** Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco. **Papéis e Responsabilidades:** * Desenvolver e manter **pipelines de ingestão de dados** utilizando **Autoloader** (incremental, schema evolution e otimização de throughput). * Processar dados em larga escala utilizando **Spark Structured Streaming** e **Spark SQL**. * Aplicar boas práticas de **engenharia de dados**, incluindo particionamento e otimizações com **Delta Lake**. * Realizar **análise e otimização de performance e custos** em ambientes **Databricks**. * Implementar **processos de Data Quality** para garantir confiabilidade dos dados. * Utilizar **Git** para controle de versionamento, incluindo pull requests e boas práticas de desenvolvimento colaborativo. * Criar **documentação técnica clara e organizada** das soluções implementadas. * Colaborar com **times de negócio, analytics e tecnologia** para garantir que os dados estejam estruturados, acessíveis e seguros. **Qualificações Essenciais:** * Experiência com **engenharia de dados e processamento de grandes volumes de dados**. * Conhecimento em **Python, Apache Spark e Databricks**. * Experiência na construção e manutenção de **pipelines de dados escaláveis**. * Conhecimento em **Spark SQL e Structured Streaming**. * Experiência com **versionamento de código utilizando Git**. **Serão considerados Diferenciais:** * Experiência com **metodologias ágeis** (Scrum, Kanban, entre outras). * Conhecimento em **arquitetura de dados moderna** e melhores práticas de **ETL/ELT**. * Perfil **autogerenciável**, com forte capacidade de **resolução de problemas** e tomada de decisão em ambientes complexos. * Interesse em **novas tecnologias e inovação em soluções de dados**. Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade. Vem fazer parte do Time Keyrus! Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/ ***Desejamos boa sorte!***