Engenheiro de Dados Pl

Descrição

Buscamos profissionais que tenham vontade de crescer, colocar a mão na massa e fazer acontecer. Vivemos um momento único, recheado de desafios e oportunidades para agregar ainda mais valor aos nossos clientes. Se você tem esse perfil e essa ambição, inscreva\-se nesta vaga e junte\-se a nós para construir o futuro do mercado financeiro. **\#VemSerGenial** **Responsabilidades e atribuições** * Desenvolver e evoluir **pipelines de dados batch e streaming** utilizando Python, Spark e Databricks. * Construir integrações com **bancos de dados, APIs e serviços AWS**. * Modelar e transformar dados seguindo os padrões de arquitetura e qualidade da plataforma. * Monitorar pipelines em produção, atuando na **investigação de falhas, performance e causa raiz**. * Participar de **code reviews** e contribuir para a evolução dos padrões de engenharia do time. * Trabalhar próximo às áreas de negócio para **entender requisitos e transformar necessidades em soluções de dados**. * Garantir boas práticas de **qualidade, segurança, governança e observabilidade** dos dados. **Requisitos e qualificações** * **Python** sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros. * **SQL**, incluindo CTEs, window functions e otimização de queries. * **Apache Spark / PySpark**, com entendimento de particionamento, shuffle, joins, cache e planos de execução. * **Delta Lake**, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento. * **Databricks**, com experiência em Jobs/Workflows e conhecimentos de Unity Catalog. * **AWS para dados**, principalmente S3, IAM e serviços de integração/mensageria. * **Modelagem dimensional e arquitetura em camadas**, incluindo SCD tipos 1 e 2\. * **Git e desenvolvimento via pull request**. * Experiência com **ingestão de bancos relacionais e APIs REST**. **Diferenciais** * Experiência no **mercado financeiro**. * **Structured Streaming**. * **Databricks Asset Bundles e Terraform.** * **CI/CD** para pipelines de dados. * **Delta Lake**, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento. **Informações adicionais** Assistência Médica Assistência Odontológica Vale Refeição Vale Alimentação Seguro de Vida Total Pass GymPass Aux. Creche PPR São Paulo, modelo Remoto **O que é ser Genial?** É buscar a excelência, é fazer acontecer. É ser talentoso, inteligente, curioso e aceitar qualquer desafio. É se apresentar e defender as suas ideias. É colocar o cliente em primeiro lugar e ser apaixonado pelo que faz. **Por que a Genial?** Porque somos digitais, mas também somos humanos. Se você, assim como nós, acredita que investimento não é sinônimo de terno e gravata, queremos conhecer você! **Sobre Nós** A empresa que investe em você! Descomplicamos o mercado financeiro para que nossos clientes consigam tomar boas decisões na hora de investir. **Nossos Valores** Buscar os melhores resultados para os clientes; Colocar excelência em tudo que fazemos; Ser uma empresa responsável, transparente e sustentável; Inovar para inspirar; Ser apaixonado pelo que faz; Aprender e melhorar sempre.