Engenharia de Dados | Remota

Descrição

Resumo da Vaga: Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, focado na reconstrução de pipelines. Principais Destaques: 1. Reconstruir pipelines legados em Databricks usando PySpark e Spark SQL 2. Implementar camadas bronze, silver e gold (arquitetura medalhão) 3. Otimizar performance e custos dos pipelines **O que buscamos**: Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse. **Responsabilidades**: * Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL; * Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão; * Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto; * Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover; * Implementar regras de negócio e transformações com testes automatizados; * Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse; * Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z\-ORDER e dimensionamento de workloads; * Contribuir com a documentação técnica das regras migradas; * Apoiar a priorização e execução das waves de migração; **Requisitos e Qualificações**: * Conhecimento avançado em PySpark e Python; * Experiência com desenvolvimento de pipelines batch em larga escala; * Conhecimento avançado em SQL; * Experiência com modelagem de dados relacional e dimensional; * Experiência com Databricks e Delta Lake em ambiente produtivo; * Conhecimento em arquitetura medalhão (bronze, silver e gold); * Experiência com Delta Live Tables, Lakeflow e Asset Bundles; * Vivência em migração ou reconstrução de pipelines ETL; * Experiência com tradução de regras de negócio de plataformas legadas para Spark; * Conhecimento em ingestão CDC e batch a partir de bancos relacionais; * Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions); * Conhecimento em Azure Synapse (SQL Pools e Pipelines); * Experiência com qualidade e reconciliação de dados; * Conhecimento em testes automatizados e controles de Data Quality; * Experiência com Git e CI/CD aplicados à engenharia de dados; **Diferenciais**: * Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa; * Experiência em programas de migração de Data Warehouse para Lakehouse; * Conhecimento em Unity Catalog (permissões, lineage e contratos de dados); * Experiência no mercado financeiro ou de crédito; * Certificações Databricks Data Engineer Associate ou Professional; **Descrição comportamental:** Procuramos uma pessoa que: * Goste de trabalhar em equipe e seja **colaborativa** em suas atribuições; * Tenha **coragem** para se desafiar e ir além, abraçando novas oportunidades de crescimento; * Transforme ideias em **soluções criativas** e busque qualidade em toda sua rotina; * Tenha habilidades de **resolução de problemas**; * Possua habilidade e se sinta confortável para trabalhar de forma independente e **gerenciar o próprio tempo**; * Tenha interesse em lidar com situações adversas e **inovadoras** no âmbito tecnológico. Big enough to deliver – small enough to care. **\#VempraGFT** **\#LetsGoBeyond** **\#ProudToBeGFT** .buttontext616d4705bd22aece a{ border: 1px solid transparent; } .buttontext616d4705bd22aece a:focus{ border: 1px dashed \#972875 !important; outline: none !important; } Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12\.000 pessoas ao redor do mundo sendo 4\.000 pessoas no Brasil. Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos. Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital. .buttontext51d9fe5a33d0d42c a{ border: 1px solid transparent; } .buttontext51d9fe5a33d0d42c a:focus{ border: 1px dashed \#972875 !important; outline: none !important; } O que oferecemos Cartão multi\-benefícios – você escolhe como e onde utilizar. Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas. Programas de incentivo à Certificações. Horário de trabalho flexível. Salários competitivos. Avaliação de desempenho anual com plano de carreira estruturado. Possibilidade de carreira internacional. Wellhub e TotalPass. Previdência Privada. Auxílio\-Creche. Assistência Médica. Assistência Odontológica. Seguro de Vida. \#VemPraGFT .jobColumnTwo .displayDTM h2 { margin\-top: 0px !important; } .jobColumnTwo .displayDT ul{ padding\-inline\-start: 20px !important; list\-style\-position: outside !important; } .buttontextb636f3111304c10b a{ border: 1px solid transparent; } .buttontextb636f3111304c10b a:focus{ border: 1px dashed \#972875 !important; outline: none !important; }