Engenheiro de Dados - Sênior

Descrição

A FCamara busca um Engenheiro de Dados \- Sênior, para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado. Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias. Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras. **Responsabilidades e atribuições*** Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse. * Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria. * Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter. * Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake. * Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança. * Desenvolver e manter pipelines batch e near real\-time em ambientes distribuídos. * Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture. * Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault. * Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas. * Implementar mecanismos de resiliência, como retry, idempotência e dead\-letter. * Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos. * Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados. * Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis. * Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture. **Requisitos e qualificações*** Experiência sólida como Engenheiro(a) de Dados Sênior. * Experiência em projetos de migração e modernização de plataformas legadas de dados. * Conhecimento avançado em Oracle e Informatica PowerCenter. * Experiência com Azure Databricks, PySpark e Spark SQL. * Conhecimento em Delta Lake e arquiteturas Lakehouse. * Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2\), Azure Data Factory (ADF) e Azure Key Vault. * Vivência na construção de pipelines batch, ELT e near real\-time. * Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture. * Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows. * Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage. * Experiência em otimização de performance de aplicações Spark e consultas SQL. * Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento. * Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead\-letter. * Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança. * Boa comunicação para interação com áreas de negócio e equipes multidisciplinares. **Diferenciais:** * Forte experiência em modernização de plataformas legadas. * Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter. * Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance. * Conhecimento em estratégias de otimização e redução de custos no Azure Databricks. * Experiência na integração entre soluções open source e ambientes cloud. * Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos. * Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault. **Aqui somos \#SangueLaranja!** Estamos há 17 anos no mercado, lado a lado com nossos clientes, proporcionando experiências transformadoras. Somos um ecossistema de tecnologia e inovação, com expansão global; Além do Brasil estamos presentes na Europa e Reino Unido com escritórios em Portugal, Londres, Dubai e Holanda. **F de Formação: acreditamos na prática da cultura do compartilhamento, no senso de comunidade, e que o conhecimento** **tem o poder da transformação!** Possuímos iniciativas, e ações sociais, que promovem o desenvolvimento, como a comunidade tech Orange Juice, o Programa de Formação, nossa escola de liderança e diversas parcerias com ONGs e Edtechs. **Na FCamara todos são bem\-vindos, para nós, Diversidade, Respeito e Ética, são elementos inegociáveis e fazem parte do nosso DNA.** **E aí, está pronto para fazer parte de um time incrível e ser protagonista da própria história?**