Data Engineer | Azure & Databricks

Descrição

Resumo da Vaga: Estamos em busca de um Engenheiro(a) de Dados para atuar com construção e otimização de pipelines em PySpark/Databricks no Azure, focado em performance, qualidade e segurança de dados. Principais Destaques: 1. Construção e otimização de pipelines em PySpark/Databricks no Azure 2. Projetos de ingestão, transformação e governança de dados 3. Foco em performance, qualidade e segurança dos dados Estamos em busca de um(a) Engenheiro(a) de Dados para atuar com construção e otimização de pipelines em PySpark/Databricks, utilizando recursos do Azure. A posição envolve projetos de ingestão, transformação e governança de dados, com foco em performance, qualidade e segurança. Local de trabalho híbrido.\* Desenvolver e manter pipelines de dados em PySpark/Databricks * Escrever e otimizar SQL para grandes volumes de dados * Atuar em projetos de ingestão, transformação e governança em Azure Data Lake e Data Factory * Garantir performance, qualidade e segurança dos dados * Colaborar com times de negócio e analytics para entregar datasets confiáveis\* Experiência prática em SQL, PySpark, Databricks e Azure * Conhecimento em ADF, Data Lake e boas práticas de modelagem * Vivência com versionamento de código (Git) e metodologias ágeis * Diferenciais: Delta Lake, Unity Catalog, CI/CD e arquitetura de dados (Lakehouse, Data Mesh) Refer to Job description section for qualification required