Data Engineer | Azure & Databricks

Descrição

Resumo da Vaga: Estamos em busca de um(a) Engenheiro(a) de Dados para atuar com construção e otimização de pipelines em PySpark/Databricks e Azure, focando em ingestão, transformação e governança de dados. Principais Destaques: 1. Atuação com construção e otimização de pipelines em PySpark/Databricks e Azure 2. Foco em ingestão, transformação, governança, performance, qualidade e segurança 3. Colaboração com times de negócio e analytics para entregar datasets confiáveis Estamos em busca de um(a) Engenheiro(a) de Dados para atuar com construção e otimização de pipelines em PySpark/Databricks, utilizando recursos do Azure. A posição envolve projetos de ingestão, transformação e governança de dados, com foco em performance, qualidade e segurança. Local de trabalho híbrido.\* Desenvolver e manter pipelines de dados em PySpark/Databricks * Escrever e otimizar SQL para grandes volumes de dados * Atuar em projetos de ingestão, transformação e governança em Azure Data Lake e Data Factory * Garantir performance, qualidade e segurança dos dados * Colaborar com times de negócio e analytics para entregar datasets confiáveis\* Experiência prática em SQL, PySpark, Databricks e Azure * Conhecimento em ADF, Data Lake e boas práticas de modelagem * Vivência com versionamento de código (Git) e metodologias ágeis * Diferenciais: Delta Lake, Unity Catalog, CI/CD e arquitetura de dados (Lakehouse, Data Mesh) Refer to Job description section for qualification required