Descrição
**Sobre a vaga**
Estamos procurando um **Middle Data Engineer** para ajudar a modernizar um data warehouse com 15\-anos\-de\-idade para um Databricks Lakehouse governado. Você construirá pipelines de lote e streaming com PySpark e Delta Lake, seguindo uma arquitetura medallion nas camadas bronze, prata e ouro. Esta vaga também utiliza ferramentas de IA como Claude e GitHub Copilot para acelerar o desenvolvimento.
**O que você fará**
* Projetar, construir e operar pipelines de dados de lote e streaming no Databricks usando PySpark, Delta Lake e Databricks Workflows.
* Modelar e manter uma arquitetura medallion (bronze/prata/ouro) que atende a consumidores de análise, relatórios e aprendizado de máquina.
* Migrar cargas de trabalho legadas de ETL e data warehouse para o Lakehouse com paridade de dados validada e mínima interrupção do negócio.
* Usar Claude ou Github Copilot como acelerador de desenvolvimento, gerando estruturas de código, escrevendo e revisando testes, criando documentação e prototipando soluções.
* Escrever Python e SQL limpos e bem\-testados; manter altos padrões por meio de revisão de código e documentação.
* Otimizar jobs Spark e tabelas Delta para desempenho e custo, incluindo particionamento, agrupamento, cache e dimensionamento de cluster.
* Implementar controles de qualidade de dados, linhagem e governança usando Unity Catalog e verificações de validação automatizadas.
* Depurar, solucionar problemas e resolver falhas de pipeline, defeitos de dados e incidentes de produção.
* Colaborar com engenheiros de DevOps, plataforma e análise em melhores práticas de observabilidade, segurança e conformidade.
**Requisitos obrigatórios**
* **3\+ anos de experiência profissional** em engenharia de dados, com experiência direta em **Apache Spark** e arquiteturas de dados baseadas em nuvem.
* Experiência prática sólida na construção de pipelines de dados com **Databricks**, **Apache Spark (PySpark)** e **Delta Lake**.
* **SQL** e **Python** avançados, com fortes habilidades de modelagem de dados em padrões dimensionais e Lakehouse.
* Experiência com ingestão de streaming usando **Structured Streaming**, **Auto Loader**, **Kafka** ou **Event Hubs**.
* Experiência com orquestração de workflows (**Databricks Workflows**, **Airflow** ou **Azure Data Factory**).
* Experiência com migrações de plataformas legadas, modernização de ETL ou gerenciamento de higiene de dados ao portar sistemas antigos.
* Fortes habilidades de resolução de problemas, colaboração e comunicação.
* Familiaridade com **Unity Catalog**, governança de dados, controle de acesso e tratamento de PII.
* Experiência com **dbt** ou um framework de transformação equivalente.
* Familiaridade com padrões de codificação segura e melhores práticas de segurança da indústria.
* Experiência na entrega de plataformas de dados de produção em escala.
* Nível de inglês superior\-intermediário.
**Desejáveis**
* Experiência com Infrastructure as Code (IaC) usando Terraform e CI/CD usando Azure DevOps.
* Experiência trabalhando com bancos de dados relacionais (especificamente PostgreSQL) e conceitos de persistência de dados.
* Familiaridade com ferramentas de log e monitoramento (por exemplo, Dynatrace, CloudWatch, tabelas de sistema do Databricks).
* Experiência trabalhando em ambientes de desenvolvimento ágeis ou baseados em equipe é preferível.
**Benefícios e vantagens**
* **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e um orçamento anual dedicado de aprendizado
* **Remuneração competitiva:** obtenha reconhecimento que reflete suas habilidades e impacto, com revisões regulares de desempenho e remuneração
* **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que suportam foco, autonomia e um ritmo de trabalho saudável
* **Projetos significativos e modernos:** construa produtos de impacto usando tecnologias modernas ao lado de equipes globais e marcas líderes
* **Cultura colaborativa:** junte-se a um ambiente de apoio sem microgerenciamento, onde as ideias são bem-vindas e as contribuições são reconhecidas
* **Bem\-estar \& suporte:** acesso a programas locais de bem\-estar e suporte focado nas pessoas adaptado à sua localização
Tipo de Vaga: Tempo\-integral
Local de Trabalho: Remoto