Descrição
**Sobre a vaga**
Estamos procurando um **Senior Data Engineer** experiente para ajudar a modernizar um data warehouse de 15\-anos em um Databricks Lakehouse governado. Você construirá pipelines de lote e streaming com PySpark e Delta Lake, seguindo uma arquitetura medallion nas camadas bronze, prata e ouro. Esta vaga também utiliza ferramentas de IA como Claude e GitHub Copilot para acelerar o desenvolvimento.
**O que você fará**
* Projetar, construir e operar pipelines de dados de lote e streaming no Databricks usando **PySpark**, Delta Lake e Databricks Workflows.
* Modelar e manter uma arquitetura medallion (bronze/prata/ouro) que atende consumidores de análise, relatórios e machine learning.
* Migrar cargas de trabalho de ETL e data warehouse legados para o Lakehouse com paridade de dados validada e mínima interrupção do negócio.
* Usar Claude ou Github Copilot como acelerador de desenvolvimento, gerando estruturas de código, escrevendo e revisando testes, criando documentação e prototipando soluções.
* Escrever Python e SQL limpos e bem\-testados; manter altos padrões por meio de revisão de código e documentação.
* Otimizar jobs Spark e tabelas Delta para desempenho e custo, incluindo particionamento, agrupamento, cache e dimensionamento de cluster.
* Implementar controles de qualidade de dados, linhagem e governança usando Unity Catalog e verificações de validação automatizadas.
* Depurar, solucionar problemas e resolver falhas de pipeline, defeitos de dados e incidentes de produção.
* Participar de práticas de entrega Agile ou centradas em produto, incluindo planejamento de sprints e retrospectivas.
* Colaborar com engenheiros de DevOps, plataforma e análise em melhores práticas de observabilidade, segurança e conformidade.
**Requisitos obrigatórios**
* **4\+ anos de experiência profissional** em engenharia de dados, com experiência direta em Apache Spark e arquiteturas de dados baseadas em nuvem.
* Experiência prática sólida na construção de pipelines de dados com **Databricks**, Apache Spark (PySpark) e Delta Lake.
* **SQL e Python** avançados, com fortes habilidades de modelagem de dados em padrões dimensionais e Lakehouse.
* Experiência com ingestão de streaming usando Structured Streaming, Auto Loader, Kafka ou Event Hubs.
* Experiência com orquestração de workflows (Databricks Workflows, Airflow ou Azure Data Factory).
* Experiência com migrações de plataformas legadas, modernização de ETL ou gerenciamento de higiene de dados ao portar sistemas antigos.
* Fortes habilidades de resolução de problemas, colaboração e comunicação, incluindo mentoria de engenheiros juniores e explicação de conceitos de dados a partes interessadas não técnicas.
* Familiaridade com **Unity Catalog**, governança de dados, controle de acesso e tratamento de PII.
* Experiência com dbt ou um framework de transformação equivalente.
* Familiaridade com padrões de codificação segura e melhores práticas de segurança da indústria.
* Experiência na entrega de plataformas de dados de produção em escala.
* Nível de inglês superior\-intermediário.
**Desejáveis**
* Experiência com Infrastructure as Code (IaC) usando Terraform e CI/CD usando Azure Devops.
* Experiência trabalhando com bancos de dados relacionais (especificamente PostgreSQL) e conceitos de persistência de dados.
* Familiaridade com ferramentas de log e monitoramento (por exemplo, Dynatrace, CloudWatch, tabelas de sistema do Databricks).
* Experiência trabalhando em ambientes de desenvolvimento Agile ou em equipe é preferível.
**Benefícios e vantagens**
* **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e um orçamento anual de aprendizado dedicado
* **Remuneração competitiva:** receba reconhecimento que reflete suas habilidades e impacto, com avaliações regulares de desempenho e remuneração
* **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que suportam foco, autonomia e um ritmo de trabalho saudável
* **Projetos significativos e modernos:** construa produtos de impacto usando tecnologias modernas ao lado de equipes globais e marcas líderes
* **Cultura colaborativa:** junte-se a um ambiente de apoio sem microgerenciamento, onde as ideias são bem-vindas e as contribuições são reconhecidas
* **Bem\-estar \& suporte:** acesso a programas locais de bem\-estar e suporte focado em pessoas adaptado à sua localização
Tipo de Vaga: Tempo\-integral
Local de Trabalho: Remoto