Chat rápido, melhores ofertas — Baixar

Senior Data Engineer ID86297

Indeed

Empresa

Tipo de empregoTempo Integral
Modalidade de TrabalhoRemoto
Nível de ExperiênciaMais de 10 Anos
Nível de EducaçãoSem Limite de Formação

Descrição

**Sobre a vaga** Estamos procurando um **Senior Data Engineer** experiente para ajudar a modernizar um data warehouse de 15\-anos em um Databricks Lakehouse governado. Você construirá pipelines de lote e streaming com PySpark e Delta Lake, seguindo uma arquitetura medallion nas camadas bronze, prata e ouro. Esta vaga também utiliza ferramentas de IA como Claude e GitHub Copilot para acelerar o desenvolvimento. **O que você fará** * Projetar, construir e operar pipelines de dados de lote e streaming no Databricks usando **PySpark**, Delta Lake e Databricks Workflows. * Modelar e manter uma arquitetura medallion (bronze/prata/ouro) que atende consumidores de análise, relatórios e machine learning. * Migrar cargas de trabalho de ETL e data warehouse legados para o Lakehouse com paridade de dados validada e mínima interrupção do negócio. * Usar Claude ou Github Copilot como acelerador de desenvolvimento, gerando estruturas de código, escrevendo e revisando testes, criando documentação e prototipando soluções. * Escrever Python e SQL limpos e bem\-testados; manter altos padrões por meio de revisão de código e documentação. * Otimizar jobs Spark e tabelas Delta para desempenho e custo, incluindo particionamento, agrupamento, cache e dimensionamento de cluster. * Implementar controles de qualidade de dados, linhagem e governança usando Unity Catalog e verificações de validação automatizadas. * Depurar, solucionar problemas e resolver falhas de pipeline, defeitos de dados e incidentes de produção. * Participar de práticas de entrega Agile ou centradas em produto, incluindo planejamento de sprints e retrospectivas. * Colaborar com engenheiros de DevOps, plataforma e análise em melhores práticas de observabilidade, segurança e conformidade. **Requisitos obrigatórios** * **4\+ anos de experiência profissional** em engenharia de dados, com experiência direta em Apache Spark e arquiteturas de dados baseadas em nuvem. * Experiência prática sólida na construção de pipelines de dados com **Databricks**, Apache Spark (PySpark) e Delta Lake. * **SQL e Python** avançados, com fortes habilidades de modelagem de dados em padrões dimensionais e Lakehouse. * Experiência com ingestão de streaming usando Structured Streaming, Auto Loader, Kafka ou Event Hubs. * Experiência com orquestração de workflows (Databricks Workflows, Airflow ou Azure Data Factory). * Experiência com migrações de plataformas legadas, modernização de ETL ou gerenciamento de higiene de dados ao portar sistemas antigos. * Fortes habilidades de resolução de problemas, colaboração e comunicação, incluindo mentoria de engenheiros juniores e explicação de conceitos de dados a partes interessadas não técnicas. * Familiaridade com **Unity Catalog**, governança de dados, controle de acesso e tratamento de PII. * Experiência com dbt ou um framework de transformação equivalente. * Familiaridade com padrões de codificação segura e melhores práticas de segurança da indústria. * Experiência na entrega de plataformas de dados de produção em escala. * Nível de inglês superior\-intermediário. **Desejáveis** * Experiência com Infrastructure as Code (IaC) usando Terraform e CI/CD usando Azure Devops. * Experiência trabalhando com bancos de dados relacionais (especificamente PostgreSQL) e conceitos de persistência de dados. * Familiaridade com ferramentas de log e monitoramento (por exemplo, Dynatrace, CloudWatch, tabelas de sistema do Databricks). * Experiência trabalhando em ambientes de desenvolvimento Agile ou em equipe é preferível. **Benefícios e vantagens** * **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e um orçamento anual de aprendizado dedicado * **Remuneração competitiva:** receba reconhecimento que reflete suas habilidades e impacto, com avaliações regulares de desempenho e remuneração * **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que suportam foco, autonomia e um ritmo de trabalho saudável * **Projetos significativos e modernos:** construa produtos de impacto usando tecnologias modernas ao lado de equipes globais e marcas líderes * **Cultura colaborativa:** junte-se a um ambiente de apoio sem microgerenciamento, onde as ideias são bem-vindas e as contribuições são reconhecidas * **Bem\-estar \& suporte:** acesso a programas locais de bem\-estar e suporte focado em pessoas adaptado à sua localização Tipo de Vaga: Tempo\-integral Local de Trabalho: Remoto

Alguns conteúdos foram traduzidos automaticamente pelo sistema

Publicado por

João Silva

Indeed · HR

Localização

João Silva

Indeed · HR

Vagas semelhantes

Senior Data Engineer ID86297 vaga da Indeed em 2026 | ok.com