Resumo da Vaga: Buscamos uma Pessoa Engenheira(o) de Dados para atuar no desenvolvimento, evolução e otimização de pipelines em larga escala, focando em Databricks e Spark. Principais Destaques: 1. Desenvolver e otimizar pipelines ETL/ELT em Databricks e Spark 2. Atuar com Python aplicado à engenharia de dados e Oracle/PL/SQL 3. Melhorar performance de pipelines e oferecer suporte técnico avançado **Descrição da vaga****:** **Sobre a vaga** Buscamos uma pessoa Engenheira(o) de Dados para atuar no desenvolvimento, evolução e otimização de pipelines em larga escala, com foco em Databricks e Spark. Essa pessoa será responsável por implementar soluções de dados robustas, assegurar performance e qualidade nas transformações, otimizar processos, documentar padrões técnicos e apoiar o time de sustentação em análises avançadas. O domínio de Databricks é obrigatório, assim como experiência sólida com Oracle e PL/SQL. **Responsabilidades** * Desenvolver, evoluir e otimizar pipelines ETL/ELT em **Databricks**, garantindo robustez e eficiência. * Implementar transformações utilizando **Spark** (PySpark / SQL), otimizando jobs e fluxos de dados. * Atuar com **Python aplicado à engenharia de dados** para processamento, integrações e automações. * Trabalhar com **Oracle / PL/SQL** (procedures, functions, tuning, validações e views). * Criar rotinas resilientes com **validações, idempotência e reprocessamentos controlados**. * Melhorar performance de pipelines: particionamento, caching, shuffle tuning, otimização Delta. * Documentar pipelines, fluxos, regras técnicas e padrões operacionais. * Oferecer **suporte técnico N2/N3** ao time de sustentação, auxiliando em falhas e análises avançadas. **Requisitos obrigatórios** * Experiência prática e comprovada com **Databricks** (Jobs, Workflows, clusters, logs). * Forte domínio de **Apache Spark** e otimização de processos distribuídos. * Experiência com **Python** aplicado à engenharia de dados (ETL/ELT). * Experiência sólida com **bancos de dados**, preferencialmente **Oracle**. * Conhecimento profundo em **PL/SQL** (procedures, functions, performance, explain plan). * Capacidade de desenhar, estruturar e sustentar pipelines de dados complexos. **Diferenciais** * Conhecimento em **Delta Lake** (MERGE/UPSERT, OPTIMIZE/ZORDER, schema evolution). * Experiência com **cloud storage** (S3 ou OCI Object Storage). * Experiência com **CI/CD para dados** (Git \+ pipelines). * Vivência com DataOps, observabilidade e monitoramento (métricas, alertas, dashboards). * Certificações relevantes (valorizadas): * Databricks Data Engineer Associate/Professional * AWS Solutions Architect / Data Analytics **Informações da Vaga** Modelo híbrido Contratação PJ \- 6 meses com possíbilidade de prorrogação **Localização****Modelo de contratação****Modelo de trabalho** São Paulo, SP, BR Autônomo PJ Remoto
João Silva
Indeed · HR
João Silva
Indeed · HR
