Engenheiro Sênior de Dados - Databricks / Azure

Descrição

Resumo: Buscamos um especialista em Engenharia Databricks para projetar, construir e otimizar pipelines Databricks dentro de um ambiente Azure para um projeto de alto impacto. Pontos de destaque: 1. Projetar, construir e otimizar pipelines Databricks em um ambiente Azure 2. Desenvolver fluxos de trabalho ETL/ELT confiáveis usando PySpark / Spark SQL 3. Implementar e manter a ingestão de dados de múltiplas fontes **Sobre nosso cliente:** A Johnson \& Johnson é uma das empresas de saúde mais respeitadas e inovadoras do mundo, dedicada a melhorar a saúde e o bem-estar das pessoas em todo o planeta. Com presença global nos setores de produtos farmacêuticos, dispositivos médicos e saúde do consumidor, a J\&J é reconhecida por combinar ciência, tecnologia e design para entregar soluções com impacto significativo. **Sobre a vaga:** Estamos buscando um Engenheiro Especialista em Databricks com sólida experiência no ecossistema Azure para apoiar um projeto de alto impacto. Trata-se de uma posição de contratado via Workana, com início imediato, contrato inicial de 3–4 meses e forte potencial de prorrogação. **Suas responsabilidades:** * Projetar, construir e otimizar pipelines Databricks em um ambiente Azure * Desenvolver fluxos de trabalho ETL/ELT confiáveis usando PySpark / Spark SQL * Implementar e manter a ingestão de dados de múltiplas fontes (APIs, bancos de dados, armazenamento em nuvem etc.) * Melhorar o desempenho, escalabilidade e eficiência de custos das cargas de trabalho Databricks * Trabalhar com partes interessadas para traduzir necessidades comerciais em soluções técnicas * Garantir boas práticas relacionadas à qualidade dos dados, monitoramento, documentação e manutenibilidade * Colaborar com equipes multifuncionais (engenharia de dados, análise de dados, produto etc.) **Requisitos:** * Experiência comprovada como Engenheiro Databricks (nível especialista) * Amplo trabalho prático com Azure Databricks * Conhecimento avançado em Spark / PySpark e SQL * Experiência com Azure Data Lake / Armazenamento Blob e fluxos de trabalho nativos do Azure * Sólida compreensão dos fundamentos da engenharia de dados (processamento em lote, orquestração, conceitos básicos de modelagem de dados) * Capacidade de trabalhar de forma independente em projetos ágeis e focados em entrega * Habilidade em comunicação em inglês (escrita e oral) para colaboração com equipes globais **Diferenciais:** * Experiência com Delta Lake e padrões de lakehouse * Familiaridade com ferramentas de orquestração (ex.: ADF, Airflow etc.) * Exposição a CI/CD para pipelines de dados (Azure DevOps, fluxos de trabalho baseados em Git) * Experiência apoiando casos de uso analíticos / relatórios ou de aprendizado de máquina downstream **Benefícios:** * Vaga 100% remota para contratados (compatível com LATAM) * Oportunidade de trabalhar com um líder global em saúde * Alta probabilidade de prorrogação após o contrato inicial