Brasil - Remoto: Engenheiro de Dados – Plataforma e Pipelines

Descrição

Resumo: Procuramos um Engenheiro de Dados para transformar dados industriais brutos em ativos estruturados e consultáveis, utilizando a Arquitetura Medallion e pipelines ELT, garantindo qualidade e disponibilidade dos dados. Pontos Principais: 1. Inove e cresça com um dos maiores fornecedores do setor energético do mundo 2. Transforme o caos em dados estruturados utilizando a inovadora Arquitetura Medallion 3. Desenvolva robustos pipelines ELT com Airflow, Delta Lake, Polars e Databricks Estamos à procura das pessoas certas — pessoas que desejam inovar, alcançar resultados, crescer e liderar. Atraímos e retemos os melhores talentos investindo em nossos funcionários e capacitando-os a desenvolverem-se e avançarem em suas carreiras. Experimente os desafios, recompensas e oportunidades de trabalhar para um dos maiores fornecedores globais de produtos e serviços ao setor energético mundial. **Principais Atribuições** -------------- Estamos implementando uma rigorosa **Arquitetura Medallion** para organizar petabytes de dados industriais. Este cargo destina-se a um Engenheiro de Dados especializado em transformar o caos bruto em ativos estruturados e consultáveis. Você construirá e manterá os pipelines ELT que movem dados da camada "Bronze" (brutos) para a camada "Silver" (limpos) e, por fim, para a camada "Gold" (agregados). Você trabalhará com Delta Lake (On\-prem/**Databricks), Polars** e **Airflow**, garantindo qualidade e disponibilidade dos dados para Cientistas de Dados e para o Grafo de Conhecimento. **O Que Você Fará** * **Desenvolvimento de Pipelines:** Desenvolver e manter robustos DAGs no Airflow para orquestrar complexas transformações de dados. * **Transformação de Dados:** Utilizar Spark (quando a escala exigir) e Polars para limpar, enriquecer e agregar dados conforme a lógica de negócios. * **Implementação da Arquitetura:** Aplicar os padrões da Arquitetura Medallion, assegurando clara separação de responsabilidades entre as camadas de dados. * **Ajuste de Desempenho:** Otimizar fluxos de processamento (trabalhos Polars/Spark) e consultas SQL para reduzir custos e tempo de execução; tomar decisões inteligentes sobre quando utilizar Polars ou Spark. * **Implantação e Operações:** Gerenciar a implantação de código em infraestrutura local e na nuvem, incluindo contêineres e configuração de ambientes. * **Qualidade dos Dados:** Implementar verificações abrangentes de validação de dados e portões de qualidade entre as camadas Medallion. * **Catálogo de Dados:** Manter metadados e entradas no catálogo para garantir que todos os ativos de dados sejam descobríveis e documentados. **Stack Tecnológica** * **Orquestração:** Apache Airflow. * **Processamento de Dados:** Polars (principal para ETL), PySpark/SQL (para grandes volumes) * **Computação:** Workers de nó único (Polars), clusters Databricks/Spark (quando a escala exigir) * **Armazenamento:** Delta Lake, Parquet, S3/Blob Storage, MinIO * **Linguagem:** Python 3\.12\+ (com Polars), SQL. **Qualificações** ------------------ **Requisitos Obrigatórios:** * Graduação completa em Ciência da Computação, Engenharia ou área correlata. * 3\+ anos de experiência em Engenharia de Dados. * Excelente domínio de **Apache Airflow** e **Databricks**. * Experiência na implementação de arquiteturas **Medallion/Delta Lake**. * Fortes habilidades em **SQL** e **Python**. * Excelentes habilidades de comunicação em inglês. **Desejável:** * Experiência com **Unity Catalog** ou outras ferramentas de governança. * Familiaridade com **dbt** (data build tool). * Experiência prévia no processamento de dados de telemetria ou sensores. **Conhecimentos, Habilidades e Competências** ------------------------------------ * **Pensador Estruturado:** Você adora organizar dados. Compreende a importância de esquemas, tipagem de dados e normalização. * **Obsessão pela Qualidade:** Você não apenas move dados; você os testa. Implementa verificações para garantir que nenhum dado inadequado alcance a camada Gold. * **Construtor de Pipelines:** Você vê a engenharia de dados como engenharia de software. Escreve código modular e reutilizável para suas transformações. **A Halliburton é uma Empregadora que Pratica a Igualdade de Oportunidades. As decisões de contratação são tomadas sem considerar raça, cor, religião, deficiência, informação genética, gravidez, cidadania, estado civil, sexo/gênero, preferência/identidade sexual, identidade de gênero, idade, condição de veterano, origem nacional ou qualquer outro status protegido por lei ou regulamento.** **Localização** Cargo totalmente remoto. **Detalhes da Vaga** **Número da Vaga:** 205556 **Nível de Experiência:** Entrada **Área Funcional:** Engenharia/Ciência/Tecnologia **Linha de Produto/Serviço:** Landmark Software \& Services **Tempo Integral / Meio Período:** Tempo Integral **Grupo de Empregados:** Temporário **Informações Sobre Remuneração** A remuneração é competitiva e compatível com a experiência.