Brasil - Remoto: Engenheiro de Dados - Plataforma e Pipelines

Descrição

Resumo: Procuramos um Engenheiro de Dados para transformar dados industriais brutos em ativos estruturados, inovar e contribuir para uma líder global na indústria de energia. Principais destaques: 1. Inovar, realizar, crescer e liderar na indústria global de energia. 2. Transformar dados brutos em ativos estruturados e consultáveis. 3. Trabalhar com arquitetura de dados e tecnologias de ponta. Estamos à procura das pessoas certas — pessoas que desejam inovar, realizar, crescer e liderar. Atraímos e retemos os melhores talentos investindo em nossos funcionários e capacitando-os a desenvolverem-se e suas carreiras. Experimente os desafios, recompensas e oportunidades de trabalhar para um dos maiores fornecedores globais de produtos e serviços para a indústria global de energia. **Funções do Cargo** -------------- Estamos implementando uma rigorosa **Arquitetura em Medalhões** para organizar petabytes de dados industriais. Este cargo destina-se a um Engenheiro de Dados que se destaque ao transformar o caos bruto em ativos estruturados e consultáveis. Você construirá e manterá as pipelines ELT que movem dados da camada "Bronze" (bruta) para a camada "Silver" (limpa) e para a camada "Gold" (agregada). Você trabalhará com Delta Lake (On\-prem/**Databricks), Polars** e **Airflow** para garantir qualidade e disponibilidade dos dados para Cientistas de Dados e para o Grafo de Conhecimento. **O que você fará** * **Desenvolvimento de Pipelines:** Desenvolver e manter DAGs robustos no Airflow para orquestrar transformações complexas de dados. * **Transformação de Dados:** Utilizar Spark (quando a escala exigir) e Polars para limpar, enriquecer e agregar dados conforme a lógica de negócios. * **Implementação da Arquitetura:** Aplicar os padrões da Arquitetura em Medalhões, assegurando uma separação clara de responsabilidades entre as camadas de dados. * **Ajuste de Desempenho:** Otimizar fluxos de processamento (trabalhos Polars/Spark) e consultas SQL para reduzir custos e tempo de execução; tomar decisões inteligentes sobre quando usar Polars ou Spark. * **Implantação e Operações:** Gerenciar a implantação de código em infraestrutura local e na nuvem, incluindo contêineres e configuração de ambientes. * **Qualidade de Dados:** Implementar verificações abrangentes de validação de dados e portões de qualidade entre as camadas em medalhões. * **Catálogo de Dados:** Manter metadados e entradas de catálogo para garantir que todos os ativos de dados sejam descobríveis e documentados. **Stack Tecnológica** * **Orquestração:** Apache Airflow. * **Processamento de Dados:** Polars (principal para ETL), PySpark/SQL (para escala massiva) * **Computação:** Workers de nó único (Polars), clusters Databricks/Spark (quando a escala exigir) * **Armazenamento:** Delta Lake, Parquet, S3/Blob Storage, MinIO * **Linguagem:** Python 3\.12\+ (com Polars), SQL. **Qualificações** ------------------ **Requisitos obrigatórios:** * Graduação completa em Ciência da Computação, Engenharia ou área correlata. * 3\+ anos de experiência em Engenharia de Dados. * Excelente domínio de **Apache Airflow** e **Databricks**. * Experiência na implementação de arquiteturas **Medallion/Delta Lake**. * Excelentes habilidades em **SQL** e **Python**. * Excelentes habilidades de comunicação em inglês. **Desejável:** * Experiência com **Unity Catalog** ou outras ferramentas de governança. * Familiaridade com **dbt** (data build tool). * Experiência prévia no processamento de dados de telemetria ou sensores. **Conhecimentos, Habilidades e Competências** ------------------------------------ * **O Pensador Estruturado:** Você adora organizar dados. Compreende a importância de esquemas, tipagem de dados e normalização. * **Obsessão por Qualidade:** Você não apenas move dados; você os testa. Implementa verificações para garantir que nenhum dado ruim alcance a camada Gold. * **Construtor de Pipelines:** Você vê a engenharia de dados como engenharia de software. Escreve código modular e reutilizável para suas transformações. A Halliburton é uma Empregadora que Pratica Igualdade de Oportunidades. As decisões de contratação são tomadas sem considerar raça, cor, religião, deficiência, informação genética, gravidez, cidadania, estado civil, sexo/gênero, preferência sexual/orientação sexual, identidade de gênero, idade, condição de veterano, origem nacional ou qualquer outro status protegido por lei ou regulamento. **Localização** Cargo totalmente remoto. **Detalhes do Cargo** **Número da Vaga:** 205556 **Nível de Experiência:** Iniciante **Família de Cargos:** Engenharia/Ciência/Tecnologia **Linha de Produto/Serviço:** Software e Serviços Landmark **Tempo Integral / Meio Período:** Tempo Integral **Grupo de Funcionários:** Temporário **Informações sobre Remuneração** A remuneração é competitiva e compatível com a experiência.