Engenheiro de Dados - Plataforma e Pipelines

Descrição

Resumo: Procuramos um Engenheiro de Dados para transformar dados industriais brutos em ativos estruturados e pesquisáveis, utilizando a Arquitetura em Medalhões e práticas avançadas de engenharia de dados. Pontos de Destaque: 1. Inove e cresça com um líder global da indústria de energia 2. Transforme dados brutos em ativos estruturados e pesquisáveis 3. Desenvolva e mantenha robustos pipelines ELT utilizando tecnologias de ponta Estamos à procura das pessoas certas — pessoas que desejam inovar, alcançar resultados, crescer e liderar. Atraímos e retemos os melhores talentos investindo em nossos funcionários e capacitando-os a desenvolver a si mesmos e suas carreiras. Experimente os desafios, recompensas e oportunidades de trabalhar para um dos maiores fornecedores mundiais de produtos e serviços para a indústria global de energia. **Atribuições do Cargo** -------------- Estamos implementando uma **Arquitetura em Medalhões** rigorosa para organizar petabytes de dados industriais. Este cargo é destinado a um Engenheiro de Dados que se destaque ao transformar o caos bruto em ativos estruturados e pesquisáveis. Você construirá e manterá os pipelines ELT que movem dados da camada "Bronze" (Brutos) para a camada "Silver" (Limpos) e, por fim, para a camada "Gold" (Agregados). Você trabalhará com Delta Lake (On\-prem/**Databricks), Polars** e **Airflow**, garantindo qualidade e disponibilidade dos dados para Cientistas de Dados e para o Grafo de Conhecimento. **O Que Você Fará** * **Desenvolvimento de Pipelines:** Desenvolva e mantenha robustos DAGs no Airflow para orquestrar transformações complexas de dados. * **Transformação de Dados:** Utilize Spark (quando a escala exigir) e Polars para limpar, enriquecer e agregar dados conforme a lógica de negócios. * **Implementação da Arquitetura:** Aplique os padrões da Arquitetura em Medalhões, assegurando uma clara separação de responsabilidades entre as camadas de dados. * **Ajuste de Desempenho:** Otimize fluxos de processamento (trabalhos Polars/Spark) e consultas SQL para reduzir custos e tempo de execução; tome decisões inteligentes sobre quando utilizar Polars ou Spark. * **Implantação e Operações:** Gerencie a implantação de código em infraestrutura on\-prem e na nuvem, incluindo contêineres e configuração de ambientes. * **Qualidade de Dados:** Implemente verificações abrangentes de validação de dados e portões de qualidade entre as camadas em medalhões. * **Catálogo de Dados:** Mantenha metadados e entradas de catálogo para garantir que todos os ativos de dados sejam descobríveis e documentados. **Stack Tecnológica** * **Orquestração:** Apache Airflow. * **Processamento de Dados:** Polars (principal para ETL), PySpark/SQL (para grande escala) * **Computação:** Trabalhadores de nó único (Polars), clusters Databricks/Spark (quando a escala exigir) * **Armazenamento:** Delta Lake, Parquet, S3/Blob Storage, MinIO * **Linguagem:** Python 3\.12\+ (com Polars), SQL. **Qualificações** ------------------ * **Pensador Estruturado:** Você adora organizar dados. Entende a importância de esquemas, tipagem de dados e normalização. * **Obsessão por Qualidade:** Você não apenas move dados; você os testa. Implementa verificações para garantir que nenhum dado incorreto atinja a camada Gold. * **Construtor de Pipelines:** Você vê a engenharia de dados como engenharia de software. Escreve código modular e reutilizável para suas transformações. **Conhecimentos, Habilidades e Competências** ------------------------------------ **Requisitos Obrigatórios:** * 3\+ anos de experiência em Engenharia de Dados. * Excelente domínio de **Apache Airflow** e **Databricks**. * Experiência na implementação de arquiteturas **Medallion/Delta Lake**. * Excelentes habilidades em **SQL** e **Python**. * Excelentes habilidades de comunicação em inglês. **Desejável:** * Experiência com **Unity Catalog** ou outras ferramentas de governança. * Familiaridade com **dbt** (ferramenta de construção de dados). * Experiência prévia no processamento de dados de telemetria ou sensores. A Halliburton é uma Empregadora que Pratica a Igualdade de Oportunidades. As decisões de contratação são tomadas sem considerar raça, cor, religião, deficiência, informação genética, gravidez, cidadania, estado civil, sexo/gênero, preferência/ orientação sexual, identidade de gênero, idade, condição de veterano, origem nacional ou qualquer outro status protegido por lei ou regulamento. **Localização** Rua Paulo Emidio Barbosa 485 Q, Rio de Janeiro, Rio de Janeiro, 291941, Brasil **Detalhes do Cargo** **Número da Vaga:** 205556 **Nível de Experiência:** Nível de Entrada **Área Funcional:** Engenharia/Ciência/Tecnologia **Linha de Produto/Serviço:** Landmark Software \& Services **Tempo Integral / Meio Período:** Tempo Integral **Locais Adicionais para esta posição:** **Informações sobre Remuneração** A remuneração é competitiva e compatível com a experiência.