Engenheiro de Dados PL/SR (Consultoria)

Descrição

Resumo da Vaga: Consultor de Engenharia de Dados com foco em projetos estratégicos utilizando Databricks, otimização de dados e arquiteturas Data Lakehouse. Principais Destaques: 1. Atuar como consultor em projetos estratégicos de engenharia de dados 2. Desenvolver e manter pipelines de dados (ETL/ELT) 3. Desenhar e implementar arquiteturas de Data Lakehouse **Principais Responsabilidades:** * Atuar como **consultor** em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma **Databricks**; * Identificar e implementar melhores práticas para cargas de **grande volume de dados**, garantindo **performance e disponibilidade** das informações; * Trabalhar com **otimização de queries e modelagem de dados** para melhorar a eficiência em consultas analíticas; * Desenvolver e manter **pipelines de dados (ETL/ELT)** para integração de diversas fontes, garantindo qualidade e governança; * **Desenhar e implementar arquiteturas de Data Lakehouse**, aplicando o conceito **Medalhão** (Bronze, Silver, Gold); * Apoiar a **modelagem de dados** para **Data Warehouses modernos** (Star\-Schema, Snowflake); * Explorar **boas práticas em ambientes de Big Data**, especialmente no contexto **Databricks** e **Delta Lake**; * Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas; * Garantir a governança de dados, incluindo controle de acessos e versionamento. Requisitos: **Buscamos alguém com:** * **Experiência sólida em Databricks** e arquitetura **Delta Lakehouse**; * **Forte conhecimento em SQL** e otimização de queries para processamento distribuído; * **Experiência com ETL/ELT** e arquitetura de dados escalável; * **Conhecimento de pipelines de dados incrementais** (UPSERTS, MERGE, CDC); * **Experiência em modelagem de dados analítica** (Star\-Schema, Snowflake); * **Experiência com cargas em Databricks**, incluindo refatoração de pipelines e tuning de performance; **Diferenciais:** * **Familiaridade com Unity Catalog** para governança e controle de acesso em Databricks; * Conhecimento em **Data Warehouses modernos** (Databricks, Snowflake, BigQuery, Redshift); * Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR; * Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados. Benefícios **O que oferecemos:** * **Flexibilidade!** Nosso time é remoto, você pode trabalhar onde quiser; * **Plano de saúde e odontológico Bradesco**; * **Conexa Saúde** \& **Psicologia Viva**; * **Wellhub** (antiga Gympass); * Parceria com a **Open English**; * **Caju:** Auxílio Home Office; * **Day off** de aniversário; * **22 dias úteis/ano de recesso remunerado**; * **Modelo de contratação PJ** (valor fixo mensal).