Senior Data Engineer ID82548

Descrição

**Sobre a vaga** Estamos procurando um **Senior Data Engineer** com profundo conhecimento em Airflow e dbt para apoiar a implementação da Arquitetura Medallion, fortalecer a confiabilidade dos pipelines por meio de testes automatizados e alertas de falha, e migrar trabalhos ETL agendados para DAGs orquestrados no Airflow dentro de uma pilha de dados moderna do Snowflake. Você construirá arquiteturas de DAG complexas usando Python, auditará bases de código dbt para otimização de desempenho e custo, manterá pontos de integração entre Paradime e Airflow e garantirá zero tempo de inatividade para ferramentas de BI downstream durante mudanças contínuas na infraestrutura. Sobreposição no Fuso Horário do Leste é preferida para as reuniões diárias da equipe. **O que você fará** * Apoiar a implementação das camadas bronze/prata/ouro em todo o armazém de dados Snowflake, trabalhando com o Lead Data Engineer nas decisões de arquitetura e modelagem. * Construir testes automatizados e alertas de falha em todo o Paradime (ETL) e Airflow (orquestração), incluindo a reestruturação de trabalhos existentes selecionados para que as falhas sejam claramente atribuíveis. * Migrar trabalhos selecionados do Paradime baseados em agendamento para DAGs orquestrados no Airflow. * Trabalhar dentro dos estabelecidos controles de governança de dados e acesso ao construir ou modificar pipelines que tocam dados PII. * Traduzir agendamentos e dependências de transformações dbt para DAGs Airflow escaláveis e dinâmicos usando padrões de design Python modernos (decoradores @task, mapeamento dinâmico de tarefas). * Manter e evoluir pontos de integração entre Paradime e Airflow, à medida que ambas as ferramentas continuarem a ser usadas em produção. * Auditar bases de código dbt e caminhos de execução de pipelines para identificar gargalos, reduzindo o tempo de execução e o custo de computação. * Parceriar com o Lead Data Engineer para ajustar a arquitetura da pilha de dados moderna para suportar futuras camadas semânticas de IA e consumo downstream. * Estabelecer e manter rotinas automatizadas de tratamento de erros, alertas e recuperação de falhas em toda a pilha de pipelines. * Garantir nenhum tempo de inatividade ou perda de dados para ferramentas de BI (Sigma) e analíticas downstream durante mudanças contínuas na infraestrutura. * Assumir prioridades adicionais de engenharia de dados conforme atribuído, com base nas necessidades de negócio em evolução. **Requisitos obrigatórios** * **4\+ anos de experiência** como Data Engineer. * **Apache Airflow / Astronomer:** Experiência prática substancial em produção construindo, depurando e gerenciando arquiteturas de DAG complexas usando Python. * **Conhecimento em dbt (Data Build Tool):** Proficiência sólida na arquitetura dbt Core, macros, pacotes, materializações personalizadas, padrões de CI/CD (state deferral) e configurações de ambiente. * **Git Avançado \& CI/CD de Dados:** Histórico de construção de pipelines de implantação e testes de regressão automatizados para equipes de dados usando GitHub Actions ou similar. * **Engenharia de Dados em Produção:** Base sólida em engenharia de software/dados geral, escrevendo Python e SQL limpos, mantíveis e modulares. * Nível de inglês superior-intermediário. **Desejáveis** * Conhecimento em **Snowflake**: ajuste de computação (dimensionamento de armazém, perfil de consulta, clustering), arquitetura de RBAC/segurança. * **Infraestrutura como Código:** Terraform, Docker ou CloudFormation. * Experiência com **AWS S3** como parte de um pipeline de dados (por exemplo, camadas de staging/ingestão bruta). * Experiência em dados de sistemas de varejo empresarial, cadeia de suprimentos ou inventário. **Benefícios e vantagens** * **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e um orçamento anual dedicado de aprendizado * **Remuneração competitiva:** obtenha reconhecimento que reflete suas habilidades e impacto, com avaliações regulares de desempenho e remuneração * **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que suportam foco, autonomia e um ritmo de trabalho saudável * **Projetos significativos e modernos:** construa produtos de impacto usando tecnologias modernas ao lado de equipes globais e marcas líderes * **Cultura colaborativa:** junte-se a um ambiente de apoio sem microgerenciamento, onde as ideias são bem-vindas e as contribuições são reconhecidas * **Bem-estar \& suporte:** acesso a programas locais de bem-estar e suporte focado nas pessoas adaptado à sua localização Tipo de Emprego: Tempo integral Local de Trabalho: Remoto