Senior Data Engineer

Descrição

### **Be yourself, be your best!** A e\-Core atua no desenvolvimento de soluções digitais e iniciativas estratégicas por meio de projetos específicos, conectando experiência especializada às necessidades de cada entrega. Para um projeto determinado, buscamos **pessoa jurídica prestadora de serviços**, com experiência técnica compatível com o escopo descrito abaixo, para atuação orientada a resultados e entregas previamente acordadas. ### **Contexto do projeto** O cliente é o maior varejista especializado em esqui e snowboard do Colorado, com mais de 59 unidades nos EUA. O pipeline de dados deles atualmente roda dentro de uma instância Snowflake gerenciada por terceiros, quando o pipeline falha, a recuperação exige a abertura de um chamado de suporte com o fornecedor. Não há opção de reinício self\-service. O prestador Engenheiro de Dados será responsável por toda a entrega técnica, desde a construção do pipeline até a transferência de conhecimento. Esse é um projeto de engenheiro único — toda a entrega técnica é sua responsabilidade: decisões de arquitetura, qualidade do build e garantir que o handover saia redondo. Coordenação direta com o time técnico interno do cliente desde o dia 1 — a disponibilidade deles é uma dependência real do cronograma. ### **Escopo da prestação de serviços** A prestação de serviços compreenderá, de forma não exclusiva: **Fase 1 — Fundação \& Pipeline de EL (Semanas 1–6\)** * Projetar e implementar o pipeline de EL do Data Share Snowflake do provedor de ERP para a instância Snowflake própria do Cliente no Azure East US; * Configurar Snowflake Tasks; * Construir contratos de schema em dbt, testes automatizados (contagem de linhas, verificação de nulos, integridade referencial) e catálogo de dados auto\-gerado — aplicação de qualidade, não transformação; * Implementar a carga histórica completa inicial a partir do Snowflake do provedor de ERP, seguida de execuções incrementais diárias — a arquitetura deve suportar aumento de frequência (2x/dia ou a cada 8 horas) sem necessidade de rearquitetura; * Apoiar o redirecionamento de feeds não relacionados ao ERP (sistema de aluguel, RH, outras integrações) do Snowflake do provedor de ERP para a instância Snowflake própria do Cliente — trabalhando junto à equipe interna do Cliente, que executará as mudanças. **Fase 2 — QA, Documentação \& Handover (Semanas 5–9\)** * Validar a qualidade completa dos dados nas 159 tabelas — fidelidade de schema, contagem de linhas, precisão das execuções incrementais; * Produzir runbooks operacionais completos: como monitorar o pipeline, reiniciar tasks com falha, adicionar novas tabelas e estender o cronograma de incrementais; * Conduzir sessões estruturadas de transferência de conhecimento (KT) com a equipe interna do Cliente — o objetivo é independência total a partir do primeiro dia (Day 1\); * Apoiar o período de hypercare de 30 dias — responder a problemas no pipeline, monitorar alertas e encerrar o engajamento. As atividades serão realizadas com autonomia técnica e operacional, respeitando o escopo, os prazos e os critérios de aceite acordados entre as partes. ### **Perfil profissional aderente ao projeto** Este projeto se conecta com profissionais que tem as seguintes habilidades e experiências: * Snowflake na prática — já ter construído e operado pipelines em produção, com Snowflake Tasks, dynamic tables e modelagem de schema; * Snowflake especificamente no Azure (East US ou equivalente) — experiência só com AWS não cobre esse projeto; * dbt — experiência em produção utilizando dbt para contratos de schema, testes automatizados e geração de documentação (não apenas transformação); * Domínio sólido de padrões de EL/ETL: carga incremental, change data capture, agendamento de pipeline; * SQL — nível avançado de SQL no Snowflake; capacidade de validar dados em escala e escrever queries incrementais eficientes; * Inglês — inglês escrito e falado em nível avançado; * Conhecimento de rede no Azure: private endpoints, configuração de VNet e como isso tudo se conecta com o Snowflake. * Documentação de dados — experiência na produção de documentação de mapeamento de campos e runbooks operacionais que stakeholders não\-técnicos consigam seguir; Design de pipeline incremental — experiência prática no design de pipelines que suportem aumento de frequência (diário* múltiplas vezes ao dia) sem necessidade de reconstrução. ### **Diferenciais desejáveis** Será considerado um diferencial se a pessoa prestadora de serviços tiver: * Experiência em ambientes de dados de varejo, e\-commerce ou ERP (SAP, Oracle Retail ou similar); * Snowflake Data Share — experiência consumindo ou produzindo Snowflake Data Shares; * Python — para scripts relacionados a orquestração de pipeline ou validação de dados. ### **Modelo de atuação** * Modalidade: 100% remoto * Regime: Pessoa Jurídica (PJ) * Forma de atuação: Prestação de serviços * Dedicação estimada: full\-time pelas 9 semanas do projeto * Prazo do projeto: 9 semanas A prestação de serviços não estabelece vínculo empregatício, subordinação, habitualidade ou exclusividade, sendo regida por contrato específico entre as partes. **Privacidade** Ao enviar uma inscrição, reconheço que li e entendi a Política de Privacidade da e\-Core. Privacy Policy (EN) / Política de Privacidade (PT\-BR) O objetivo de tudo o que fazemos é conectar pessoas e tecnologia para construir um futuro melhor juntos!