Senior Data Engineer ID71671

Descrição

**Sobre a vaga** Estamos à procura de um **Senior Data Engineer** para projetar, construir e escalar uma plataforma de dados moderna — projetando pipelines ETL/ELT de nível de produção, otimizando esquemas de data warehouse Snowflake e estabelecendo práticas robustas de DataOps. Você orquestrará fluxos de trabalho usando Airflow, Prefect ou Dagster, implementará estruturas de qualidade e linhagem de dados, integrará APIs REST de terceiros e fontes orientadas a eventos, e aplicará padrões de engenharia de software, incluindo CI/CD, Docker e testes automatizados, a repositórios de dados. A vaga prioriza código Python limpo e bem testado e um profundo compromisso com a confiabilidade e acessibilidade dos dados. **O que você fará** * **Desenvolvimento de Pipelines de Dados:** Projetar, construir e manter fluxos de trabalho ETL/ELT confiáveis e escaláveis que processam dados em lote e em streaming de diversas fontes. * **Data Warehousing \& Modelagem:** Projetar esquemas eficientes e prontos para produção (normalizados e denormalizados) no **Snowflake** para otimizar o desempenho das consultas e habilitar análises empresariais. * **Integração de APIs \& Eventos:** Conectar e ingerir dados de APIs REST de terceiros, streams orientados a eventos e fontes em lote para plataformas centrais de armazenamento de dados. * **Orquestração:** Manter e expandir pipelines de orquestração de fluxos de trabalho usando ferramentas modernas (Airflow, Prefect ou Dagster). * **Qualidade de Dados \& Observabilidade:** Implementar testes automatizados, validação, rastreamento de linhagem e estruturas de alertas proativos para garantir a precisão dos dados e a disponibilidade do sistema. * **DataOps \& Padrões de Engenharia:** Impor as melhores práticas de CI/CD, manter bases de código usando Git e Docker e adotar padrões básicos de Infraestrutura como Código (IaC). * **Excelência em Código:** Aplicar padrões modernos de engenharia de software — incluindo padrões de projeto, testes unitários/integração automatizados e documentação clara — a repositórios de dados. **Requisitos obrigatórios** * **4\+ anos de experiência** como Data Engineer. * **Fundamentos de Python:** Experiência demonstrável na escrita de código **Python** modular, mantível e bem testado (padrões OOP/funcionais, gerenciamento de pacotes, estruturas de teste padrão). * **SQL Avançado \& Modelagem:** Conhecimento profundo de consultas **SQL** complexas, otimização de consultas, princípios de design de banco de dados e padrões de normalização/denormalização. * **Data Warehousing:** Experiência sólida e prática na construção, gerenciamento e otimização de arquiteturas de dados dentro do **Snowflake**. * **Orquestração de Fluxos de Trabalho:** Experiência em produção usando motores de orquestração de fluxos de trabalho como **Apache Airflow, Prefect ou Dagster**. * **Integrações \& Ingestão:** Experiência prática no trabalho com APIs REST, arquiteturas orientadas a eventos e pipelines em lote e em streaming. * **Qualidade de Dados \& Linhagem:** Experiência na construção de verificações automatizadas de qualidade de dados, linhagem de dados e mecanismos de alerta (por exemplo, usando ferramentas como dbt test, Great Expectations ou similares). * **Práticas DevOps / DataOps:** Habilidades fortes em controle de versão (**Git**), containerização (**Docker**), automação **CI/CD** e familiaridade com os fundamentos de Infraestrutura como Código. * Nível de inglês intermediário avançado. **Desejáveis** * Experiência com **dbt** (ferramenta de construção de dados) para transformações de dados. * Familiaridade com principais provedores de nuvem (**AWS, GCP ou Azure**). * Exposição a tecnologias de streaming de mensagens como **Apache Kafka** ou AWS Kinesis. **Vantagens e benefícios** * **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e um orçamento anual dedicado de aprendizado * **Remuneração competitiva:** obtenha reconhecimento que reflita suas habilidades e impacto, com avaliações regulares de desempenho e remuneração * **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que suportam foco, autonomia e um ritmo de trabalho saudável * **Projetos significativos e modernos:** construa produtos de impacto usando tecnologias modernas ao lado de equipes globais e marcas líderes * **Cultura colaborativa:** junte-se a um ambiente de apoio sem microgerenciamento, onde as ideias são bem-vindas e as contribuições são reconhecidas * **Bem-estar \& suporte:** acesso a programas locais de bem-estar e suporte focado nas pessoas adaptado à sua localização Tipo de Emprego: Tempo integral Local de Trabalho: Remoto