Engenheiro de Dados Sênior ID71008

Descrição

**Sobre o cargo** Estamos buscando um **Engenheiro de Dados Sênior** para assumir a responsabilidade pela camada de pipeline de dados e arquitetura analítica de uma grande plataforma de análise de marketing. Você tomará decisões arquitetônicas sobre estratégias de particionamento, formatos de arquivo, projeto de esquema e processamento em tempo quase real para cargas de trabalho orientadas a OLAP construídas sobre um data lake baseado em S3. Você projetará e governará pipelines ETL, definirá estratégias de orquestração baseadas em DAG usando Airflow, impulsionará a pilha de dados da AWS — incluindo Athena e EKS — e liderará uma equipe de desenvolvedores seniores, aplicando rigorosos padrões de qualidade de código. **O que você fará** * Projetar e gerenciar pipelines ETL que extraem, transformam e validam dados de bancos de dados internos e APIs externas em larga escala. * Tomar decisões arquitetônicas sobre particionamento, formatos de arquivo, estratégia de esquema e tipos de dados, bem como processamento em tempo quase real para sistemas de dados de grande volume orientados a OLAP, construídos sobre um data lake baseado em armazenamento de objetos. * Assumir a responsabilidade pelo projeto de fluxos de trabalho agendados em lote (DAGs) na configuração do Airflow do cliente, definindo estrutura de pipeline, dependências e estratégias de acionamento, além de conduzir discussões arquitetônicas sobre esses temas. * Impulsionar o uso da pilha de dados da AWS do cliente, incluindo um data lake baseado em S3, Athena e EKS/Kubernetes. * Trabalhar diretamente com a equipe de DevOps do cliente para esclarecer requisitos funcionais e não funcionais. * Revisar pull requests e aplicar padrões rigorosos de qualidade de código. * Orientar desenvolvedores seniores e garantir alinhamento com as práticas de engenharia do cliente. **Requisitos obrigatórios** * **7 ou mais anos de experiência em engenharia**, com histórico comprovado de projeto e implementação de pipelines ETL e tomada de decisões arquitetônicas para sistemas de dados de grande volume. * Experiência prática com arquitetura analítica de dados no estilo OLAP, incluindo experiência com Athena, Trino/Presto, BigQuery, Snowflake, Spark SQL, ClickHouse ou tecnologias semelhantes. * Experiência prática no projeto de data lakes baseados em armazenamento de objetos, como **S3** ou equivalente, incluindo estratégias de particionamento, formatos de arquivo como **Parquet/ORC**, e trade-offs entre custo e desempenho. * Profundo conhecimento da definição e acionamento de fluxos de trabalho no estilo DAG, com ampla experiência em **Airflow** ou orquestradores comparáveis, como Dagster, Prefect, Luigi ou Step Functions. * Experiência prática no ecossistema de dados da **AWS**, incluindo data lakes baseados em S3, mecanismos de consulta sem servidor como Athena ou equivalente, e **EKS/Kubernetes**. * Excelente proficiência em backend com **Python**, com experiência no uso de FastAPI ou Flask. * Conforto ao trabalhar com **REST e GraphQL**. * Experiência com **Docker e PostgreSQL**, para camadas transacionais e de aplicação. * Alto nível de conforto em ambientes centrados no terminal Mac/Linux. * Experiência prática e direta com ferramentas de desenvolvimento assistido por IA, como Claude Code, combinada com julgamento crítico para questionar saídas geradas por IA quando comprometem a manutenibilidade a longo prazo. * Experiência em liderança na definição de padrões para o uso responsável de ferramentas de IA, incluindo identificação de atalhos arriscados impulsionados por IA durante revisões de código. * Forte comunicação e julgamento técnico, com capacidade de defender decisões técnicas, contestar soluções rápidas com raciocínio sólido e equilibrar manutenibilidade a longo prazo com entregas pragmáticas. * Nível de inglês intermediário-avançado. **Desejável** * Experiência direta em produção com Athena. * Conhecimento prático de TypeScript e React, suficiente para orientar integrações e revisar pull requests relacionadas à camada frontal. * Experiência em produção no desenvolvimento de funcionalidades de IA utilizando AWS Bedrock, LangChain, Pydantic AI ou tecnologias semelhantes. * Experiência com ferramentas de monorepo, como Nx, ou gerenciadores modernos de pacotes, como Poetry, UV ou Yarn. * Experiência com Redis e camadas de cache ou SageMaker. * Experiência com estruturas de dados de marketing, APIs de gerenciamento de campanhas ou métricas de publicidade digital. **Benefícios e vantagens** * **Crescimento sem limites:** desenvolva suas habilidades por meio de mentoria, TechTalks internos, projetos desafiadores e orçamento anual dedicado para aprendizado * **Remuneração competitiva:** receba reconhecimento condizente com suas habilidades e impacto, com avaliações regulares de desempenho e remuneração * **Flexibilidade:** trabalhe 100% remotamente com horários flexíveis que favorecem foco, autonomia e ritmo saudável de trabalho * **Projetos modernos e significativos:** construa produtos impactantes utilizando tecnologias modernas, em parceria com equipes globais e marcas líderes * **Cultura colaborativa:** junte-se a um ambiente de apoio, sem microgerenciamento, onde ideias são bem-vindas e contribuições são reconhecidas * **Bem-estar e suporte:** acesse programas locais de bem-estar e suporte centrado nas pessoas, adaptados à sua localidade Tipo de vaga: Integral Local de trabalho: Remoto