Engenheiro de Dados

Descrição

Resumo: Buscamos um Engenheiro de Dados Pleno/Sênior para projetar, construir e manter pipelines de dados escaláveis e soluções baseadas em nuvem em um ambiente ágil. Pontos principais: 1. Projetar, desenvolver e manter pipelines de dados confiáveis e escaláveis 2. Construir e manter soluções de dados nativas em nuvem no Azure ou na AWS 3. Colaborar nas decisões de arquitetura e design dentro de equipes ágeis Estamos procurando um Engenheiro de Dados Pleno/Sênior para projetar, construir e manter pipelines de dados escaláveis e soluções de dados baseadas em nuvem. Esta função exige fortes habilidades práticas de engenharia, capacidade de trabalhar de forma autônoma em problemas bem definidos e experiência na operação de pipelines de dados em ambientes de produção. Você contribuirá para o desenvolvimento de plataformas de dados modernas, trabalhando em estreita colaboração com engenheiros seniores, equipes de produto e partes interessadas de análise em um ambiente ágil. ### **Principais responsabilidades** * Projetar, desenvolver e manter pipelines de dados confiáveis e escaláveis. * Implementar fluxos de trabalho ETL/ELT para processamento de dados em lote e em tempo real. * Desenvolver tarefas de processamento de dados usando Apache Spark (Python ou Scala). * Construir e manter soluções de dados nativas em nuvem no Azure ou na AWS. * Implementar transformações e modelos de dados usando DBT ou ferramentas equivalentes. * Garantir qualidade de código, testes e documentação em todos os pipelines de dados. * Participar de pipelines CI/CD para cargas de trabalho de engenharia de dados. * Monitorar, solucionar problemas e otimizar o desempenho e a confiabilidade dos pipelines de dados. * Colaborar com engenheiros seniores nas decisões de arquitetura e design. * Trabalhar dentro de equipes ágeis, contribuindo para o planejamento, estimativas e entregas. **Requisitos** * 3–4 anos de experiência em Engenharia de Dados ou funções similares. * Habilidades sólidas de programação em Python ou Scala. * Experiência prática com Apache Spark para processamento de dados em larga escala. * Experiência com plataformas em nuvem (Azure ou AWS). * Conhecimento sólido de SQL e modelagem relacional de dados. * Experiência na construção e manutenção de pipelines de dados de nível produtivo. * Experiência prática com pipelines CI/CD para fluxos de trabalho de dados. * Experiência com testes de dados (unitários, de integração, validação de dados). * Capacidade de trabalhar de forma independente nas tarefas atribuídas, com orientação quando necessário. * Excelentes habilidades de colaboração e comunicação. ### **Desejável:** * Experiência com DBT ou frameworks semelhantes de transformação de dados. * Experiência com Infraestrutura como Código (IaC), preferencialmente Terraform. * Conhecimento de bancos de dados NoSQL. * Experiência com plataformas de streaming (ex.: Kafka, Kinesis, Event Hubs). * Familiaridade com ferramentas de qualidade, monitoramento e observabilidade de dados.