Engenheiro de Dados (m/f/d)

Descrição

Resumo: Esta posição de Engenheiro de Dados concentra-se no projeto, construção e otimização de pipelines e conjuntos de dados financeiros nos ambientes Azure, AWS e Databricks. Pontos principais: 1. Projetar e otimizar pipelines e conjuntos de dados financeiros. 2. Trabalhar com conjuntos de dados em larga escala e melhorar o desempenho. 3. Traduzir lógica de negócios em soluções de dados robustas. **Finalidade da posição** Os dados estão no centro da empresa. Esta função trabalhará em estreita colaboração com a equipe de Dados e Processos Financeiros, apoiando o desenvolvimento de pipelines e conjuntos de dados financeiros que viabilizam processos contábeis, integrações com ERP e relatórios financeiros operacionais. Isso inclui traduzir requisitos financeiros e contábeis em soluções de dados robustas, auditáveis e escaláveis. Como **Engenheiro de Dados**, seu papel concentra-se no projeto, construção e otimização de pipelines de dados, conjuntos de dados curados e modelos de dados analíticos nos ambientes Azure, AWS e Databricks. A posição envolve trabalhar com conjuntos de dados em larga escala, melhorar desempenho e confiabilidade, e traduzir lógica de negócios em tabelas, métricas e regras de transformação bem estruturadas. **Principais responsabilidades** Engenharia de Dados e Pipelines * Construir e manter pipelines ETL/ELT usando Databricks, PySpark, Spark SQL e Delta Lake. * Desenvolver notebooks, fluxos de trabalho e integrações com data lake prontos para produção. * Aplicar as melhores práticas de otimização do Spark (particionamento, cache, evitar shuffle, compactação de arquivos). * Apoiar o desenvolvimento de pipelines de dados específicos para finanças, incluindo conjuntos de dados utilizados para lançamentos financeiros, conciliações e integrações com ERP. Modelagem de Conjuntos de Dados e Lógica de Negócios * Projetar conjuntos de dados curados, camadas semânticas e data marts que impulsionam análises e relatórios. * Colaborar com partes interessadas do negócio para compreender requisitos, desafios operacionais e necessidades de tomada de decisão, garantindo alinhamento entre expectativas comerciais e restrições técnicas. * Converter requisitos de negócios em modelos de dados, definindo tabelas, métricas, KPIs e regras de transformação. * Trabalhar em estreita colaboração com proprietários de produtos e analistas para alinhar conjuntos de dados com processos de negócios. * Apoiar a estruturação de conjuntos de dados utilizados em processos financeiros (ex.: receita, custos, capital de giro, conciliações). * Documentar clara e consistentemente modelos de dados, linhagem, lógica e comportamento dos conjuntos de dados, com atenção especial à rastreabilidade e auditabilidade dos dados financeiros. Desempenho, Monitoramento e Confiabilidade * Trabalhar com conjuntos de dados muito grandes, otimizando transformações e armazenamento para escala e custo. * Ajustar e manter bancos de dados MSSQL (índices, processos em execução, diagnósticos de desempenho). * Implementar validações robustas de dados, aplicação de esquemas e verificações de qualidade em todos os pipelines. Trabalho em Equipe e Entrega * Colaborar com engenheiros, analistas e partes interessadas do negócio para entregar soluções de dados confiáveis. * Comunicar-se eficazmente tanto com públicos técnicos quanto não técnicos. **Qualificações** **Obrigatórias** * Experiência prática com **Databricks** (PySpark, Spark SQL, Delta Lake, Lakebase) e PostgreSQL. * Experiência com conjuntos de dados grandes e distribuídos. * Domínio de **Python**, **PySpark** e **SQL**. * Experiência em modelagem de dados, conjuntos de dados curados, camadas semânticas e arquitetura em medalhões. * Experiência com **AWS** (em particular Lambda, CloudWatch e Step Functions). * Competência no uso de Datadog ou plataformas semelhantes de observabilidade/monitoramento. * Excelentes habilidades de depuração, resolução de problemas e comunicação. * Conforto para atuar em ambientes ágeis. * Forte compromisso com documentação minuciosa. **Desejáveis** * Experiência com **Power BI**, **Tableau** ou **Luzmo**. * Conhecimento das práticas de CI/CD para pipelines de dados. * Graduação em **Ciência da Computação**, **Engenharia de Dados** ou área correlata. **Nossa oferta** * **Semana Flexível e Equilíbrio entre Vida Profissional e Pessoal:** Priorizamos sua saúde mental e bem-estar, oferecendo uma Semana Flexível de quatro dias com salário integral e sem redução na sua licença anual. Também oferecemos diversos tipos de licenças remuneradas especiais. * **Auxílio para Trabalho Remoto:** Você receberá uma ajuda mensal para cobrir parte de seus custos operacionais. Além disso, apoiaremos você na configuração adequada do seu ambiente remoto. * **Escritório Flexível:** Oferecemos uma cultura internacional e flexibilidade por meio do nosso modelo Flexi-Office e possibilidades híbridas/remotas de trabalho em todas as regiões da Awin. * **Vales Refeição:** Você será apoiado com um valor líquido específico para gastar em diversas opções de almoço. * **Saúde e Bem-Estar:** O seguro cobre diversos tratamentos médicos, oftalmológicos e/ou odontológicos para você e até um membro adicional da família. * **Pacote de Mobiliário para Trabalho Remoto:** Após três meses de emprego, você terá direito a um pacote de mobiliário destinado a configurar adequadamente seu local de trabalho remoto. * **Reconhecimento:** Agradeça e recompense colegas enviando-lhes um vale por meio do nosso programa de reconhecimento entre pares. Fundada em 2000, a Awin orgulha-se de sua cultura dinâmica, social e inclusiva. Como todas as empresas, precisamos adaptar e cultivar nossa cultura em um ambiente virtual. Nosso hub virtual 'Life @ Awin' reúne colegas de todo o mundo para diversas atividades sociais. Diversidade e Inclusão são fundamentais para nós, e buscamos ativamente e contratamos membros de equipes diversas. Defendemos a singularidade e a autenticidade; é isso que somos em nossa essência. Nossa rede de parcerias de afiliados é diversa e transparente, assim como os funcionários que impulsionam nossa visão de construir o maior ecossistema aberto de parceiros do mundo. Recebemos com entusiasmo todos os perfis, identidades e experiências. Se precisar de apoio em qualquer etapa do processo seletivo ou entrevista, por favor, avise-nos. A Awin faz parte do grupo Axel Springer. Saiba mais em axelspringer.com/en/, e explore as Axel Springer Essentials aqui: axelspringer.com/en/inside/the-essentials-what-we-have-adapted-and-why Candidate-se agora para dar início à próxima etapa de sua carreira em uma empresa progressista que apoia tanto seu desenvolvimento profissional quanto pessoal. #LI-RS1