Engenheiro(a) de dados (1)

Descrição

Resumo da Vaga: Procuramos um Engenheiro de Dados para atuar em projetos de dados na nuvem AWS, desenhando, desenvolvendo e mantendo pipelines de dados escaláveis. Principais Destaques: 1. Atuação com projetos de dados na nuvem AWS e Apache Spark 2. Desenvolvimento e manutenção de pipelines de dados eficientes 3. Colaboração em equipes multidisciplinares e proposição de soluções Descrição: Buscamos profissional para atuar como Engenheiro de Dados focado em projetos de dados na nuvem AWS, utilizando Apache Spark e Python. O profissional será responsável pelo desenho, desenvolvimento e manutenção de pipelines de dados eficientes, escaláveis e confiáveis, com forte integração a serviços em nuvem e ecossistemas distribuídos. Responsabilidades e atribuições * Projetar, implementar e manter pipelines de dados (ETL/ELT) utilizando Python, PySpark e serviços AWS (S3, Glue, Athena, EMR, Lambda, Redshift). * Trabalhar com processos em batch e streaming em ambientes altamente distribuídos. * Modelar e estruturar arquiteturas de dados, data lakes e data warehouses. * Otimizar rotinas, consultas e fluxos de dados, garantindo escalabilidade, segurança e alta disponibilidade. * Colaborar com equipes multidisciplinares para entender requisitos técnicos e de negócio, propondo soluções inovadoras.Implementar boas práticas de governança, qualidade e segurança de dados. Requisitos e qualificações * Experiência comprovada com AWS (S3, Glue, EMR, Athena, Redshift, Lambda). * Domínio de Apache Spark (PySpark), incluindo processamento de dados em batch e streaming. * Forte conhecimento em Python para desenvolvimento de pipelines e integrações. * Experiência com bancos de dados relacionais e NoSQL (ex: DynamoDB, MongoDB). * Vivência com arquitetura de Data Lake e Data Warehouse. * Habilidade em modelagem, análise e integração de dados de diferentes fontes. * Graduação em áreas correlatas (Computação, Sistemas, Engenharia ou similares). 2511120202181861823