Resumo da Vaga: Procuramos Engenheiro(a) de Dados Sênior com experiência em Python e Apache Spark para desenvolver aplicações e pipelines de dados em plataforma moderna e escalável. Principais Destaques: 1. Atuação direta no desenvolvimento de aplicações e pipelines de dados. 2. Contribuição ativa com decisões de arquitetura e boas práticas de engenharia. 3. Ambiente colaborativo, inovador e aberto com projetos desafiadores. Estamos em busca de um(a) **Engenheiro(a) de Dados Sênior** com sólida experiência em **Python** e **Apache Spark**, que seja movido por desafios e tenha perfil colaborativo. Você atuará diretamente no desenvolvimento de aplicações e pipelines de dados em uma plataforma moderna e escalável, contribuindo ativamente com decisões de arquitetura e boas práticas de engenharia. **Responsabilidades e atribuições** * Projetar, desenvolver e manter **pipelines de ingestão de dados** a partir de múltiplas fontes (APIs, bases transacionais, arquivos e serviços externos), garantindo confiabilidade e escalabilidade; * Implementar e otimizar **processamentos batch** para grandes volumes de dados, assegurando performance, consistência e rastreabilidade das informações; * Realizar **enriquecimento de dados**, integrando diferentes fontes, aplicando regras de negócio e preparando os dados para consumo analítico e operacional; * Desenvolver APIs e aplicações para **exposição, consumo e integração de dados** por sistemas internos e externos; * Atuar em conjunto com áreas de negócio e times técnicos (Arquitetura, Segurança e Infraestrutura) no **desenho de soluções de dados ponta a ponta**; * Garantir a **qualidade dos dados e do código**, com foco em testes automatizados, versionamento, governança e manutenibilidade; * Demonstrar iniciativa e autonomia na **análise e resolução de problemas técnicos complexos** em ambientes de dados; * Colaborar com outros engenheiros e stakeholders na construção de **soluções escaláveis, sustentáveis e orientadas a dados.** **Requisitos e qualificações** * Experiência avançada em **Python / Scala** aplicados ao desenvolvimento de pipelines e aplicações de dados; * Vivência prática e aprofundada com **Apache Spark**, especialmente em **processamentos batch** e transformação de grandes volumes de dados; * Experiência sólida no uso de **serviços AWS**, como **S3, EMR, RDS**, aplicados a arquiteturas de dados escaláveis; * Conhecimento avançado em **configuração, tuning e otimização de recursos AWS**, com foco em performance e custo; * Experiência com **orquestração de pipelines de dados**, preferencialmente utilizando **Apache Airflow**; * Domínio de **estruturas de dados** e desenvolvimento de **APIs REST** para ingestão, exposição e integração de dados; * Experiência em **arquiteturas de Data Lake**, incluindo modelagem, particionamento, versionamento e governança de dados; * Familiaridade com práticas de **CI/CD (Integração e Entrega Contínua)** aplicadas a projetos de dados. **Informações adicionais** * Remuneração competitiva com base na experiência; * Possibilidade de crescimento na empresa e de participação em projetos estratégicos; * Ambiente de trabalho dinâmico e desafiador; * Oportunidade de trabalhar em uma empresa do mercado em plena expansão. A Extractta nasceu com o propósito de transformar tecnologia em resultados reais para empresas de diversos segmentos. Ao longo da nossa trajetória, nos consolidamos como uma consultoria de inovação e tecnologia que une estratégia, pessoas e soluções digitais para apoiar organizações em seus desafios de crescimento e transformação. Atuamos em diferentes frentes, desde a inovação e transformação digital até a gestão de projetos e operações, apoiando empresas a alcançarem resultados excepcionais por meio de eficiência, inteligência de processos e adaptação contínua. Também nos destacamos pela consultoria especializada que ajuda nossos parceiros a evoluírem em cultura digital, comunicação, dados e novas tecnologias, além de estabelecermos parcerias globais que nos permitem levar as melhores soluções ao ecossistema de nossos clientes, tudo isso com um time especializado! Na Extractta, acreditamos que o diferencial está nas pessoas. Por isso, investimos em um ambiente colaborativo, inovador e aberto, onde cada talento tem espaço para aprender, crescer e fazer parte de projetos desafiadores que realmente transformam negócios. Se você busca uma empresa em constante evolução, apaixonada por tecnologia e que valoriza o desenvolvimento de seus colaboradores, o seu lugar pode ser aqui. Junte\-se à Extractta e venha construir o futuro conosco.