Engenheiro de Dados (Sênior) ID53687

Descrição

Resumo: Procuramos um Engenheiro de Dados especializado em Java e Apache Spark para construir e aprimorar sistemas de processamento de dados em larga escala em um ambiente baseado em nuvem com AWS EMR, melhorando a confiabilidade, escalabilidade e eficiência de custos da infraestrutura. Pontos principais: 1. Modelar conjuntos de dados críticos e capacidades analíticas 2. Colaborar com equipes de plataforma e dados para tomadas de decisão de alto impacto 3. Contribuir para software premiado de marcas da Fortune 500 **Sobre nós** A AgileEngine é uma empresa classificada na lista Inc. 5000 que desenvolve software premiado para marcas da Fortune 500 e startups inovadoras em mais de 17 setores. Somos líderes em áreas como desenvolvimento de aplicações e IA/ML, e nossa cultura centrada nas pessoas já nos rendeu diversos prêmios de Melhor Local para Trabalhar. Se você procura um lugar onde crescer, gerar impacto e trabalhar com pessoas que se importam, adoraríamos conhecê-lo! **Sobre a vaga** Como **Engenheiro de Dados** especializado em **Java** e **Apache Spark**, você ajudará a construir e aprimorar sistemas de processamento de dados em larga escala que impulsionam experimentações e insights sobre usuários. Trabalhando em um ambiente baseado em nuvem com AWS EMR, você contribuirá para a melhoria da confiabilidade, escalabilidade e eficiência de custos da infraestrutura de dados. Esta posição oferece a oportunidade de moldar conjuntos de dados críticos e capacidades analíticas, além de colaborar com equipes de plataforma e dados para apoiar experimentações e tomadas de decisão de alto impacto. **Suas responsabilidades** * Desenvolver e manter produtos construtores de índices, incluindo construtores de índices de sessão de usuário, construtores de índices derivados de sessões de usuário e construtores de índices para plataformas de experimentação; * Investigar e resolver problemas relatados relacionados aos construtores de índices; * Auxiliar nas consultas dos usuários sobre a plataforma e seus conjuntos de dados; * Melhorar a estabilidade e confiabilidade dos construtores de índices; * Apoiar esforços para otimizar os custos computacionais em toda a plataforma; * Contribuir para o esforço do Conjunto de Dados Central de Exposição, incluindo a construção de um conjunto de dados consolidado para análise de experimentos; * Trabalhar para atingir as metas de atualização de código; * Persistir logs do Yarn e histórico do Spark para clusters encerrados; * Capturar métricas do UserCohort; * Otimizar a alocação de recursos para a infraestrutura da plataforma; * Ajudar a reduzir o número de instâncias de núcleo para os clusters da plataforma; * Apoiar a desativação dos construtores de índices legados usados na análise de experimentos. **Requisitos obrigatórios** * **4+ anos de experiência em desenvolvimento de software**; * **Graduação em Ciência da Computação** ou experiência prática equivalente; * Experiência prática significativa com **Java (4+ anos)**; * Experiência prática na implementação de jobs **Apache Spark**, incluindo particionamento, agrupamento, junções, importação de dados para o cluster e exportação de dados do cluster; * Experiência prática com **AWS**, especificamente **AWS EMR** (ou capacidade de aprender rapidamente); * Nível avançado-intermediário de inglês. **Desejáveis** * Conhecimento básico de **Kubernetes**; * Experiência com **Spark Operator**; * Experiência com **Airflow**; * Experiência com **Scala**. **Importante:** *após confirmar sua candidatura nesta plataforma, você receberá um e-mail com o próximo passo: concluir sua candidatura no nosso site interno, LaunchPod. Portanto, fique de olho na sua caixa de entrada e não perca esse passo — sem ele, o processo não poderá prosseguir.* **Benefícios e vantagens** * **Desenvolvimento profissional:** Acelere sua trajetória profissional com mentoria, TechTalks e roadmaps personalizados de crescimento. * **Remuneração competitiva:** Alinhamos suas habilidades, talento e contribuições em constante evolução com uma remuneração competitiva em USD, além de orçamentos para educação, bem-estar físico e atividades em equipe. * **Seleção de projetos empolgantes:** Participe de projetos com desenvolvimento de soluções modernas e clientes de alto nível, incluindo empresas da Fortune 500 e marcas líderes de produtos. * **Jornada flexível:** Adapte sua agenda para alcançar o equilíbrio ideal entre vida profissional e pessoal, optando por trabalhar remotamente ou presencialmente — o que for mais feliz e produtivo para você. Tipo de vaga: Integral Local de trabalho: Remoto