Engenheiro de Dados (Sênior) ID53687

Descrição

Resumo: Junte-se à AgileEngine como Engenheiro de Dados especializado em Java e Apache Spark para construir e evoluir sistemas de processamento de dados em larga escala em um ambiente AWS EMR, melhorando a confiabilidade e escalabilidade da infraestrutura. Pontos principais: 1. Oportunidade de moldar conjuntos de dados críticos e capacidades analíticas 2. Colaborar com equipes de plataforma e dados em experimentos de alto impacto 3. Contribuir para a melhoria da confiabilidade e escalabilidade da infraestrutura de dados **Sobre nós** A AgileEngine é uma empresa listada na Inc. 5000 que cria softwares premiados para marcas da Fortune 500 e startups inovadoras em mais de 17 setores. Somos reconhecidos como líderes em áreas como desenvolvimento de aplicações e IA/ML, e nossa cultura centrada nas pessoas já nos rendeu diversos prêmios de Melhor Local para Trabalhar. Se você procura um lugar onde crescer, gerar impacto e trabalhar com pessoas que se importam, adoraríamos conhecê-lo! **Sobre a vaga** Como **Engenheiro de Dados** especializado em **Java** e **Apache Spark**, você ajudará a construir e evoluir sistemas de processamento de dados em larga escala que impulsionam experimentos e insights sobre usuários. Trabalhando em um ambiente baseado em nuvem (AWS EMR), você contribuirá para aprimorar a confiabilidade, escalabilidade e eficiência de custos da infraestrutura de dados. Esta vaga oferece a oportunidade de moldar conjuntos de dados críticos e capacidades analíticas, além de colaborar com equipes de plataforma e dados para apoiar experimentos e tomadas de decisão de alto impacto. **Suas responsabilidades** * Desenvolver e manter produtos construtores de índices, incluindo construtores de índices de sessão de usuário, construtores de índices derivados de sessões de usuário e construtores de índices para plataformas de experimentação; * Investigar e resolver problemas relatados relacionados aos construtores de índices; * Auxiliar nas consultas dos usuários sobre a plataforma e seus conjuntos de dados; * Melhorar a estabilidade e confiabilidade dos construtores de índices; * Apoiar esforços para otimizar os custos computacionais em toda a plataforma; * Contribuir para a iniciativa do Conjunto de Dados Central de Exposição, incluindo a construção de um conjunto de dados consolidado para análise de experimentos; * Trabalhar para atingir metas de atualização de código; * Persistir logs do Yarn e histórico do Spark para clusters encerrados; * Capturar métricas do UserCohort; * Otimizar a alocação de recursos para a infraestrutura da plataforma; * Ajudar a reduzir o número de instâncias principais (core instances) nos clusters da plataforma; * Apoiar a descontinuação dos construtores de índices legados usados na análise de experimentos. **Requisitos obrigatórios** * **4+ anos de experiência em desenvolvimento de software**; * **Graduação em Ciência da Computação** ou experiência prática equivalente; * Experiência prática significativa com **Java (4+ anos)**; * Experiência prática na implementação de jobs **Apache Spark**, incluindo particionamento, agrupamento, junções, importação de dados para o cluster e exportação de dados do cluster; * Experiência prática com **AWS**, especificamente com **AWS EMR** (ou capacidade de aprender rapidamente); * Nível avançado-intermediário de inglês. **Desejável** * Conhecimentos básicos de **Kubernetes**; * Experiência com **Spark Operator**; * Experiência com **Airflow**; * Experiência com **Scala**. **Importante:** *após confirmar sua candidatura nesta plataforma, você receberá um e-mail com o próximo passo: concluir sua inscrição no nosso site interno, LaunchPod. Portanto, fique atento à sua caixa de entrada e não perca esse passo — sem ele, o processo não poderá prosseguir.* **Benefícios e vantagens** * **Desenvolvimento profissional:** Acelere sua trajetória profissional com mentoria, TechTalks e roadmaps personalizados de crescimento. * **Remuneração competitiva:** Reconhecemos suas habilidades, talento e contribuições em constante evolução com uma remuneração competitiva em USD, além de orçamentos para educação, bem-estar físico e atividades em equipe. * **Seleção de projetos empolgantes:** Participe de projetos com soluções modernas e clientes de ponta, incluindo empresas da Fortune 500 e marcas líderes de produtos. * **Flexibilidade de horário:** Adapte sua agenda para alcançar o equilíbrio ideal entre vida pessoal e profissional, com opções de trabalho remoto e presencial — escolha o que o deixar mais feliz e produtivo. Tipo de vaga: Integral Local de trabalho: Remoto