Engenheiro de Sênior de Dados

Descrição

Estamos à procura de um Engenheiro de Sênior de Dados para liderar o design, o desenvolvimento e a manutenção de pipelines de dados e ML na plataforma Domino Data Lab. Esta posição centra-se nos aspectos de engenharia de dados e MLOps do Domino, construindo pipelines de dados confiáveis, supervisionando fluxos de trabalho do ciclo de vida do modelo e mantendo a infraestrutura de dados e computação da plataforma funcionando de forma eficiente e segura. Este não é um cargo de desenvolvimento front-end ou de aplicação. **Responsabilidades** * Construir e manter pipelines de dados confiáveis que impulsionam cargas de trabalho analíticas e de aprendizado de máquina * Gerenciar o ciclo de vida completo dos fluxos de trabalho de dados, abrangendo ingestão, transformação e entrega * Gerenciar a infraestrutura de computação para manter as operações da plataforma eficientes, seguras e confiáveis * Diagnosticar e resolver problemas que afetam o desempenho do pipeline e a qualidade dos dados * Trabalhar em conjunto com cientistas de dados e outros engenheiros para atender às suas necessidades de infraestrutura e ferramentas * Definir e promover melhores práticas em torno do uso da plataforma, do design do pipeline e da estrutura dos fluxos de trabalho de dados * Introduzir automação nos processos de teste e implantação para aumentar a confiabilidade e reduzir o trabalho manual * Monitorar a saúde do pipeline e antecipar gargalos ou falhas antes que eles se agravem * Ajudar a impulsionar a melhoria contínua de ferramentas e processos internos que suportam as operações de dados * Documentar designs técnicos, fluxos de trabalho e configurações para permitir o compartilhamento de conhecimento em toda a equipe **Requisitos** * Pelo menos 3 anos de experiência relevante * Experiência prática aprofundada com a plataforma Domino Data Lab, incluindo Fontes de Dados e Conectores, Conjuntos de Dados, Ambientes, Projetos, Tarefas e Fluxos, com a capacidade de projetar e solucionar problemas em pipelines de dados de ponta a ponta e promover melhores práticas para o uso da plataforma * Domínio de nível especialista em Python como principal linguagem para engenharia de dados e desenvolvimento de pipelines * Fortes habilidades em SQL para extração, transformação e otimização de dados em sistemas relacionais e de data warehouse * Confortável usando R e Bash em toda a cadeia de ferramentas de ciência de dados e para automação de scripts * Experiência comprovada no design, construção e manutenção de pipelines ETL/ELT, incluindo ingestão, transformação, validação e orquestração de dados * Experiência prática com Kubernetes e ofertas gerenciadas, como EKS, AKS ou GKE, com a capacidade de implantar, depurar e ajustar finamente cargas de trabalho de cluster que executam tarefas de dados e ML * Experiência na criação, otimização e solução de problemas de imagens de contêiner para cargas de trabalho de dados e ML usando Docker * Experiência no estabelecimento e manutenção de pipelines CI/CD usando ferramentas como Jenkins, GitLab CI, GitHub Actions ou Azure DevOps para automatizar o teste e a implantação de pipelines de dados e fluxos de trabalho de ML * Familiaridade operacional com pelo menos um grande provedor de nuvem, como AWS, Azure ou GCP, com a capacidade de avaliar compromissos de arquitetura de dados, custo e segurança * Excelente proficiência em inglês (nível B2 ou superior) **Desejável** * Experiência com Domino Nexus ou orquestração de computação híbrida/multi-nuvem * Experiência na entrega de fluxos de trabalho de ML abrangendo treinamento, implantação, monitoramento e retreinamento, com compreensão de reprodutibilidade e versionamento * Experiência prática com GenAI, LLMs ou frameworks agênticos, incluindo geração aumentada por recuperação (RAG), de uma perspectiva de pipeline de dados * Familiaridade com ferramentas de orquestração como MLflow, Kubeflow, Airflow ou Domino Flows * Conhecimento de governança de modelos, automação de conformidade ou frameworks de registro de auditoria * Experiência trabalhando em ambientes de farmacêutica, BFSI ou setor público **Oferecemos** * Projetos internacionais com marcas de topo * Trabalho com equipes globais de pares altamente qualificados e diversos * Benefícios de saúde * Programas financeiros para funcionários * Férias remuneradas e licença por doença * Cursos de aprimoramento, requalificação e certificação * Acesso ilimitado à biblioteca do LinkedIn Learning e a mais de 22.000 cursos * Oportunidades de carreira globais * Oportunidades de voluntariado e envolvimento comunitário * Grupos de Funcionários da EPAM * Cultura premiada reconhecida pela Glassdoor, Newsweek e LinkedIn *A EPAM é um empregador de oportunidades iguais. Todos os candidatos qualificados receberão consideração para o emprego independentemente de raça, cor, religião, sexo, origem nacional, idade, orientação sexual, identidade ou expressão de gênero, deficiência, status de veterano protegido ou qualquer outra característica protegida pela lei aplicável.*