Engenheiro de Dados Sênior

Descrição

Estamos à procura de um Engenheiro de Dados Sênior para liderar o design, desenvolvimento e manutenção de pipelines de dados e ML na plataforma Domino Data Lab. Esta função foca no lado de engenharia de dados e MLOps do Domino, construindo pipelines de dados confiáveis, gerenciando fluxos de trabalho do ciclo de vida do modelo e garantindo que a infraestrutura de dados e computação da plataforma funcione de forma eficiente e segura. Esta não é uma função de front\-end ou desenvolvimento de aplicação. **Responsabilidades** * Projetar, construir e manter pipelines de dados robustos que suportem cargas de trabalho analíticas e de aprendizado de máquina * Gerenciar o ciclo de vida de ponta a ponta dos fluxos de trabalho de dados, da ingestão à transformação e entrega * Supervisionar a infraestrutura de computação para garantir operações da plataforma eficientes, seguras e confiáveis * Diagnosticar e resolver problemas que afetem o desempenho do pipeline e a qualidade dos dados * Colaborar com cientistas de dados e outros engenheiros para atender às suas necessidades de infraestrutura e ferramentas * Estabelecer e promover melhores práticas para o uso da plataforma, arquitetura de pipelines e design de fluxos de trabalho de dados * Automatizar processos de teste e implantação para melhorar a confiabilidade e reduzir o esforço manual * Monitorar a saúde dos pipelines e abordar proativamente gargalos ou falhas * Contribuir para a melhoria contínua de ferramentas e processos internos que suportam as operações de dados * Documentar designs técnicos, fluxos de trabalho e configurações para apoiar o compartilhamento de conhecimento na equipe **Requisitos** * Mínimo de 3 anos de experiência relevante * Experiência prática extensa com a plataforma Domino Data Lab, incluindo Fontes de Dados e Conectores, Conjuntos de Dados, Ambientes, Projetos, Jobs e Flows, com a capacidade de arquitetar e diagnosticar pipelines de dados de ponta a ponta e orientar melhores práticas para o uso da plataforma * Proficiência em nível de especialista em Python como linguagem principal para engenharia de dados e desenvolvimento de pipelines * Forte domínio de SQL para extração, transformação e otimização de dados em sistemas relacionais e de data warehouse * Confortável trabalhando com R e Bash em toda a cadeia de ferramentas de ciência de dados e para scripts de automação * Experiência comprovada no design, construção e manutenção de pipelines ETL/ELT, incluindo ingestão, transformação, validação e orquestração de dados * Experiência prática com Kubernetes e soluções gerenciadas como EKS, AKS ou GKE, com a capacidade de implantar, depurar e ajustar cargas de trabalho de cluster que executam jobs de dados e ML * Experiência na construção, otimização e solução de problemas de imagens de contêiner para cargas de trabalho de dados e ML usando Docker * Experiência na construção e manutenção de pipelines CI/CD usando ferramentas como Jenkins, GitLab CI, GitHub Actions ou Azure DevOps para automatizar testes e implantação de pipelines de dados e fluxos de trabalho de ML * Conhecimento prático de pelo menos um grande provedor de nuvem, como AWS, Azure ou GCP, com a capacidade de raciocinar sobre trade\-offs de arquitetura de dados, custo e segurança * Excelente proficiência em inglês (nível B2 ou superior) **Desejável** * Experiência com Domino Nexus ou orquestração de computação híbrida/multi\-nuvem * Experiência na entrega de fluxos de trabalho de ML cobrindo treinamento, implantação, monitoramento e retraining, com compreensão de reprodutibilidade e versionamento * Experiência prática com GenAI, LLMs ou frameworks agênticos, incluindo geração aumentada por recuperação (RAG), de uma perspectiva de pipeline de dados * Familiaridade com ferramentas de orquestração como MLflow, Kubeflow, Airflow ou Domino Flows * Conhecimento de governança de modelos, automação de conformidade ou frameworks de registro de auditoria * Experiência trabalhando em ambientes de farmacêutica, BFSI ou setor público **Oferecemos** * Projetos internacionais com marcas de topo * Trabalho com equipes globais de pares altamente qualificados e diversos * Benefícios de saúde * Programas financeiros para funcionários * Férias remuneradas e licença por doença * Cursos de upskilling, reskilling e certificação * Acesso ilimitado à biblioteca do LinkedIn Learning e a mais de 22.000 cursos * Oportunidades de carreira globais * Oportunidades de voluntariado e envolvimento comunitário * Grupos de Funcionários da EPAM * Cultura premiada reconhecida por Glassdoor, Newsweek e LinkedIn *A EPAM é um empregador de igualdade de oportunidades. Todos os candidatos qualificados receberão consideração para o emprego independentemente de raça, cor, religião, sexo, origem nacional, idade, orientação sexual, identidade ou expressão de gênero, deficiência, status de veterano protegido ou qualquer outra característica protegida pela lei aplicável.*