Engenheiro Sênior de Qualidade de Dados

Descrição

Estamos à procura de um **Engenheiro Sênior de Qualidade de Dados** para impulsionar a validação rigorosa de dados, testes baseados em SQL\- e a automação de qualidade em ambientes de dados na nuvem. Você verificará transformações complexas, garantirá a consistência entre múltiplos sistemas e apoiará o trabalho de migração e implantação em ecossistemas de dados modernos. Junte-se a uma equipe distribuída focada em conjuntos de dados confiáveis e candidate-se hoje. **Responsabilidades** * Executar validação de QA para produtos de dados em massa dentro do ecossistema de troca de dados * Validar processos de correspondência e acréscimo e garantir a implantação correta nos pipelines de dados * Fornecer suporte de QA para migrações de plataformas de dados, garantindo a integridade dos dados e a correção funcional * Verificar produtos de dados e processos de atendimento de dados quanto à precisão e completude * Realizar validação e comparação de dados entre sistemas, incluindo arquivos de entrada de origem para tabelas de data warehouse na nuvem, verificações de tabela para tabela e confirmação de mapeamentos e transformações de dados em relação às especificações * Usar e aprimorar estruturas de verificação de qualidade construídas com scripts PySpark para automatizar a validação de dados * Investigar defeitos por meio de análise de dados, identificando causas raiz em pipelines de dados ou lógica de transformação * Colaborar com equipes de engenharia e dados para triar problemas, validar correções e confirmar a prontidão para produção * Contribuir para a automação de testes para validação e testes de dados para aumentar a eficiência e a cobertura * Comunicar descobertas, riscos e resultados de testes de forma clara às partes interessadas **Requisitos** * 5\+ anos de experiência em Engenharia de Qualidade de Dados * Especialização em SQL, incluindo junções complexas entre múltiplas tabelas e grandes conjuntos de dados * Experiência prática com data warehouses na nuvem, como BigQuery, Redshift ou Synapse Analytics * Conhecimento prático de serviços de plataformas em nuvem em AWS, Azure ou GCP * Compreensão de práticas de validação de dados e técnicas de comparação automatizada de dados * Formação em transformação, validação e verificação de mapeamento de dados usando especificações * Capacidade de entender e trabalhar com estruturas de qualidade baseadas em PySpark * Fortes habilidades de análise e depuração de dados, com a capacidade de identificar defeitos em pipelines de processamento de dados * Excelentes habilidades de comunicação escrita e verbal * Proficiência em inglês Superior\-Intermediário (B2\) **Desejável** * Proficiência em desenvolvimento Python ou PySpark * Formação em engenharia de dados ou ambientes de teste de pipelines de dados *EPAM é um empregador que oferece igualdade de oportunidades. Todos os candidatos qualificados receberão consideração para o emprego independentemente de raça, cor, religião, sexo, origem nacional, idade, orientação sexual, identidade ou expressão de gênero, deficiência, status de veterano protegido ou qualquer outra característica protegida pela lei aplicável.*