Engenheiro de Dados, AWS Glue

Descrição

A NTT DATA é uma equipe de mais de 190.000 profissionais diversos, operando em mais de 50 países em todo o mundo. Os setores em que atuamos incluem: telecomunicações, finanças, indústria, serviços públicos, energia, administração pública e saúde. Nossa missão? Oferecer soluções tecnológicas, de negócios, estratégia, desenvolvimento e manutenção de aplicativos, sendo ao mesmo tempo uma referência em consultoria. Tudo graças à colaboração entre as equipes, à qualidade humana das nossas pessoas e ao fato de não nos conformarmos com o que está estabelecido, sempre buscamos inovação que nos aproxime do futuro. Nossa essência nos levou à vanguarda da tecnologia, quebrando paradigmas e fornecendo soluções que realmente atendem às necessidades de cada cliente. Nosso talento nos levou a ser uma das 6 principais empresas de tecnologia do mundo. Porque \#Greattech, precisa de \#GreatPeople, como você A NTT DATA está procurando jogadores de equipe de alto desempenho que se adaptem rapidamente a novos desafios e empreendimentos. Estamos procurando um **Engenheiro de Dados, AWS Glue** para trabalhar com nosso cliente global nos EUA. para uma oportunidade remota na **LATAM (incluindo México, Brasil, Chile, Peru).** **Visão Geral:** Estamos procurando um **Engenheiro de Dados** especializado em mover dados de sistemas de origem heterogêneos para o Amazon S3 e processá-los em todo o lago, com o AWS Glue como motor principal. O foco principal da função é a ingestão: conectividade às fontes, extração completa e incremental, design da zona de pouso e cargas confiáveis e repetíveis em escala. Sobre essa base, capacidades em todas as camadas da arquitetura medalhão, do pouso bruto até a camada limpa e ouro. Responsável pela confiabilidade do pipeline, qualidade dos dados e eficiência de custo de processamento em ambientes corporativos ou altamente regulados. **Responsabilidades:** * Projetar, construir e manter pipelines de ingestão que movem dados de fontes relacionais, de arquivo, API e de streaming para o Amazon S3, com cargas completas, incrementais e baseadas em CDC. * Definir e manter o layout da zona de pouso e bruta: particionamento, formatos de arquivo, convenções de nomenclatura, compressão, retenção e imutabilidade dos dados de origem. * Incorporar novos sistemas de origem de ponta a ponta, cobrindo conectividade e configuração de rede, gerenciamento de credenciais, estratégia de extração, análise de volume e janela e coordenação com os proprietários da fonte. * Garantir a completude e a integridade da carga por meio de conciliação com a fonte, tabelas de controle, procedimentos de reprocessamento e tratamento claro de execuções falhas ou parciais. * Implementar o processamento em todas as camadas da arquitetura medalhão, aplicando limpeza, padronização, deduplicação, conformidade e regras de negócios no estágio apropriado. * Registrar e manter conjuntos de dados no Glue Data Catalog, mantendo esquemas, partições e metadados alinhados com Athena, Redshift e Lake Formation. * Ajustar o desempenho e o custo do trabalho, monitorando o consumo de DPU, tempos de execução e layout de arquivo, e refatorando trabalhos que excedam as metas acordadas. * Incorporar controles de qualidade de dados nos pipelines, definir conjuntos de regras, lidar com registros rejeitados e publicar métricas de qualidade para as partes interessadas. * Orquestrar pipelines de múltiplas etapas com Glue Workflows, Step Functions e EventBridge, incluindo gerenciamento de dependências, alertas e recuperação. * Fornecer suporte L2 e L3 para pipelines de produção: análise de incidentes, investigação da causa raiz, backfills e backlog de melhoria contínua. * Aplicar e documentar padrões de desenvolvimento, convenções de nomenclatura e procedimentos de promoção em ambientes Dev, QA e Produção, e colaborar com as equipes de governança e segurança em políticas de acesso, captura de linhagem e qualidade de metadados. **Requisitos:** * 5\+ anos de experiência em engenharia de dados. * Deve ter proficiência funcional em inglês e espanhol, tanto por escrito quanto falado. * Experiência prática na construção de pipelines ETL com AWS Glue e PySpark. * Experiência em mover dados de bancos de dados e arquivos para o Amazon S3\. * Conhecimento sólido de Python, SQL, Spark e transformação de dados. * Experiência no design de pipelines de dados confiáveis, escaláveis e reiniciáveis. * Compreensão de lagos de dados S3 e arquiteturas de dados em camadas. * Experiência com ferramentas de fluxo de trabalho, monitoramento e qualidade de dados da AWS. * Experiência em suporte a pipelines de produção e solução de falhas. **Desejável:** * Experiência com serviços de dados adicionais da AWS, como DMS, Athena, Redshift ou Lake Formation. * Familiaridade com Informatica, Denodo, Terraform ou CloudFormation. * Experiência em ambientes corporativos ou altamente regulados. * Certificação relevante em AWS, engenharia de dados ou banco de dados. **Por que a NTT DATA?** Empoderamento e recompensas são a pedra angular do nosso modelo de desenvolvimento de carreira. Somos uma empresa jovem e de rápido crescimento, com um espírito altamente inovador e empreendedor, por isso a experiência profissional e o crescimento serão incomparáveis. Nosso talento e atitude positiva nos permitem transformar nossos objetivos em conquistas e projetos em realidades. A NTT DATA está comprometida em contratar e reter uma força de trabalho diversa. Temos orgulho de ser um Empregador de Oportunidade Igual/Ação Afirmativa, tomando decisões sem levar em conta raça, cor, religião, crença, sexo, orientação sexual, identidade de gênero, estado civil, origem nacional, idade, status de veterano, deficiência ou qualquer outra classe protegida. A NTT DATA é um Empregador de Oportunidade Igual Masculino/Feminino/Deficiente/Veterano e um Contratante Federal VEVRAA.