Engenheiro Líder de Dados na AWS

Descrição

**Resumo do Cargo** O Engenheiro Líder de Dados na AWS fornece **liderança técnica e execução prática** para plataformas de dados empresariais hospedadas na **Amazon Web Services (AWS)**. Esse cargo lidera o projeto, migração, modernização e operação de **arquiteturas de dados nativas para a nuvem**, que sustentam plataformas críticas de análise financeira, pagamentos a consultores, mobilidade e corporativas. O Engenheiro Líder de Dados na AWS é responsável pela **tomada de decisões técnicas de ponta a ponta** para plataformas de dados na AWS, incluindo arquitetura, segurança, orquestração e prontidão para produção. O cargo exige profundo conhecimento especializado em **serviços de dados da AWS, desenvolvimento em Python e PySpark, orquestração de fluxos de trabalho, projeto de lagos de dados, infraestrutura como código e excelência operacional**, além da capacidade de orientar engenheiros e colaborar eficazmente com equipes de infraestrutura, IAM e bancos de dados. **Principais Responsabilidades** **Liderança Técnica e Propriedade da Plataforma** * Atuar como **líder técnico e autoridade de projeto** para iniciativas de engenharia de dados na AWS em múltiplas plataformas empresariais. * Ser responsável pelas decisões arquitetônicas relacionadas à escalabilidade, confiabilidade, segurança e otimização de custos das plataformas de dados na AWS. * Definir e impor padrões de engenharia, padrões de codificação e melhores práticas operacionais para pipelines de dados na nuvem. * Fornecer orientação técnica prática, revisões de projeto e revisões de código para engenheiros de dados. **Engenharia de Plataformas de Dados na AWS** * Liderar o projeto, desenvolvimento e suporte de pipelines de dados nativos para a nuvem utilizando **Amazon S3, AWS Glue (PySpark), MWAA (Apache Airflow) e AWS Step Functions**. * Impulsionar **migrações de plataformas de dados locais para a AWS**, incluindo a engenharia reversa de fluxos de trabalho ETL legados e sua reimplementação com serviços nativos da AWS. * Recriar processos ETL baseados em **Oracle Data Integrator (ODI)** em **jobs escaláveis do Glue baseados em PySpark**. * Otimizar cargas de trabalho Spark quanto ao desempenho, uso de memória e eficiência de custos nos ambientes AWS Glue. **Projeto de Lagos de Dados, Iceberg e Arquitetura** * Projetar e implementar lagos de dados empresariais na AWS utilizando a arquitetura em medalhões (**Bronze, Silver, Gold**). * Projetar e gerenciar **tabelas Apache Iceberg** para suportar processamento incremental, evolução de esquemas e operações eficientes em lagos de dados. * Estabelecer padrões padronizados de ingestão, transformação e consumo em conjuntos de dados financeiros, de mobilidade e corporativos. * Garantir qualidade dos dados, reconciliação, rastreabilidade e auditabilidade em todas as camadas da plataforma de dados. **Orquestração e Automação de Fluxos de Trabalho** * Liderar a estratégia de orquestração utilizando **MWAA (Managed Workflows for Apache Airflow)**. * Projetar e implementar DAGs no Airflow em Python para orquestrar fluxos de trabalho de ponta a ponta, incluindo jobs do Glue, validações e dependências downstream. * Implementar agendamento, lógica de repetição, monitoramento e tratamento de falhas para garantir pipelines resilientes e escaláveis. * Integrar fluxos de trabalho de orquestração com serviços da AWS, tais como **S3, Glue, Athena, lagos de dados baseados em Iceberg**, e sistemas downstream. **Segurança, Infraestrutura e Redes da AWS** * Impulsionar a implementação das melhores práticas de segurança da AWS, incluindo **projeto de papéis IAM, acesso com privilégios mínimos, criptografia com AWS KMS e gerenciamento de segredos**. * Liderar a configuração de componentes de rede da AWS, como **Pontos de Extremidade de VPC (VPCE)**, para habilitar comunicação segura entre serviços. * Gerenciar o provisionamento de infraestrutura usando **Terraform**, assegurando implantações repetíveis e auditáveis nos ambientes DEV, QA e PROD. * Coordenar com equipes de IAM, rede, DevOps e DBA para resolver desafios relacionados a acessos, firewalls e conectividade com bancos de dados Oracle. **Prontidão para Produção, Operações e Suporte** * Ser responsável pela **prontidão para produção** das plataformas de dados na AWS, incluindo configuração, segredos, controles de acesso e planejamento de implantação. * Atuar como ponto de escalação para problemas complexos em produção, realizando análises de causa-raiz e correções permanentes. * Implementar registro de logs, métricas e alertas usando **Amazon CloudWatch**, atendendo aos SLAs empresariais e às metas de disponibilidade. * Apoiar arquiteturas paralelas e híbridas durante fases de migração para garantir a continuidade dos negócios. **Automação, Conformidade e Habilitação Regulatória** * Projetar e supervisionar **soluções de automação baseadas em Python** que apoiem a eficiência operacional e iniciativas de conformidade (por exemplo, retenção de arquivos e processamento de documentos). * Garantir que os projetos de pipelines atendam aos **requisitos regulatórios, de auditoria e de governança empresarial**, incluindo rastreabilidade e tratamento controlado de dados. **Colaboração e Engajamento com Partes Interessadas** * Colaborar estreitamente com arquitetos de dados, equipes DevOps, equipes de infraestrutura e partes interessadas comerciais para entregar soluções de dados na AWS alinhadas à estratégia empresarial. * Traduzir requisitos comerciais e de plataforma em projetos técnicos escaláveis e planos de execução. * Produzir documentação técnica e apoiar a transferência de conhecimento para garantir a sustentabilidade a longo prazo da plataforma. **Qualificações Necessárias** * Experiência com **Apache Iceberg** ou formatos semelhantes de tabelas para lagos de dados. * Exposição a plataformas analíticas ou de BI (por exemplo, ThoughtSpot, Tableau). * Exposição a bancos de dados Oracle ou ferramentas ETL legadas (por exemplo, ODI). * Experiência em serviços financeiros ou ambientes empresariais regulados. * Familiaridade com práticas CI/CD para cargas de trabalho de engenharia de dados.