Engenheiro de Dados Sênior

Descrição

**Sobre Nós** A Visa é líder mundial em tecnologia de pagamentos, facilitando transações entre consumidores, comerciantes, instituições financeiras e entidades governamentais em mais de 200 países e territórios, comprometida em elevar todas as pessoas, em qualquer lugar, sendo a melhor forma de pagar e ser pago. Na Visa, você terá a oportunidade de gerar impacto em larga escala — enfrentando desafios significativos, desenvolvendo suas habilidades e vendo suas contribuições afetarem vidas ao redor do mundo. Junte-se à Visa e realize um trabalho que importa — para você, para sua comunidade e para o mundo. O progresso começa com você. **Descrição da Vaga** Estamos contratando um Engenheiro de Dados Sênior para projetar e construir pipelines de dados robustos para nosso Data Lake corporativo. Nesta posição, você será responsável pelo ciclo de vida completo de produtos de dados em produção, trabalhará de forma autônoma em projetos relevantes e orientará engenheiros juniores. Espera-se que você tome decisões sólidas sobre trade-offs de engenharia de dados com supervisão limitada, possuindo forte experiência prática com Spark, Databricks, Delta Lake e Airflow. Na Pismo, a equipe do Data Lake é responsável por centralizar e organizar os dados em uma única plataforma confiável que apoia a tomada de decisões na empresa e para clientes externos. Trabalhamos em desafios como dimensionamento da infraestrutura global de dados, entrega de relatórios de alta qualidade e habilitação de acesso seguro e autoatendido aos dados — ajudando as equipes a agirem com mais rapidez, evitando silos de informação. * Projetar e implementar pipelines de ingestão e transformação de dados (em lote e quase em tempo real) usando PySpark/SparkSQL no Databricks. * Ser responsável pelo ciclo de vida completo dos pipelines de dados em produção: atualidade, correção, disponibilidade e aderência a SLAs. * Criar e manter tabelas Delta Lake seguindo padrões de arquitetura em medalhões (bronze/prata/ouro). * Projetar e otimizar DAGs do Airflow (MWAA) para cenários complexos de orquestração. * Implementar e manter estruturas de qualidade de dados (Great Expectations ou equivalente) como etapas integradas nos pipelines. * Escrever SQL avançado para modelagem, transformação e otimização de desempenho de dados. * Realizar revisões detalhadas de código. Orientar engenheiros nível Analista por meio de programação em par e orientação de design. * Investigar, diagnosticar e resolver incidentes de qualidade de dados e falhas de pipelines de forma independente. * Colaborar com equipes de Analytics, BI e Produto para projetar conjuntos de dados amigáveis ao usuário final. * Contribuir para práticas de CI/CD, padrões de teste e governança de dados. Esta é uma vaga remota. Uma posição remota não exige que as atividades sejam realizadas nas proximidades de um escritório da Visa. Posições remotas podem exigir presença presencial em um escritório da Visa mediante aviso prévio programado. **Qualificações** Qualificações Básicas: 5 anos ou mais de experiência profissional relevante com diploma de graduação ou, no mínimo, 2 anos de experiência profissional com pós-graduação (ex.: mestrado, MBA, JD, MD) ou nenhuma experiência profissional com doutorado (PhD), OU 8 anos ou mais de experiência profissional relevante. Qualificações Desejáveis: 5 anos ou mais de experiência profissional relevante com diploma de graduação ou, no mínimo, 2 anos de experiência profissional com pós-graduação (ex.: mestrado, MBA, JD, MD) ou nenhuma experiência profissional com doutorado (PhD), OU 8 anos ou mais de experiência profissional relevante. Apache Spark (PySpark, SparkSQL) — experiência em produção Databricks (jobs, fluxos de trabalho, gerenciamento de clusters, ajuste de desempenho) Delta Lake (tabelas ACID, OPTIMIZE, VACUUM, evolução de esquema, MERGE) SQL avançado (funções de janela, CTEs, otimização de consultas) Apache Airflow / MWAA (design de DAGs, tentativas, backfills, SLAs) Projeto de data lake no Amazon S3 (particionamento, organização, ciclo de vida) Estruturas de qualidade de dados (Great Expectations ou equivalente) Modelagem de dados (dimensional / Kimball, camadas em medalhões) Git/GitHub, CI/CD para pipelines de dados Terraform Python para automação e processamento de dados Nível de inglês B2 Residir no Brasil Qualificações desejáveis: Padrões CDC (DMS, processamento incremental, upserts com MERGE) Ingestão em streaming (Structured Streaming, Auto Loader) AWS Glue Catalog / Unity Catalog Gestão de metadados (OpenMetadata) Integração com BI (Superset, dashboards) **A Visa é uma empregadora que pratica a igualdade de oportunidades** Candidatos qualificados serão considerados para contratação sem distinção de raça, cor, religião, sexo, origem nacional, orientação sexual, identidade de gênero, deficiência ou status de veterano protegido. A Visa também considerará candidatos qualificados com histórico criminal de maneira compatível com as diretrizes da EEOC e a legislação local aplicável.