Engenheiro de Dados Sênior

Descrição

Resumo: Este Engenheiro de Dados Sênior na Pismo (uma empresa da Visa) projetará e construirá pipelines de dados robustos, assumirá a propriedade integral de produtos de dados e orientará engenheiros juniores. Pontos principais: 1. Projetar e construir pipelines de dados robustos para um Data Lake corporativo 2. Assumir a propriedade integral de produtos de dados em produção e orientar engenheiros juniores 3. Trabalhar de forma autônoma em projetos significativos com infraestrutura de dados global **Sobre nós** A Visa é líder mundial em tecnologia de pagamentos, facilitando transações entre consumidores, comerciantes, instituições financeiras e entidades governamentais em mais de 200 países e territórios, comprometida em elevar todas as pessoas, em qualquer lugar, sendo a melhor forma de pagar e ser pago. Na Visa, você terá a oportunidade de gerar impacto em larga escala — enfrentando desafios significativos, desenvolvendo suas habilidades e vendo suas contribuições afetarem vidas ao redor do mundo. Junte-se à Visa e realize um trabalho que importa — para você, para sua comunidade e para o mundo. O progresso começa com você. **Descrição da vaga** Estamos contratando um Engenheiro de Dados Sênior na Pismo (uma empresa da Visa) para projetar e construir pipelines de dados robustos para nosso Data Lake corporativo. Nesta posição, você assumirá a propriedade integral de produtos de dados em produção, trabalhará de forma autônoma em projetos significativos e orientará engenheiros juniores. Espera-se que você tome decisões sólidas sobre trade-offs em engenharia de dados com supervisão limitada, possuindo forte experiência prática com Spark, Databricks, Delta Lake e Airflow. Na Pismo, a equipe do Data Lake é responsável por centralizar e organizar dados em uma única plataforma confiável que apoia a tomada de decisões em toda a empresa e para clientes externos. Trabalhamos em desafios como dimensionamento da infraestrutura de dados global, entrega de relatórios de alta qualidade e habilitação de acesso seguro e autoatendido aos dados — ajudando as equipes a avançarem mais rapidamente, evitando silos de informação. * Projetar e implementar pipelines de ingestão e transformação de dados (em lote e quase em tempo real) usando PySpark/SparkSQL no Databricks. * Assumir a propriedade integral de pipelines de dados em produção: atualidade, correção, disponibilidade e aderência a SLAs. * Construir e manter tabelas Delta Lake seguindo padrões de arquitetura em camadas (bronze/prata/ouro). * Projetar e otimizar DAGs do Airflow (MWAA) para cenários complexos de orquestração. * Implementar e manter frameworks de qualidade de dados (Great Expectations ou equivalente) como gateways integrados nos pipelines. * Escrever SQL avançado para modelagem, transformação e otimização de desempenho de dados. * Realizar revisões detalhadas de código. Orientar engenheiros de nível Analista por meio de programação em pares e orientação de design. * Investigar, diagnosticar e resolver incidentes de qualidade de dados e falhas em pipelines de forma independente. * Colaborar com equipes de Analytics, BI e Produto para projetar conjuntos de dados amigáveis ao usuário final. * Contribuir para práticas de CI/CD, padrões de testes e governança de dados. Esta é uma vaga remota. Uma posição remota não exige que as atividades sejam realizadas nas proximidades de um escritório da Visa. Posições remotas podem exigir presença física em um escritório da Visa com aviso prévio agendado. \#LI\-Remote **Qualificações** * Apache Spark (PySpark, SparkSQL) — experiência em ambiente de produção * Databricks (jobs, fluxos de trabalho, gerenciamento de clusters, ajuste de desempenho) * Delta Lake (tabelas ACID, OPTIMIZE, VACUUM, evolução de esquema, MERGE) * SQL avançado (funções de janela, CTEs, otimização de consultas) * Apache Airflow / MWAA (design de DAGs, tentativas de repetição, preenchimento retroativo, SLAs) * Projeto de Data Lake no Amazon S3 (particionamento, estrutura, ciclo de vida) * Frameworks de qualidade de dados (Great Expectations ou equivalente) * Modelagem de dados (dimensional / Kimball, camadas em medalhões) * Git/GitHub, CI/CD para pipelines de dados * Terraform * Python para automação e processamento de dados * Nível de inglês B2 * Residir no Brasil **Qualificações desejáveis:** * Padrões CDC (DMS, processamento incremental, upserts com MERGE) * Ingestão em streaming (Structured Streaming, Auto Loader) * AWS Glue Catalog / Unity Catalog * Gerenciamento de metadados (OpenMetadata) * Integração com BI (Superset, dashboards) **A Visa é uma empregadora que pratica a igualdade de oportunidades** Candidatos qualificados serão considerados para contratação sem distinção de raça, cor, religião, sexo, origem nacional, orientação sexual, identidade de gênero, deficiência ou status de veterano protegido. A Visa também considerará para contratação candidatos qualificados com antecedentes criminais de maneira consistente com as diretrizes da EEOC e a legislação local aplicável.