Especialista de Engenharia de Dados II – Tech Lead

Descrição

Resumo da Vaga: Buscamos um(a) Especialista em Engenharia de Dados com atuação como Tech Lead e Arquiteto(a) para liderar a evolução da plataforma Lakehouse e apoiar a construção de produtos de dados escaláveis. Principais Destaques: 1. Liderança técnica na evolução de Lakehouse e disseminação de boas práticas. 2. Atuação com arquitetura de Lakehouse, Databricks + AWS e modelo Data Mesh. 3. Construção de pipelines robustos em Python, Scala, SQL ou Java. **Company Description** A Serasa Experian é a primeira e a maior Datatech do Brasil. Líder em soluções de inteligência para análise de riscos e oportunidades, com foco nas jornadas de crédito, autenticação e prevenção à fraude. Com tecnologia de ponta, inovação e os melhores talentos, transforma a incerteza do risco na melhor decisão, ajudando pessoas a realizarem seus sonhos e empresas de todos os portes e segmentos a prosperarem. Temos 22\.000 pessoas operando em 32 países e a cada dia estamos investindo em novas tecnologias, profissionais talentosos e inovação para ajudar todos os clientes a maximizarem cada oportunidade. Com sede corporativa em Dublin, Irlanda, a Experian está listada na Bolsa de Valores de Londres (EXPN) e compõe o índice FTSE 100\. **Job Description** A Diretoria de Data Platform \& MLOps da Serasa Experian é responsável por construir e evoluir a plataforma que sustenta produtos e soluções de dados em larga escala, oferecendo infraestrutura moderna, segura e altamente confiável. Trabalhamos com arquitetura de Lakehouse, apoiada em Databricks \+ AWS, operando em um modelo Data Mesh que habilita autonomia e governança distribuída para produtos de dados. Estamos em busca de um(a) Especialista em Engenharia de Dados com forte atuação como Tech Lead e Arquiteto(a), capaz de liderar tecnicamente a evolução do nosso Lakehouse, disseminar práticas de engenharia e apoiar diversas unidades de negócio na construção de produtos de dados escaláveis e resilientes. Responsabilidades Arquitetura e Evolução da Plataforma * Definir e evoluir a arquitetura corporativa de Lakehouse, garantindo escalabilidade, segurança, governança e alta performance. * Atuar na criação de padrões, modelos e boas práticas para Data Mesh, suportando domínios na construção de produtos de dados. * Promover escolhas técnicas sólidas envolvendo Databricks, Delta Lake, Spark, AWS e ecossistemas de dados modernos. * Definir referências arquiteturais para pipelines batch e streaming, incluindo melhores práticas de orquestração, versionamento, monitoração, resiliência e otimização. Liderança Técnica * Guiar e orientar engenheiros de dados, influenciando decisões críticas e elevando o nível técnico da organização. * Conduzir revisões técnicas (arquitetura, código, padrões, design de pipelines). * Atuar como consultor(a) interno(a) para unidades de negócio, garantindo o melhor entendimento das soluções e promovendo consistência tecnológica entre equipes. Construção e Sustentação * Projetar e desenvolver pipelines robustos e escaláveis em Python, Scala, SQL ou Java dentro do ecossistema Databricks e/ou AWS. * Construir soluções de ingestão em tempo real usando Spark Structured Streaming, Delta Live Tables, Kafka/Kinesis ou ferramentas similares. * Garantir observabilidade (monitoramento, alertas e métricas) e qualidade dos dados em todas as etapas da cadeia. * Atuar com ferramentas de governança e segurança, como AWS Lake Formation, **Unity Catalog** e padrões corporativos de IAM. Interação Multidisciplinar * Interagir com unidades de negócio, parceiros, fornecedores e terceiros, garantindo alinhamento técnico, clareza arquitetural e execução assertiva. * Facilitar processos de discovery, design e suporte na implementação de produtos de dados dentro da estratégia de Data Mesh. * Traduzir necessidades de negócio em soluções técnicas escaláveis e sustentáveis. Evangelização e Disseminação * Disseminar conhecimento sobre Lakehouse, Data Mesh, pipelines batch e streaming. * Conduzir workshops, guias de referência, mentoria e comunidades técnicas internas. * Promover cultura de dados moderna e boas práticas de engenharia em toda a organização. **Qualifications** Requisitos Obrigatórios * Inglês avançado para contato com times de outros países do grupo Experian; * Experiência sólida como engenheiro(a) de dados, arquiteto(a) ou tech lead em ambientes de grande escala. * Domínio de Databricks (Spark, Delta Lake, workflows, cluster management). * Experiência prática com AWS (S3, IAM, Glue, Lambda, Lake Formation, entre outros). * Forte conhecimento em Python, **SQL**, Scala e/ou Java. * Experiência em construção de pipelines batch e streaming. * Vivência com modelos de Data Mesh, Lakehouse, governança distribuída e produtos de dados. * Capacidade de liderança técnica, influência e comunicação clara. * Experiência com CI/CD, versionamento, arquitetura de dados e boas práticas de engenharia. Diferenciais * Certificações Databricks ou AWS. * Conhecimento de Unity Catalog, **Lake** Formation ou outras ferramentas de governança de dados. * Vivência com arquiteturas orientadas a eventos (Kafka, Kinesis). * Experiência com frameworks de otimização e performance em Spark. Perfil Comportamental * Mentalidade proativa e orientada à solução. * Capacidade de liderar e influenciar múltiplos times em ambientes complexos. * Atuação colaborativa e boa comunicação com áreas técnicas e de negócio. * Curiosidade, autonomia e atitude de disseminar boas práticas. * Visão estratégica com foco em entrega e inovação. **Additional Information** A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem\-estar. A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos. Experian Careers \- Creating a better tomorrow together Find out what its like to work for Experian by clicking here