Especialista de Engenharia de Dados I

Descrição

Resumo da Vaga: Buscamos Engenheiro(a) de Dados Sênior para desenvolver e otimizar pipelines robustas, garantindo escalabilidade, qualidade e governança em ambientes de grande volume de dados. Principais Destaques: 1. Líder em soluções de inteligência para análise de riscos e oportunidades 2. Desenvolver e manter pipelines de dados escaláveis e performáticas 3. Participar de decisões arquiteturais e evolução da plataforma de dados **Company Description** A Serasa Experian é a primeira e a maior Datatech do Brasil. Líder em soluções de inteligência para análise de riscos e oportunidades, com foco nas jornadas de crédito, autenticação e prevenção à fraude. Com tecnologia de ponta, inovação e os melhores talentos, transforma a incerteza do risco na melhor decisão, ajudando pessoas a realizarem seus sonhos e empresas de todos os portes e segmentos a prosperarem. Temos 22\.000 pessoas operando em 32 países e a cada dia estamos investindo em novas tecnologias, profissionais talentosos e inovação para ajudar todos os clientes a maximizarem cada oportunidade. Com sede corporativa em Dublin, Irlanda, a Experian está listada na Bolsa de Valores de Londres (EXPN) e compõe o índice FTSE 100\. **Job Description** Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar com grande volume de dados. Será responsável por desenvolver, otimizar e dar manutenção em pipelines robustas garantindo escalabilidade, qualidade e governança do ambiente e contribuindo ativamente para a evolução da arquitetura. **Principais Responsabilidades:** * Desenvolver e manter pipelines de dados escaláveis e performáticas. * Construir soluções no Databricks (Spark/Delta Lake). * Garantir qualidade, confiabilidade e observabilidade dos dados. * Trabalhar com grandes volumes de dados estruturados e não estruturados. * Implementar boas práticas de engenharia (testes, versionamento, CI/CD). * Colaborar com times de Produto, Analytics, Ciência de Dados e Governança. * Participar de decisões arquiteturais e evolução da plataforma de dados. **Requisitos Técnicos:*** Experiência sólida como Engenheiro(a) de Dados em ambiente AWS/Databricks. * Forte conhecimento em Python e PySpark. * Experiência com Apache Spark Structure Streaming e Spark SQL para processamento de dados em larga escala. * Construção e manutenção de pipelines de ingestão utilizando **Autoloader** (incremental, schema evolution, otimização de throughput). * Conhecimento em arquitetura Lakehouse / Data Lake. * Criar documentação clara dos processos. * Versionamento com Git, controle de versionamento e Pull Request. * Monitoramento e troubleshooting de pipelines. **Diferenciais**:* Experiência em mercado financeiro, crédito ou antifraude. * Conhecimento em Delta Lake e otimização de performance. * Vivência com Data Quality e Data Governance. * Experiência com arquitetura orientada a eventos. * Certificações AWS. * Conhecimento em LGPD e ambientes regulados. **Perfil Comportamental:*** Proatividade e senso de dono. * Capacidade analítica e visão sistêmica. * Boa comunicação para interação com áreas técnicas e de negócio. * Autonomia para propor melhorias arquiteturais. * Mentalidade orientada a produto e geração de valor com dados. **Qualifications** * Conhecimento em Databricks * Conhecimento de Python/PySpark * + Experiência sólida como Engenheiro(a) de Dados em ambiente AWS/Databricks * Graduação em Engenharia, Computação, Sistemas ou áreas correlatas **Additional Information** A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem\-estar. A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos. Experian Careers \- Creating a better tomorrow together Find out what its like to work for Experian by clicking here