Resumo da Vaga: Buscamos Engenheiro de Dados para atuar com grandes volumes de dados, desenvolvendo e otimizando pipelines em ambiente escalável com Apache Spark/Python e Databricks. Principais Destaques: 1. Atuação com grandes volumes de dados em ambiente altamente escalável. 2. Desenvolvimento e otimização de pipelines de ingestão de dados. 3. Utilização de Apache Spark/Python em Databricks. Engenheiro de Dados Pleno Full\-time Employee Status: Regular Role Type: Hybrid Department: Technology Schedule: Full Time **Company Description** ----------------------- A Serasa Experian é a primeira e a maior Datatech do Brasil. Líder em soluções de inteligência para análise de riscos e oportunidades, com foco nas jornadas de crédito, autenticação e prevenção à fraude. Com tecnologia de ponta, inovação e os melhores talentos, transforma a incerteza do risco na melhor decisão, ajudando pessoas a realizarem seus sonhos e empresas de todos os portes e segmentos a prosperarem. Temos 22\.000 pessoas operando em 32 países e a cada dia estamos investindo em novas tecnologias, profissionais talentosos e inovação para ajudar todos os clientes a maximizarem cada oportunidade. Com sede corporativa em Dublin, Irlanda, a Experian está listada na Bolsa de Valores de Londres (EXPN) e compõe o índice FTSE 100\. **Job Description** ------------------- Estamos buscando um Engenheiro de Dados para atuar com **grandes volumes de dados** em um ambiente altamente escalável, utilizando principalmente **Apache Spark/Python** em **Databricks**. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes. Entre as principais atividades, destacam\-se: * Construção e manutenção de pipelines de ingestão utilizando **Autoloader** (incremental, schema evolution, otimização de throughput). * Processamento de dados em larga escala usando **Spark Structured Streaming** e **Spark SQL**. * Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake. * Conhecimento de git controle de versionamento, pull requests. * Análise, melhoria e otimização de custos e performance em Databricks. * Implementar Data Quality. * Criar documentação clara das demandas. * Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança. **Qualifications** ------------------ * Formação em Ciência da Computação, Sistemas de Informação, engenharia. * Conhecimento de AWS e Databricks **Additional Information** -------------------------- A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem\-estar. A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos. Experian Careers \- Creating a better tomorrow together **Job Location** ---------------- I'm interested Privacy Policy Cookies Settings