Engenheiro(a) de Dados SR ( Databricks | AWS | Regulatório)

Descrição

Resumo da Vaga: O INDT busca um(a) Engenheiro(a) de Dados para implementar e sustentar pipelines de dados regulatórios, focando na qualidade, rastreabilidade e governança de dados. Principais Destaques: 1. Ambiente colaborativo com desafios para aprendizado e crescimento 2. Oportunidade de desenvolver talentos e ser valorizado(a) 3. Liberdade para propor e desenvolver projetos inovadores **Sobre nós:** Desde 2001, o INDT é um instituto de tecnologia que inspira inovação e respira tecnologia! Desenvolver está no nosso DNA e oferecemos um ambiente colaborativo com muitos desafios para o aprendizado e crescimento. Surgimos em Manaus (AM) através da Nokia, e hoje atuamos em todo Brasil com o objetivo de apresentar os nossos serviços e a nossa Cultura para todas as regiões brasileiras. Atualmente, possuímos mais de 200 colaboradores atuando ativamente. Para nós, eliminar as barreiras geográficas e culturais foi só uma consequência por acreditarmos que nada é impossível. Por isso, hoje, mais do que nunca, podemos olhar no espelho e pensar: trabalhamos em uma empresa que vive e cresce cada dia mais! Você quer ter a oportunidade de desenvolver seus talentos? Quer trabalhar num ótimo ambiente de trabalho e com colegas que te ajudarão na tua jornada? Quer ter a uma experiência incrível de sentir valorizado? Quer potencializar suas entregas diárias e projetos tendo líderes inspiradores? Quer ter liberdade para propor e desenvolver projetos inovadores, com autonomia e protagonismo? Então vem com a gente promover a diferença! **\#VEMSERINDT** Buscamos **um(a) Engenheiro(a) de Dados** para atuar na implementação e sustentação de pipelines de dados regulatórios, com foco no CADOC 6209\. Essa é uma posição estratégica, com forte impacto na qualidade, rastreabilidade, performance e governança dos dados, garantindo a conformidade com obrigações regulatórias. Requisitos: **Principais responsabilidades** * Desenvolver e manter pipelines de dados em Spark (Databricks) para atendimento ao CADOC 6209 * Implementar transformações e validações utilizando SQL e PySpark, assegurando aderência às regras regulatórias * Integrar dados a partir de fontes no ambiente AWS (Lake/Lakehouse) * Implementar controles de qualidade de dados, reconciliações e trilhas de auditoria * Garantir versionamento de código, rastreabilidade de artefatos e boas práticas de engenharia * Contribuir com a evolução da arquitetura e dos padrões da plataforma de dados **Requisitos técnicos** * Experiência sólida com SQL avançado * Experiência prática com Apache Spark / Databricks * Conhecimento em AWS (S3, IAM, Glue) * Experiência na construção de pipelines de dados (ETL/ELT) em produção * Vivência em ambientes de dados regulatórios, financeiros ou de alta criticidade * Experiência com Git e boas práticas de versionamento **Diferenciais** * Experiência com CADOC 6209 ou outras obrigações regulatórias do Banco Central * Conhecimento em governança de dados, auditoria e rastreabilidade * Experiência com frameworks de data quality * Vivência em migração de soluções legadas (ex.: SAS, Alteryx) para Databricks * Conhecimento em CI/CD aplicado a dados **Perfil esperado** * Organização e atenção aos detalhes, especialmente em ambientes regulatórios * Boa comunicação para interação com áreas técnicas e de negócio * Visão crítica sobre qualidade e confiabilidade dos dados * Comprometimento com prazos e entregas