Engenheiro de Dados Databricks SR

Descrição

Você é apaixonado(a) por tecnologia e inovação? No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e triggo.ai – acreditamos que grandes resultados nascem de pessoas incríveis. Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital. Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto. Candidate\-se agora e construa o futuro da tecnologia conosco! **Responsabilidades e atribuições** * Desenvolver, evoluir e sustentar pipelines de dados escaláveis para ingestão, transformação e disponibilização de informações em ambiente Databricks, utilizando Python, SQL, Spark e DBT; * Projetar, implementar e otimizar processos de ETL/ELT, garantindo alta performance, confiabilidade, governança e qualidade dos dados ao longo do ciclo de vida das soluções; * Construir, manter e monitorar workflows e DAGs no Apache Airflow, assegurando a correta orquestração, automação e observabilidade das cargas de dados; * Atuar na modelagem e implementação das camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse e as melhores práticas de Data Engineering; * Integrar dados provenientes de múltiplas fontes, como APIs, bancos de dados relacionais e não relacionais, sistemas corporativos e serviços em nuvem; * Apoiar a definição de padrões técnicos, boas práticas de desenvolvimento, versionamento, testes e documentação de pipelines de dados; * Trabalhar em parceria com equipes de Analytics, BI, Data Science e áreas de negócio para entender requisitos e transformar necessidades em soluções de dados escaláveis; * Investigar e solucionar incidentes, problemas de performance e falhas em processos de dados, garantindo a estabilidade e disponibilidade da plataforma. **Requisitos e qualificações** * Experiência sólida como Engenheiro(a) de Dados Sênior em projetos de dados corporativos e ambientes de grande volume de informações; * Domínio de Databricks, Apache Spark, Delta Lake, Python e SQL para desenvolvimento, sustentação e otimização de pipelines de dados; * Experiência prática com DBT para transformação, modelagem e gerenciamento de ativos de dados; * Conhecimento avançado em Apache Airflow para orquestração, monitoramento e automação de fluxos de dados; * Experiência com arquitetura Lakehouse e modelagem de dados nas camadas Bronze, Silver e Gold; * Vivência em integração de dados por meio de APIs REST, bancos de dados relacionais e outras fontes corporativas; * Conhecimento em versionamento de código utilizando Git e experiência com Azure DevOps ou ferramentas similares de CI/CD; * Experiência em práticas de qualidade, monitoramento, observabilidade e governança de dados; * Conhecimento em performance tuning e otimização de consultas e pipelines de processamento de dados; * Certificações Databricks, Azure Data Engineer Associate ou similares; * Experiência com Azure Data Lake Storage (ADLS), Azure Data Factory (ADF) e demais serviços de dados na nuvem Azure; * Conhecimento em DataOps, CI/CD para pipelines de dados e Infraestrutura como Código (IaC); * Experiência com ferramentas de Data Quality, Data Governance e Observabilidade de Dados. Somos o **Grupo SysMap**, formado pelas marcas **SysMap Solutions, TriggoLabs e triggo.ai**,um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas. Nossa essência é movida pela **paixão por inovação, colaboração e crescimento contínuo**. Há mais de **25 anos**, superamos expectativas ao resolver desafios de negócio complexos, atuando em diferentes segmentos e acompanhando de forma ativa a evolução tecnológica. Aqui, acreditamos que **tecnologia só gera valor quando é construída por pessoas**. Por isso, cultivamos um ambiente ético, colaborativo e diverso, onde o aprendizado é constante e a excelência pelo que fazemos faz parte do nosso jeito de ser. **A única forma de participar de processos seletivos do Grupo SysMap é por meio das páginas da empresa na plataforma Gupy e não há pagamento de taxa de participação ou contratação.**