Engenheiro de Dados Sênior

Descrição

Sobre o projeto: Você fará parte da equipe de Plataforma de Dados de uma organização global de mineração, ajudando a projetar e entregar uma infraestrutura moderna de dados nativa do Azure. A equipe ingere dados de dezenas de fontes operacionais — incluindo APIs REST e SOAP, sensores IoT, sistemas ERP e feeds de arquivos planos — transformando-os em conjuntos de dados curados e prontos para análise, que impulsionam decisões nas áreas de finanças, operações e cadeia de suprimentos. Trata-se de um cargo de engenharia prática. Você dedicará a maior parte do seu tempo à construção e manutenção de pipelines robustos, à otimização de fluxos de dados no Azure Synapse e no Databricks, bem como à garantia de que a plataforma permaneça confiável, escalável e segura. Principais responsabilidades: * Coletar e analisar requisitos comerciais para identificar e priorizar oportunidades de integração. * Projetar, construir e manter pipelines de dados escaláveis usando o Azure Data Factory para orquestrar a ingestão de diversos sistemas-fonte. * Desenvolver e otimizar lógica de transformação de dados e cargas de trabalho analíticas no Azure Synapse Analytics (pools SQL dedicados e sem servidor, Pipelines Synapse). * Criar e manter notebooks e jobs no Databricks (PySpark / Spark SQL) para processamento de grande escala de dados e engenharia de características. * Implementar padrões robustos de extração de APIs — REST e SOAP — lidando com paginação, autenticação (OAuth 2\.0, chaves de API), limitação de taxa e recuperação de erros. * Projetar e manter a arquitetura lakehouse: camadas bruta, curada e de atendimento, utilizando o Azure Data Lake Storage Gen2\. * Garantir a qualidade dos dados por meio de frameworks de validação, monitoramento de pipelines, alertas e documentação de rastreabilidade. * Colaborar com Engenheiros de Análise e consumidores de dados para compreender requisitos downstream e modelar os dados adequadamente. * Aplicar boas práticas de CI/CD, infraestrutura como código (Azure DevOps, Terraform / Bicep) e gerenciamento de ambientes. * Participar de atividades de governança de dados, incluindo gerenciamento de metadados, controle de acesso e documentação. Requisitos: * 4 anos ou mais de experiência em engenharia de dados ou em cargo de engenharia de software relacionado. * Fortes habilidades analíticas e de comunicação. * Experiência sólida e prática com o Azure Data Factory — criação de pipelines, gatilhos, serviços vinculados e fluxos de dados. * Experiência consolidada com o Azure Synapse Analytics — pools SQL, Pipelines Synapse e integração com ADLS Gen2\. * Experiência comprovada com o Databricks — PySpark, Delta Lake, clusters de jobs e Unity Catalog são diferenciais. * Habilidades avançadas em extração de APIs: projetar ingestão confiável a partir de endpoints REST e SOAP, lidando com cenários complexos de autenticação e tratamento de erros. * Domínio de SQL (T\-SQL ou Spark SQL) e Python para manipulação de dados e scripts de pipelines. * Familiaridade com conceitos de modelagem de dados: esquemas em estrela ou em floco de neve, Data Vault ou arquitetura em medalhões. * Experiência com o Azure DevOps para controle de versão (Git), pipelines de CI/CD e implantações automatizadas. * Compreensão de segurança de dados, controle de acesso baseado em funções (RBAC) e criptografia no Azure. * Mentalidade forte de resolução de problemas e capacidade de trabalhar de forma autônoma em um ambiente de equipe distribuída. Desejável: * Experiência com o Azure Purview para catalogação e governança de dados. * Conhecimento de padrões de dados em tempo real (Azure Event Hubs, Kafka, Spark Streaming). * Familiaridade com dbt ou frameworks semelhantes baseados em SQL para transformação de dados. * Experiência no setor de mineração, indústria pesada ou ambientes de dados de tecnologia operacional (OT). * Conhecimento básico da Power Platform (não obrigatório, mas benéfico para entender os consumidores downstream). **Oferecemos\*:** * Formato flexível de trabalho — remoto, presencial ou híbrido. * Salário competitivo e pacote de remuneração atrativo. * Crescimento profissional personalizado. * Ferramentas de desenvolvimento profissional (programa de mentoria, palestras técnicas e treinamentos, centros de excelência, entre outros). * Comunidades técnicas ativas com compartilhamento regular de conhecimento. * Reembolso educacional. * Presentes memoráveis para aniversários de empresa. * Eventos corporativos e atividades de team building. * Outros benefícios específicos por localidade. * não aplicável a freelancers