Engenheiro Líder de Integração de Dados

Descrição

Resumo: Procuramos um Engenheiro Líder de Integração de Dados para impulsionar o desenvolvimento, a otimização e o suporte à Plataforma de Dados Empresariais da Guiana, possibilitando novos produtos de dados e aprimorando os existentes. Pontos de destaque: 1. Liderar o projeto e o desenvolvimento de pipelines ETL na plataforma de dados 2. Colaborar com equipes globais em múltiplos fusos horários 3. Avaliar e integrar novas tecnologias para aprimorar a plataforma Estamos procurando um **Engenheiro Líder de Integração de Dados** para impulsionar o desenvolvimento, a otimização e o suporte à Plataforma de Dados Empresariais da Guiana, possibilitando a criação de novos produtos de dados e aprimorando os existentes. Esta função envolve trabalhar em estreita colaboração com equipes globais em múltiplos fusos horários, aproveitando o Cognite Data Fusion, o Azure e os ambientes do cliente para entregar soluções de dados robustas. Se você é apaixonado por engenharia de dados, modelagem e integração, convidamos você a se candidatar. **Responsabilidades** * Liderar o projeto e o desenvolvimento de pipelines ETL na plataforma de dados * Otimizar e manter consultas de dados no Cognite Data Fusion usando SQL e GraphQL * Implementar práticas seguras de desenvolvimento e gerenciar atualizações de segurança em ambientes de nuvem * Colaborar com equipes globais em múltiplos fusos horários para garantir a entrega de dados * Prestar administração de bancos de dados e otimização de consultas em bancos de dados relacionais * Construir, implantar e dar suporte a aplicações nas plataformas Microsoft Azure e OpenShift * Automatizar fluxos de extração e transformação de dados utilizando Python, ADF e Databricks * Integrar serviços de back\-end e APIs REST com bancos de dados transacionais e aplicações * Dar suporte à ingestão, limpeza e enriquecimento de fontes de dados estruturadas e não estruturadas * Desenvolver e manter grandes consultas agregadas em vários esquemas * Monitorar e solucionar problemas de desempenho dos pipelines, garantindo a disponibilidade dos fluxos de dados * Avaliar e integrar novas tecnologias para aprimorar a plataforma * Alinhar modelos de dados com padrões industriais comuns, como OSDU e ISO 14224 * Coordenar com clientes para garantir que as soluções atendam aos requisitos comerciais * Documentar soluções e processos no Azure DevOps conforme a metodologia Ágil **Requisitos** * 5\+ anos de experiência em integração de dados e soluções ETL/ELT * Liderança comprovada na gestão de projetos de engenharia de dados * Histórico de sucesso na gestão ágil de projetos e colaboração * Excelente conhecimento de programação em Python, com aplicação no desenvolvimento de APIs REST * Domínio de SQL e administração de bancos de dados em diversos bancos de dados relacionais * Sólida compreensão dos princípios de programação orientada a objetos e de padrões de projeto * Experiência com Snowflake e outros bancos de dados relacionais e NoSQL * Conhecimento de modelagem de dados alinhado a padrões industriais * Capacidade de trabalhar com dados não estruturados em sistemas de armazenamento em nuvem * Familiaridade com a metodologia de entrega CI/CD para pipelines de dados * Excelentes habilidades de resolução de problemas ao solucionar processos de dados complexos * Excelentes habilidades de comunicação e colaboração intercultural * Proficiência em inglês de nível intermediário superior (B2\) com capacidade de comunicação empresarial eficaz **Desejável** * Experiência com Apache Spark * Capacidade de criar diagramas arquiteturais * Domínio do Azure Data Factory e do Azure Databricks * Conhecimento do Azure Data Share e do PostgreSQL * Experiência com integrações ao Cognite Data Fusion