Resumo: A Fusemachines procura um Engenheiro de Dados Sênior experiente para projetar, conceber e implementar soluções de dados escaláveis para uma plataforma de IoT, construindo sua inteligência central. Pontos principais: 1. Liderar a engenharia de dados para o "Cérebro" de uma plataforma inovadora de IoT 2. Projetar e implementar soluções de dados escaláveis em Spark e Flink 3. Impulsionar as melhores práticas de engenharia de dados em uma empresa global de IA **Sobre a Fusemachines** A Fusemachines é uma provedora líder de estratégias, talentos e serviços educacionais em IA. Fundada pelo Dr. Sameer Maskey, Professor Adjunto Associado da Universidade Columbia, a Fusemachines tem como missão central a democratização da IA. Com presença em 4 países (Nepal, Estados Unidos, Canadá e República Dominicana) e mais de 450 funcionários em regime integral, a Fusemachines leva a experiência global em IA para transformar empresas em todo o mundo. Fundada em 2013, a Fusemachines é uma fornecedora global de produtos e serviços empresariais de IA, com a missão de democratizar a IA. Aproveitando seu AI Studio e AI Engines proprietários, a empresa ajuda a impulsionar a Transformação Empresarial em IA dos clientes, independentemente do estágio em que se encontram em suas jornadas digitais de IA. Com escritórios na América do Norte, Ásia e América Latina, a Fusemachines oferece um conjunto de soluções empresariais de IA e serviços especializados que permitem organizações de qualquer porte implementar e dimensionar IA. A Fusemachines atende empresas de setores como varejo, manufatura e governo. A Fusemachines continua a perseguir ativamente a missão de democratizar a IA para as massas, oferecendo educação de alta qualidade em IA em comunidades carentes e ajudando organizações a atingirem seu pleno potencial com IA. **Tipo: Período integral, Remoto****Descrição da vaga:** Estamos procurando um Engenheiro de Dados Sênior experiente para integrar nossa equipe e construir o "Cérebro" de uma plataforma de IoT, uma biblioteca que permite definir métricas, validá-las contra um Esquema Virtual e gerar planos de execução otimizados tanto para Spark (Batch) quanto para Flink (Stream). **Qualificações / Requisitos de habilidades:** * 5+ anos de experiência prática em engenharia de dados com profundo conhecimento no ecossistema Azure. * Domínio avançado de Java, Python e SQL. * Profundo entendimento dos componentes internos do Apache Spark (Otimizador Catalyst, Planos Lógicos). * Experiência com ANTLR v4 ou desenvolvimento de DSLs/personalizados/Parsers. * Experiência com otimização do Databricks e Delta Lake. * Experiência na construção de Árvores de Sintaxe Abstrata (ASTs). * Forte compreensão dos ciclos de vida de desenvolvimento de software (SDLC) e metodologias ágeis, com experiência prática em Azure DevOps, GitHub, CI/CD e gerenciamento de artefatos. * Habilidade com modelagem de dados, projeto de dados e soluções de armazenamento de dados (data warehousing) no Azure Databricks. * Conhecimento das melhores práticas em qualidade de dados, governança e segurança dentro do Azure (AD, NSG, criptografia, conformidade). * Certificações preferenciais: Azure Fundamentals, Azure Data Engineer Associate, Databricks Certified Data Engineer Professional e Azure Solutions Architect Expert (desejável). **Responsabilidades** * Projetar, conceber e implementar soluções de dados escaláveis e eficientes em Spark e Flink. * Implementar a gramática para a Linguagem de Consulta de IoT. * Construir o Validador de Consultas para aplicar restrições semânticas antes da execução de uma consulta. * Desenvolver um Adaptador Spark: uma camada de tradução que converte definições de métricas em código Spark. * Implementar a lógica de relacionamentos (percorrendo um Grafo/Ontologia) no núcleo para evitar gargalos de banco de dados. * Garantir paridade lógica de 100% entre as implementações Spark (Batch) e Flink (Stream). * Gerenciar e otimizar recursos do Azure e Databricks, visando desempenho, confiabilidade e eficiência de custos. * Transformar, limpar e preparar dados usando SQL, Python e Java. * Monitorar e ajustar finamente cargas de trabalho e pipelines para desempenho e confiabilidade ideais. * Manter documentação clara das soluções, configurações e fluxos de trabalho. * Participar ativamente das atividades da equipe ágil e das iniciativas de melhoria contínua. * Promover e aplicar as melhores práticas de engenharia de dados, incluindo governança de dados, segurança e qualidade de dados. *A Fusemachines é uma Empregadora de Igualdade de Oportunidades, comprometida com a diversidade e inclusão. Todos os candidatos qualificados serão considerados para emprego sem distinção de raça, cor, religião, sexo, orientação sexual, identidade de gênero, origem nacional, deficiência ou qualquer outra característica protegida pelas leis federais, estaduais ou locais aplicáveis.* aiDMSyUTrM