Engenheiro de Dados Azure - Remoto, América Latina

Descrição

A Bluelight é uma consultoria de software líder dedicada ao projeto e desenvolvimento de tecnologias inovadoras que aprimoram a vida dos usuários. Com um compromisso inabalável de entregar um serviço excepcional aos nossos clientes, a Bluelight se destaca por sua ênfase na qualidade e na satisfação do cliente. Nossa missão não é apenas criar aplicações de ponta, mas também fomentar um ambiente de trabalho colaborativo e enriquecedor, no qual cada membro da equipe possa crescer e prosperar. Com presença nos Estados Unidos e na América Central/Sul, a Bluelight está em uma fase empolgante de expansão, buscando continuamente talentos excepcionais para integrar sua comunidade dinâmica e diversificada. Estamos procurando um profissional qualificado para integrar nossa equipe em rápido crescimento na Bluelight. Esta posição é ideal para alguém que se destaca em um ambiente acelerado e dinâmico, onde as opiniões e os esforços de todos são valorizados e apreciados. Você terá a oportunidade de contribuir para projetos desafiadores e significativos, desenvolvendo aplicações de alta qualidade que se destacam no mercado. Valorizamos o aprendizado contínuo, o crescimento pessoal e o trabalho árduo, oferecendo um ambiente colaborativo que promove o desenvolvimento profissional. Se você é apaixonado por desenvolvimento de software e deseja fazer parte de uma consultoria de software em crescimento, convidamos você a se candidatar e a se juntar a nós nessa jornada empolgante. ### **Principais Responsabilidades** * Engenharia de Dados ETL: Desenvolver e manter processos de engenharia de dados ETL usando Python (PySpark) dentro dos Notebooks do Azure Synapse Analytics e/ou dos Pipelines do Azure Synapse Analytics, garantindo extrações, transformações e carregamentos eficientes de dados. * Armazenamento de Dados: Aplicar sua especialização em armazenamento de dados, compreendendo esquemas em estrela, fatos e dimensões, para projetar e construir estruturas eficazes de armazenamento de dados em um Pool SQL MPP (Massively Parallel Processing). * Expertise em Fontes de Dados: Extrair dados de diversas fontes, incluindo APIs REST, tabelas de bancos de dados SQL e arquivos CSV. * Expertise em Azure Synapse Analytics: Utilizar seu profundo conhecimento do Azure Synapse Analytics para projetar e otimizar notebooks/pipelines de dados quanto à escalabilidade e desempenho. * Conceitos de Data Fabric: Contribuir para a implementação e compreensão de outros conceitos de Data Fabric, como data lakes, lakehouses, delta lakes e catalogação de dados, a fim de aprimorar as capacidades de gerenciamento de dados. * Modelagem de Dados: Colaborar com arquitetos de dados para criar modelos e esquemas de dados alinhados aos requisitos de negócios. * Qualidade de Dados: Implementar verificações e processos de validação de qualidade de dados para manter a precisão e consistência dos dados. * Ajuste de Desempenho: Identificar e resolver gargalos de desempenho e otimizar notebooks/pipelines de dados ETL para atender aos SLAs. * Monitoramento e Solução de Problemas: Monitorar trabalhos ETL, diagnosticar problemas e implementar soluções para garantir a confiabilidade dos pipelines de dados. * Documentação: Manter documentação abrangente dos processos de engenharia de dados ETL, fluxos de dados e transformações de dados. * Colaboração: Trabalhar em estreita colaboração com equipes multifuncionais para compreender os requisitos de dados e prestar suporte a iniciativas relacionadas a dados. * Segurança e Conformidade: Garantir a segurança dos dados e a conformidade com padrões de governança de dados e privacidade. ### **Habilidades e Qualificações Necessárias** * Graduação em Ciência da Computação, Tecnologia da Informação ou área correlata; ou experiência profissional equivalente, sendo um diferencial possuir certificações relacionadas à engenharia de dados ou ciência de dados (ex.: Azure Data Engineer). * Experiência comprovada em engenharia de dados ETL com expertise significativa no uso de Python (PySpark) para realizar extração, transformação e carregamento de dados provenientes de APIs REST, tabelas de bancos de dados SQL e arquivos CSV. * Domínio do uso de recursos do Azure Synapse Analytics, incluindo Notebooks, Pipelines, Serviços Vinculados e Azure Key Vault. * Capacidade comprovada de escrever consultas SQL complexas, otimizar o desempenho das consultas e trabalhar tanto com SparkSQL quanto com MS SQL para extrair, transformar e carregar dados de forma eficaz. * Conhecimento das melhores práticas e ferramentas de integração de dados. * Experiência com sistemas de controle de versão, como Git (Azure DevOps). * Fortes habilidades analíticas e de resolução de problemas, com atenção meticulosa aos detalhes. * Excelentes habilidades de comunicação, verbais e escritas, com capacidade de trabalhar colaborativamente em um ambiente de equipe com prioridades em constante mudança. * Familiaridade com tecnologias de big data, machine learning e análise de dados é preferencial. * Experiência com ferramentas de visualização de dados (ex.: Power BI, Tableau) e Metodologias Ágeis é um diferencial. ### **Benefícios da Empresa** * Salário competitivo e bônus, incluindo aumentos salariais baseados em desempenho. * Política generosa de folga remunerada. * Horários de trabalho flexíveis. * Trabalho remoto. * Educação continuada, treinamentos e conferências. * Cursos, exames e certificações patrocinados pela empresa. Ser consultor em nossa equipe é uma escolha de carreira divertida, desafiadora e gratificante. Suas contribuições são altamente valorizadas pelos clientes, e o trabalho que você realiza frequentemente tem um impacto direto e significativo em seus negócios. Você terá a oportunidade de trabalhar em uma variedade de projetos para nossos incríveis clientes, o que acelerará seu crescimento profissional. Você colaborará com tecnologias modernas e trabalhará ao lado de alguns dos melhores profissionais do setor! Se você está ansioso para fazer parte de uma consultoria empolgante, desafiadora e em rápido crescimento, incentivamos você a se candidatar. \#LI\-Remote