Engenheiro de Dados

Descrição

Resumo: O Engenheiro de Dados projetará, construirá e manterá uma plataforma de dados em nuvem escalável e segura, colaborando com equipes multifuncionais para integrar e entregar serviços de dados. Pontos principais: 1. Projetar, construir e manter pipelines de dados escaláveis e robustos 2. Colaborar com equipes diversas para entregar soluções de dados valiosas 3. Oportunidades de aprender, crescer e se desenvolver em um ambiente colaborativo ### **Visão Geral da Vaga** Como Engenheiro de Dados, você desempenhará um papel fundamental no projeto, construção e manutenção de uma plataforma de dados escalável e segura em ambiente de nuvem. Você trabalhará em estreita colaboração com equipes multifuncionais para garantir a integração e entrega contínuas de serviços de dados que apoiem as iniciativas empresariais ### **Principais Responsabilidades** * Projetar, construir e manter pipelines de dados escaláveis e robustos para atender às necessidades de análise de negócios, aprendizado de máquina e relatórios. * Desenvolver e otimizar modelos de dados e conjuntos de dados para garantir processamento e armazenamento eficientes. * Dar suporte a novas fontes de dados de entrada e saída para ampliar as capacidades da plataforma de dados * Colaborar com analistas, desenvolvedores e outras partes interessadas para compreender os requisitos de dados e entregar soluções valiosas. * Implementar verificações de qualidade de dados e processos de validação para assegurar precisão, consistência e integridade dos dados. * Monitorar e solucionar problemas de desempenho dos pipelines de dados, implementando melhorias conforme necessário. * Colaborar nas especificações técnicas, processos e modelos de dados para facilitar padrões, compartilhamento de conhecimento e colaboração. * Garantir segurança, conformidade e integridade dos dados, salvaguardando o cumprimento de padrões e melhores práticas. * Dar suporte aos processos de recuperação de desastres e backup de dados para proteger informações críticas. * Otimizar consultas, partições e armazenamento de dados para aprimorar o desempenho, reduzir custos e garantir utilização eficiente dos recursos ### **Requisitos** * Experiência comprovada como Engenheiro de Dados ou cargo similar. * Domínio avançado de Python. * Experiência com tecnologias de big data, como Spark ou Hadoop. * Conhecimento de formatos e tecnologias de armazenamento de dados, tais como Avro, Parquet, Delta Lake e bancos de dados SQL. * Experiência com ferramentas ETL e orquestração de pipelines de dados (por exemplo, Databricks LakeFlow, scripts em Notebook). * Amplo conhecimento de soluções de data warehousing e melhores práticas. * Experiência com plataformas analíticas de ponta a ponta, como Microsoft Fabric, Databricks ou Snowflake * Experiência com Git e integrações CI/CD usando ferramentas como GitLab * Experiência com tecnologias de streaming de eventos, como Kafka * Experiência com infraestrutura em nuvem, tecnologias de containerização e soluções de infraestrutura como código (IaC), como Terraform. * Familiaridade com metodologias e práticas ágeis. * Certificação AWS Certified Data Engineer ou Azure Data Engineer. *As responsabilidades acima fornecem uma descrição genérica das atividades diárias do empregado, mas não devem ser consideradas, de forma alguma, uma lista exaustiva. Outras tarefas relacionadas poderão ser atribuídas pelo gerente imediato, conforme exigências e continuidade dos negócios.* ### **Por que trabalhar conosco?** Na Silverspin, adotamos abordagens ousadas, porém ponderadas, tanto no que construímos quanto na forma como trabalhamos. Agimos com confiança e responsabilidade, concentrando-nos em decisões inteligentes, impacto significativo e sucesso de longo prazo. Juntar-se a nós significa fazer parte de uma equipe que valoriza a curiosidade, a propriedade e a colaboração. Incentivamos as pessoas a questionarem ideias, simplificarem a complexidade e crescerem juntas — criando um ambiente onde um excelente trabalho (e boa energia) andam lado a lado. Oferecemos: * Salário competitivo e benefícios * Oportunidades de aprender, crescer e se desenvolver * Um ambiente criativo e colaborativo de equipe A Silverspin é uma empregadora que preza pela igualdade de oportunidades. Celebramos a diversidade e estamos comprometidos em criar um ambiente inclusivo para todos os funcionários.