Engenheiro Sênior de Dados

Descrição

Resumo: Projetar e implementar pipelines de dados robustos e escaláveis, integrar plataformas Sinch, otimizar fluxos de trabalho e liderar projetos de engenharia de dados. Pontos de destaque: 1. Liderar projetos de engenharia de dados e atuar como referência técnica. 2. Projetar pipelines e arquiteturas modernas de dados em ambientes de nuvem. 3. Defender as melhores práticas e ideias inovadoras em Engenharia de Dados. **Responsabilidades** * Projetar e implementar **pipelines de dados robustos e escaláveis** que garantam a precisão e disponibilidade dos dados em múltiplas plataformas. * Trabalhar na **integração de dados** de diversas plataformas e produtos Sinch em todo o mundo. * Contribuir para o desenvolvimento, desempenho, qualidade, monitoramento e manutenção de pipelines de dados. * **Otimizar** fluxos de trabalho e bancos de dados existentes quanto ao desempenho e escalabilidade, utilizando melhores práticas e ferramentas de ponta. * Identificar oportunidades de melhoria em nossos produtos, negócios e arquitetura por meio do uso estratégico de dados. * **Liderar projetos de engenharia de dados**, atuando como **referência técnica** e oferecendo orientação aos membros da equipe (por exemplo, por meio de revisões de código). * Colaborar ativamente com cientistas de dados, analistas e equipes de produto para compreender as necessidades de dados e entregar soluções de alta qualidade. * Defender as **melhores práticas em Engenharia de Dados**, tanto interna quanto externamente à equipe. Manter-se atualizado sobre tecnologias emergentes e tendências do setor para contribuir com ideias inovadoras à nossa estratégia de dados. * **Requisitos obrigatórios** * **Experiência consistente** como Engenheiro de Dados ou em função relacionada. * Conhecimento sólido de **desenvolvimento de software** (por exemplo, **Python**, Spark, Git, CI/CD, Docker). * Domínio avançado de **SQL** para consultas de dados e construção de processos **ETL/ELT**. * Proficiência no projeto de pipelines e arquiteturas modernas de dados. * Experiência com conceitos de **Data Lake e Data Warehouse**, aplicando boas práticas para estruturar e armazenar grandes volumes de dados. * Capacidade de **solucionar problemas e otimizar** pipelines de dados quanto ao desempenho e confiabilidade. * Experiência com ferramentas/orquestradores de criação de pipelines de dados (por exemplo, **Airflow**, **Dagster**). * Conhecimento prático de ambientes de nuvem (por exemplo, **AWS** ou **GCP**). * Experiência com **Databricks** ou tecnologias de banco de dados como **Snowflake** ou **Delta Lake**. * Conhecimento de diferentes arquiteturas de dados (por exemplo, Data Lake, Data Mesh, Data Fabric). * **Inglês fluente**, para comunicação eficaz com partes interessadas técnicas e comerciais. * Capacidade comprovada de colaborar efetivamente e **comunicar ideias complexas com clareza**. **Desejável** * Experiência com **processamento de dados em tempo real** e ferramentas/frameworks relacionados. * Experiência no projeto e implementação de novas arquiteturas de dados. * Experiência com qualquer **ferramenta de governança/gerenciamento de dados**. * Experiência com uma ferramenta (por exemplo, **Dremio**) para criar uma **camada de virtualização**. * Conhecimento das melhores práticas de segurança de dados (criptografia, controles de acesso). * Capacidade de organizar e dividir projetos/iniciativas complexos em tarefas gerenciáveis.