Descrição
Resumo:
Procuramos um Engenheiro Líder de Software de Dados para desenvolver soluções de dados escaláveis, orientar a entrega técnica com clientes e conceber pipelines de dados robustos, garantindo alta qualidade arquitetônica.
Pontos principais:
1. Desenvolver soluções de dados escaláveis e orientar a entrega técnica ponta a ponta
2. Colaborar com partes interessadas para conceber pipelines robustos de processamento em lote e em fluxo contínuo
3. Fornecer liderança técnica no planejamento de uma arquitetura preparada para o futuro
Estamos procurando um **Engenheiro Líder de Software de Dados** para desenvolver soluções de dados escaláveis e orientar a entrega técnica ponta a ponta com clientes. Você colaborará diretamente com partes interessadas, conceberá pipelines robustos de processamento em lote e em fluxo contínuo e estabelecerá um alto padrão de arquitetura e qualidade em todo o programa — candidate-se agora.
**Responsabilidades**
* Desenvolver e manter a base de código para pipelines ETL e ELT, processamento em lote/micro-lote de grande escala e sistemas de streaming
* Construir a infraestrutura necessária para extração, transformação e carregamento eficientes a partir de diversas fontes de dados, utilizando ADF, Spark, Kafka ou tecnologias semelhantes
* Identificar, projetar e implementar melhorias nos processos internos, incluindo automação de etapas manuais, otimização da entrega de dados e reestruturação da infraestrutura para maior escalabilidade
* Projetar e implementar soluções modernas de serviços de dados usando Spring Boot, ReactJS, NoSQL ou outras tecnologias relacionadas a interfaces de usuário e APIs
* Garantir a governança dos processos de gerenciamento de entrega e produção, conforme o modelo de entrega selecionado
* Atuar como único responsável perante a alta administração e as partes interessadas em temas relacionados à entrega, incluindo escalonamentos, vendas adicionais e redução de recursos
* Fornecer liderança técnica ao longo da entrega, planejando uma arquitetura sólida e preparada para o futuro e garantindo que sua implementação atenda aos padrões de qualidade técnica
* Escrever histórias e os respectivos critérios de aceitação para apoiar a execução ágil/scrum
* Coordenar o trabalho entre múltiplas disciplinas e partes interessadas
* Garantir que os projetos sejam entregues conforme os processos e metodologias definidos, com forte foco em abordagens ágeis
* Estabelecer uma estratégia contínua de gerenciamento de riscos na entrega que permita decisões e ações proativas durante todo o ciclo de vida da entrega
* Medir e melhorar a produtividade da entrega, atuar como consultor para Engenheiros de Dados e executar atividades de suporte à produção e implantação
**Requisitos**
* 5 anos ou mais de experiência em engenharia de software de dados
* Alta proficiência em SQL, Spark e Scala
* Conhecimento aprofundado do Databricks
* Compreensão sólida de pipelines ETL/ELT, processamento de dados em lote e em fluxo contínuo
* Conhecimento prático de gerenciamento de entrega, metodologias ágeis e liderança técnica
* Capacidade de se comunicar diretamente com clientes em inglês no nível B2 (Intermediário Superior) ou superior
**Desejável**
* Conhecimento de Spark Streaming
* Familiaridade com Kafka
* Experiência prévia com Azure