Líder de Data DevOps (Azure)

Descrição

Resumo: Procuramos um Líder de Data DevOps (Azure) para projetar e aprimorar a infraestrutura e os fluxos de trabalho de dados, supervisionando soluções escaláveis de dados no ecossistema em nuvem do Azure. Pontos principais: 1. Liderar o projeto e a melhoria da infraestrutura de dados no Azure 2. Colaborar com engenharia de dados para aprimorar pipelines 3. Automatizar operações de dados com Python para maior eficiência Estamos procurando um profissional qualificado na função de **Líder de Data DevOps (Azure)** para integrar nossa equipe e assumir a responsabilidade pelo projeto e aprimoramento da infraestrutura e dos fluxos de trabalho de dados. Neste cargo, você supervisionará a implementação de soluções de dados escaláveis no ecossistema em nuvem do Azure. Trabalhará em estreita colaboração com equipes de engenharia de dados e equipes multifuncionais para garantir pipelines eficientes, confiabilidade dos sistemas e desempenho aprimorado. **Responsabilidades** * Projetar, implementar e gerenciar infraestrutura de dados usando serviços do Azure, como Data Lake (ADLSv2\), Databricks, Synapse e Data Factory * Colaborar com equipes de engenharia de dados para desenvolver e aprimorar fluxos de trabalho e pipelines * Automatizar operações de dados com Python para aumentar a confiabilidade e a eficiência * Configurar e gerenciar pipelines de CI/CD usando ferramentas como Jenkins, GitHub Actions ou outras plataformas * Trabalhar com equipes multifuncionais para melhorar a escalabilidade, a confiabilidade e o desempenho geral dos sistemas de dados * Configurar, implantar e manter ferramentas de dados, como Apache Spark e Apache Kafka, em ambientes de nuvem e locais * Monitorar sistemas de dados para detectar e resolver problemas de desempenho ou escalabilidade * Solucionar e resolver problemas técnicos complexos relacionados a plataformas e pipelines de dados **Requisitos** * Pelo menos 5 anos de experiência em Engenharia de Dados ou funções correlatas * No mínimo um ano de experiência liderando e gerenciando equipes de desenvolvimento * Conhecimento avançado em programação Python e em fluxos de trabalho de processamento em lote * Excelente domínio de SQL para gerenciar e consultar grandes conjuntos de dados * Amplo conhecimento prático em serviços em nuvem do Azure para gerenciamento de infraestrutura de dados * Experiência prática com ferramentas de Infraestrutura como Código (IaC), como Ansible, Terraform ou CloudFormation * Domínio na configuração e gerenciamento de pipelines de CI/CD usando ferramentas como Jenkins ou GitHub Actions * Experiência prática com ferramentas de dados, como Spark, Airflow ou R, para processamento de dados e automação de fluxos de trabalho * Compreensão avançada de sistemas operacionais Linux, incluindo scripts e administração de sistemas * Conhecimento sólido de protocolos e mecanismos de rede, como TCP, UDP, ICMP, DHCP, DNS e NAT * Fluência em inglês, tanto escrito quanto falado, nível B2\+ ou superior **Desejável** * Familiaridade com outras plataformas em nuvem, como AWS ou GCP * Experiência com ferramentas de orquestração de contêineres, como Kubernetes, para gerenciamento de fluxos de trabalho * Conhecimento de ferramentas de monitoramento e observabilidade, como Prometheus, Grafana ou Azure Monitor * Exposição a tecnologias de Big Data e processos avançados de análise de dados * Experiência na implementação de governança de dados e medidas de segurança em ambientes em nuvem