Engenheiro Senior DevOps de Dados

Descrição

Resumo: Junte-se à nossa equipe como Engenheiro Senior DevOps de Dados especializado na Google Cloud Platform para liderar a infraestrutura em nuvem e a automação de fluxos de trabalho de dados, otimizando sistemas de dados baseados em nuvem e colaborando entre equipes. Pontos principais: 1. Liderar a infraestrutura em nuvem e a automação de fluxos de trabalho de dados 2. Otimizar sistemas de dados baseados em nuvem e colaborar entre equipes 3. Trabalhar em projetos impactantes de dados na nuvem Junte-se à nossa equipe como Engenheiro Senior DevOps de Dados especializado na Google Cloud Platform para liderar a infraestrutura em nuvem e a automação de fluxos de trabalho de dados. Você desempenhará um papel fundamental na otimização de sistemas de dados baseados em nuvem e na colaboração entre equipes para entregar soluções confiáveis. Candidate-se agora para trabalhar em projetos impactantes de dados na nuvem. **Responsabilidades** * Desenvolver infraestrutura de dados em nuvem utilizando serviços da GCP, incluindo DataFlow, GCS e Dataproc * Implementar soluções de Infraestrutura como Código (IaC) usando Terraform para implantação automatizada e monitoramento de sistemas * Colaborar com equipes de engenharia de dados para construir fluxos de trabalho automatizados eficientes em Python * Criar e manter pipelines de CI/CD com Jenkins, GitLab CI ou GitHub Actions para integração e entrega contínuas * Melhorar a estabilidade e eficiência das plataformas de dados trabalhando em estreita colaboração com os stakeholders * Configurar e gerenciar ferramentas de dados baseadas em nuvem, como Apache Spark, Kafka e Apache Airflow * Identificar e resolver problemas de desempenho e escalabilidade em ambientes de dados na nuvem **Requisitos** * Pelo menos 3 anos de experiência prática com serviços em nuvem da GCP, como BigQuery e Cloud Composer * Excelentes habilidades em Python combinadas com sólidos conhecimentos em SQL para manipulação de pipelines de dados * Experiência com ferramentas de IaC, como Terraform ou CloudFormation, para automação de infraestrutura * Familiaridade com ferramentas de CI/CD, incluindo Jenkins, GitHub Actions ou GitLab CI * Experiência com sistemas Linux e scripts em shell * Bom entendimento de protocolos de rede, como TCP/IP, DNS e NAT * Experiência com ferramentas de dados, como Apache Spark, Apache Airflow ou ELK Stack **Desejável** * Conhecimento das plataformas em nuvem AWS ou Azure, incluindo serviços como ECS, S3 ou Synapse * Capacidade de utilizar outras ferramentas de Infraestrutura como Código, como Ansible * Experiência com outras ferramentas de automação de pipelines de dados