Engenheiro Senior DevOps de Dados com foco em AWS

Descrição

Resumo: Procuramos um Engenheiro Senior DevOps de Dados para projetar, construir e manter infraestruturas de dados em nuvem escaláveis, com foco em estratégia, automação e mentoria de equipes. Pontos principais: 1. Liderar a estratégia de infraestrutura e automação para plataformas de dados em nuvem. 2. Colaborar com equipes de engenharia de dados e análise para otimizar pipelines. 3. Mentorar engenheiros júnior e pleno, defendendo as melhores práticas. Estamos procurando um experiente Engenheiro Senior DevOps de Dados especializado em AWS para projetar, construir e manter infraestruturas de dados em nuvem escaláveis. Você será responsável pela estratégia de infraestrutura, automação e mentoria, colaborando de perto com equipes para entregar soluções em nuvem eficientes e seguras. Se você possui as habilidades e liderança necessárias para se destacar, candidate-se agora para integrar nossa equipe. **Responsabilidades** * Desenvolver e gerenciar infraestrutura de dados escalável usando serviços AWS como ECS, RDS, Athena, Glue, S3, EBS, CloudFormation, IAM e Redshift * Automatizar a implantação de infraestrutura com ferramentas como Terraform e AWS CloudFormation * Trabalhar em conjunto com equipes de engenharia de dados e análise para otimizar pipelines de dados utilizando Python e AWS Glue * Estabelecer e manter as melhores práticas de CI/CD em ambientes AWS usando GitHub Actions, AWS CodePipeline, Jenkins ou ferramentas semelhantes * Melhorar o desempenho, confiabilidade, escalabilidade e gestão de custos das plataformas de dados em nuvem * Incorporar ferramentas avançadas de dados, incluindo Apache Airflow e Apache Spark no AWS EMR, para aprimorar fluxos de trabalho * Diagnosticar e solucionar problemas complexos em sistemas AWS, realizando análise de causa raiz quando necessário * Implementar políticas robustas de IAM, segurança de dados, criptografia e padrões de conformidade da AWS * Realizar planejamento de capacidade, otimização de recursos e controle de custos para recursos críticos da plataforma de dados * Apoiar e mentorar membros júnior e pleno da equipe, defendendo as melhores práticas **Requisitos** * Mínimo de 3 anos de experiência em Engenharia de Dados, DevOps ou funções similares, com foco em infraestrutura em nuvem e automação * Experiência sólida em programação Python para scripts, automação e otimização de processos * Habilidades avançadas em SQL para manipulação de grandes conjuntos de dados * Amplo conhecimento prático em serviços de dados da AWS, como Redshift, Glue, EMR e Athena * Conhecimento profundo de ferramentas de Infraestrutura como Código (IaC), como Terraform, AWS CloudFormation ou Ansible * Capacidade de criar e gerenciar pipelines de CI/CD com Jenkins, GitHub Actions, AWS CodePipeline ou equivalentes * Experiência com plataformas de processamento distribuído de dados e orquestração, como Apache Spark e Apache Airflow * Capacidade avançada de administração e ajuste de sistemas Linux em contextos de nuvem * Bom entendimento de protocolos de rede (TCP, UDP, ICMP, DNS, NAT) em ambientes em nuvem * Experiência com automação de infraestrutura em larga escala usando Terraform ou ferramentas semelhantes * Capacidade comprovada de instalar e operar plataformas de dados como Apache Kafka e NiFi * Capacidade de liderar projetos e mentorar engenheiros júnior e pleno * Proficiência profissional em inglês (nível B2 ou superior) **Desejável** * Experiência com plataformas em nuvem além da AWS, como Azure ou GCP, incluindo estratégias de nuvem híbrida * Familiaridade com ferramentas de análise estatística como R e plataformas de visualização de dados como Tableau ou Power BI * Conhecimento de soluções avançadas de CI/CD como Bamboo * Experiência em arquiteturas de dados híbridas e locais, garantindo fluxos de dados seguros e escaláveis * Experiência com ferramentas de orquestração de contêineres, como Kubernetes, Docker ou AWS ECS/EKS