Resumo: Procuramos um Engenheiro Senior DevOps para aprimorar a estabilidade e escalabilidade dos sistemas de dados dentro de nossa Organização de Anúncios, otimizando processos de CI/CD e colaborando com partes interessadas. Pontos principais: 1. Supervisionar e aprimorar pipelines de processamento de dados com Airflow, Spark e Flink 2. Configurar e gerenciar infraestrutura em nuvem usando AWS, Kubernetes e Terraform 3. Melhorar e otimizar processos de CI/CD com Spinnaker e Jenkins Estamos procurando um Engenheiro Senior DevOps para se juntar à nossa Organização de Anúncios, com foco em garantir a estabilidade e escalabilidade de nossos sistemas de dados. Esta função envolve atualizações de sistema, solução de problemas, otimização de processos de CI/CD e parceria com partes interessadas para entregar soluções eficazes em um ambiente voltado para dados. **Responsabilidades** * Supervisionar e aprimorar pipelines de processamento de dados com Airflow/MWAA, Spark e Flink * Configurar e gerenciar infraestrutura em nuvem usando AWS, Kubernetes e Terraform * Trabalhar com partes interessadas para compreender requisitos e compartilhar atualizações sobre desenvolvimentos da infraestrutura * Realizar atualizações, manutenção e solução de problemas das plataformas de dados, utilizando Datadog para monitoramento e garantia de desempenho * Melhorar e otimizar processos de CI/CD com Spinnaker e Jenkins para apoiar lançamentos contínuos e suaves de aplicações **Requisitos** * Pelo menos 3 anos de experiência em funções de DevOps ou Data DevOps * Sólida experiência com Amazon Web Services (AWS) para gerenciamento de ambientes em nuvem * Experiência consolidada com Apache Airflow para construção e gerenciamento de fluxos de trabalho de dados * Proficiência em Kubernetes para implantação e orquestração de contêineres * Habilidade em Terraform para automação no provisionamento de infraestrutura * Habilidades avançadas de comunicação em inglês no nível B2 ou superior para trabalho em equipe eficaz e documentação **Desejável** * Experiência com Apache Flink para processamento de dados em tempo real * Experiência com Apache NiFi para projetar e automatizar pipelines de dados * Conhecimento de Databricks para análises avançadas e operações de machine learning * Familiaridade com Datadog para monitoramento e diagnóstico de problemas na infraestrutura