Consultor aws/ engenheiro de dados

Descrição

Resumo da Vaga: Estamos em busca de um(a) Engenheiro(a) de Dados com experiência no ecossistema AWS, capaz de desenhar, desenvolver e manter pipelines escaláveis e eficientes, garantindo performance, segurança e governança em todo o ciclo de vida dos dados. Principais Destaques: 1. Experiência comprovada com o ecossistema AWS em projetos de dados. 2. Domínio de ferramentas como AWS Glue, Amazon S3, Athena, EMR, Lambda e Airflow. 3. Conhecimentos sólidos em Python e PySpark. Descrição: Requisitos Técnicos:* Experiência comprovada com o ecossistema AWS em projetos de dados. * Domínio de ferramentas como AWS Glue, Amazon S3, Athena, EMR, Lambda e Airflow. * Conhecimentos sólidos em Python e PySpark. * Vivência com modelagem de dados (dimensionais, relacionais e não relacionais). * Experiência com ETL/ELT, tratamento e transformação de dados. * Aplicação de boas práticas de segurança e compliance (IAM, KMS, políticas de acesso). * Experiência em integração de dados provenientes de múltiplas fontes. * Prática em monitoramento e observabilidade de pipelines (CloudWatch, logs, métricas). * Conhecimento em versionamento e CI/CD. Diferenciais:* Experiência em ambientes multi\-conta e multi\-região AWS. * Familiaridade com Infraestrutura como Código (Terraform, CloudFormation ou CDK). * Conhecimento básico/intermediário em espanhol. * Experiência em otimização de custos em workloads de dados na nuvem. Você é apaixonado(a) por dados, tecnologia e soluções em nuvem? Estamos em busca de um(a) Engenheiro(a) de Dados com experiência no ecossistema AWS, capaz de desenhar, desenvolver e manter pipelines escaláveis e eficientes, garantindo performance, segurança e governança em todo o ciclo de vida dos dados. Principais Atividades:* Desenhar, desenvolver e manter pipelines de dados (ETL/ELT) desde a ingestão até a disponibilização. * Criar e administrar jobs, crawlers e catálogos de dados no AWS Glue. * Orquestrar workflows utilizando Apache Airflow. * Implementar scripts e automações em Python e PySpark. * Realizar consultas e otimizações em Amazon Athena, integrando com S3 e Glue Data Catalog. * Modelar e gerenciar buckets no Amazon S3, aplicando versionamento e políticas de acesso. * Criar funções AWS Lambda para processamento em tempo real e integrações. * Administrar e executar clusters Amazon EMR para processamento distribuído. * Utilizar Git e pipelines CI/CD (GitHub Actions, CodePipeline ou similares) para versionamento e deploy. * Monitorar pipelines e processos com CloudWatch, métricas e alertas. * Documentar processos técnicos e manter repositórios de conhecimento. \#LI\-LV1 \#LI\-REMOTE 2511080202181794380