Engenheiro de dados aws pleno (2)

Descrição

Resumo da Vaga: Desenvolver e manter soluções de software e pipelines de dados em ambiente de nuvem, apoiando o time de desenvolvimento e interagindo com o negócio. Principais Destaques: 1. Desenvolvimento de Software e Cloud Computing na AWS 2. Criação e sustentação de pipelines de dados 3. Análise e levantamento de requisitos de dados Descrição: * Desenvolvimento de Software; * Cloud Computing na plataforma AWS; * Conceitos de ETL; * SQL; * Spark; * Programação em Python e/ou PySpark; * Projetos Open Source; * SRE (Conceito); * RedShitf; * S3; * Crawler; * Glue; * Kubernetes; * Airflow * Criação/Sustentação de pipeline de dados entre camadas no data lake, como otimização. * Preparação/modelagem de base de dados; * Ingestão de bases de dados para o data lake; * Análise e levantamento de requisitos de dados, junto aos usuários (área de negócio). * Apoiar o time de desenvolvimento com as demandas do dia a dia e novas demandas; * Criar/sustentar pipeline de dados entre camadas no data lake; * Desenvolver/modelar bases de dados para dashboards, relatórios, algoritmos e/ou refinadas; * Ingerir dados para do data lake; * Documentar as evoluções das atividades no JIRA diariamente; * Documentar metadados/regras de negócios através de documento interno padrão; * Entender/Levantar requisitos de bases de dados/variáveis junto ao negócio; * Fazer ingestão de bases para o data lake; * Realizar análise de qualidade de dados, e se certificar de que padrões de analytics estão sendo aplicados; * Versionar códigos desenvolvidos. 251127020240255870