Engenheiro de Dados Sênior GCP/DBT

Descrição

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você! **\>\> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.** Cadastre\-se agora mesmo em nossas vagas! **Responsabilidades e atribuições** **Análise e Planejamento de Cargas/Pipelines:** * Avaliar a arquitetura e os requisitos do DW. **Mapear os dados, transformações e processos os serviços GCP (Cloud Storage, BigQuery, Dataproc).** * Definir a estratégia de migração de dados (full load, incremental, CDC). * Elaborar um plano de arquitetura de dados no GCP. **Design e Modelagem de Dados no GCP:** * Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade. * Definir estratégias de particionamento e clustering para BigQuery. * Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold). **Desenvolvimento de Pipelines de ELT/ETL:** * Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery. * Traduzir a lógica de negócios e as transformações existentes no GCP. * Implementar mecanismos de validação e qualidade de dados. **Provisionamento e Gerenciamento de Infraestrutura:** * Utilizar ferramentas de IaC (Terraform) para provisionar e gerenciar recursos GCP (BigQuery datasets/tables, Cloud Storage buckets, Dataproc clusters). * Configurar e otimizar clusters Dataproc para diferentes cargas de trabalho. * Gerenciar redes, segurança (IAM) e acessos no GCP. **Otimização de Performance e Custo:** * Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho. * Ajustar e otimizar jobs Spark no Dataproc. * Monitorar e otimizar o uso de recursos GCP para controlar custos. **Segurança e Governança de Dados:** * Implementar e garantir a segurança dos dados em trânsito e em repouso. * Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos. * Garantir a conformidade com as políticas de governança de dados. **Monitoramento e Suporte:** * Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP. **Documentação:** * Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais. **Comunicação:** * Comunicar\-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa. * Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe; **Jira / Metodologias Ágeis:** * Conhecer as metodologias ágeis, seus ritos e proficiência com a ferramenta Jira. **Requisitos e qualificações** * **Google Cloud Platform (GCP):** * **BigQuery:** Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados. * **Cloud Storage:** Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados. * **Dataproc:** Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs, e integração com outros serviços GCP. * **Dataflow/Composer/DBT:** Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL. * **Conhecimento comprovado no mínimo 3 anos em GCP;** * **Conhecimento comprovado no mínimo 3 anos em DBT e se possível ;** * Conhecimento comprovado no minimo 3 anos em Pyspark; * Conhecimento comprovado em GitFlow; * **Cloud IAM (Identity and Access Management):** Implementação de políticas de segurança e controle de acesso granular. * **VPC, Networking e Security:** Entendimento de redes, sub\-redes, regras de firewall e melhores práticas de segurança na nuvem. * **Linguagens de Programação:** * **Python e PySpark:** Essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP. * **SQL (avançado):** Para BigQuery, DBT e transformações de dados. * **Shell Scripting:** Para automação de tarefas. * **Controle de Versão:** * Git/GitHub/Bitbucket. * **Trabalho 100% remoto** **Informações adicionais** **Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:** **Convênio Médico Porto Seguro** Cuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos. **Convênio Odontológico Porto Seguro** Proteção odontológica para você e seus dependentes. **Participação nos Lucros e Resultados (PLR)** Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa. **Auxílio Creche** Suporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade. **Vale Alimentação e Refeição Alelo** Garantindo refeições práticas e confortáveis no seu dia a dia. **Auxílio Home Office** Incentivo para que você tenha um espaço de trabalho confortável em casa. **Parcerias com Instituições de Ensino** Educação ao seu alcance, com descontos e incentivos em cursos e graduações. **Incentivo para Certificações, inclusive em Cloud** Avance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras. **Pontos Livelo** Acumule pontos e use como preferir, com total liberdade de escolha. **TotalPass** Incentivo à saúde com planos de academia com desconto para colaboradores e familiares. **Mindself** Incentivo à melhorar a qualidade de vida através de meditação e o Mindfulness. Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas. Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.