Data Engineer GCP Pleno (Remoto)

Descrição

**Description:** ---------------- Estamos buscando uma pessoa Engenheira de Dados para atuar na construção e otimização das nossas pipelines de dados. Você será responsável por garantir que o fluxo de informações seja confiável, escalável e que os dados estejam prontos para o consumo de BI e Inteligência Artificial. O foco será total no ecossistema Google Cloud, transformando dados brutos em ativos de negócio. **Principais Responsabilidades** * Desenvolver e manter pipelines de ETL/ELT (Batch e Streaming) utilizando o ecossistema GCP. * Modelagem de dados: Desenvolver e otimizar tabelas no BigQuery, garantindo performance e controle de custos (particionamento e clusterização). * Orquestração de fluxos: Criar e monitorar workflows complexos utilizando Cloud Composer (Airflow). * Integração de fontes: Consumir dados de APIs, bancos relacionais e sistemas legados para alimentar o Data Lake/Lakehouse. * Garantir a qualidade e governança: Implementar testes de dados e garantir a linhagem das informações. * Otimização de custos: Monitorar o consumo de recursos na nuvem e propor melhorias para evitar gastos desnecessários. **Requirements:** ----------------- * Experiência Sólida: Atuação comprovada em projetos de engenharia de dados (mínimo de 3 anos). * Domínio de BigQuery: Conhecimento profundo de SQL avançado, otimização de queries e gerenciamento de datasets. * Experiência com GCP: Uso prático de serviços como Cloud Dataflow (Apache Beam), Cloud Storage, Pub/Sub e Cloud Functions. * Orquestração: Experiência com Apache Airflow (Cloud Composer). * Linguagem de Programação: Proficiência em Python voltado para processamento de dados. * Infraestrutura: Conhecimento em Docker e conceitos de CI/CD aplicados a dados. **Diferenciais** * Certificação: Google Professional Data Engineer. * Infra como Código: Conhecimento em Terraform para provisionar recursos GCP. * Engenharia de SW: Experiência com testes unitários e integração contínua para pipelines. * FinOps: Experiência com monitoramento e redução de custos em nuvem. Se identificou com essa oportunidade? Então inscreva\-se e \#VemPraSauter