Data Engineer

Descrição

Resumo da Vaga: Buscamos um profissional para atuar na evolução da infraestrutura e governança de dados, focado em eficiência operacional, modernização e implementação de Data Contracts para dados estratégicos. Principais Destaques: 1. Evolução da infraestrutura e governança de dados 2. Foco em FinOps, Kubernetes (GKE) e Data Contracts 3. Colaboração com Data Science e Analytics Engineers Como o time de **DADOS** constrói a Loft O time de Dados tem duas missões centrais: garantir que a Loft tome as melhores decisões e que utilizemos AI/Machine Learning em seu máximo potencial. Somos responsáveis pela criação de ferramentas e tecnologias que permitem que toda a companhia faça análises de forma eficiente, escalável e segura. Buscamos uma pessoa para atuar na evolução da nossa infraestrutura e governança, com foco em **eficiência operacional (FinOps)**, modernização via **Kubernetes (GKE)** e implementação de **Data Contracts**, garantindo que nossos dados sejam um ativo estratégico, documentado e sustentável. **Os desafios que você vai encontrar:** * Operar e evoluir pipelines de dados utilizando o ecossistema Google Cloud Platform (**GCP**); * Gerenciar e realizar o deploy de workloads de dados em clusters **GKE (Google Kubernetes Engine)** utilizando **Helm** para pacotização; * Implementar e manter **Data Contracts** para garantir a qualidade e a estabilidade da integração entre Engenharia de Software e Dados; * Atuar na organização e manutenção do **Catálogo de Dados**, assegurando que a documentação técnica e a linhagem de dados estejam sempre atualizadas; * Executar iniciativas de **FinOps** para identificação de desperdícios e redução de custos de infraestrutura em nuvem; * Orquestrar fluxos de dados com Cloud Composer (Airflow) e apoiar a padronização de CI/CD para dados; * Colaborar com Data Science e Analytics Engineers para fornecer infraestrutura que suporte modelos de ML e análises complexas. **O que você precisa para virar a chave?** * Experiência prática com serviços de dados em **GCP** (BigQuery, Cloud Composer/Airflow, GCS); * Conhecimento em **Kubernetes (GKE)** e gerenciamento de charts com **Helm**; * Familiaridade com conceitos de **Data Contracts** (contratos de interface de dados) e ferramentas de **Catálogo de Dados** (ex: DataHub, Amundsen ou Google Dataplex); * Experiência com Infraestrutura como Código (**Terraform**) aplicada a ambientes de dados; * Domínio de **Python** e **SQL** para construção e otimização de pipelines; * **Comunicação clara e proativa**: capacidade de colaborar com diferentes stakeholders para definir padrões de dados; * Mentalidade voltada para eficiência operacional, organização técnica e documentação. **Informações adicionais** Caju \- Mais liberdade para usar seus benefícios (Refeição, Alimentação, Mobilidade, Saúde, Home Office, Cultura e Educação); Assistência Médica Assistência Odontológica Seguro de Vida ️WellHub \- Acesso a academias no Brasil inteiro Wellz\- Plataforma de Saúde Mental ️Férias Flexíveis \- Tire suas férias a qualquer momento Day Off Licença Parental \- para pais e mães Guapeco \- Plano de Saúde Pet com desconto ️Trabalho \- Remoto