Engenheiro de Dados GCP - Sênior

Descrição

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você! **\>\> A LEEGA É PARA TODOS****, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.** Cadastre\-se agora mesmo em nossas vagas! **Responsabilidades e atribuições** * Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo\-as para SQL nativo e otimizado no BigQuery; * Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes; * Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer; * Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos; * Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo; * Contagem de linhas: Verificação por tabela e por partição; * Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery); * Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados; * Validação de agregações\-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio. **Requisitos e qualificações** * Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), experiência profissional de no mínimo 6 anos; * Sólido domínio técnico em SQL avançado e Python/PySpark, experiência profissional de no mínimo 6 anos; * Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta; * Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt; * Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes). **Informações adicionais** * **Projeto temporário com prazo de até 4 meses de duração, podendo haver continuidade.** Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas. Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.