Engenheiro de dados (pleno)

Descrição

Resumo da Vaga: Buscamos um Engenheiro de Dados para desenvolver e manter pipelines de ELT, otimizar dados e integrar diversas fontes, garantindo a qualidade e rastreabilidade dos dados. Principais Destaques: 1. Desenvolver e manter pipelines de ELT com Python e Apache Airflow 2. Otimizar queries e estruturas de dados no BigQuery para performance 3. Integrar dados de múltiplas fontes e garantir qualidade em produção Descrição: * Graduação completa em Engenharia de Computação/Software, Ciência da Computação, Sistemas de Informação ou similares; * Experiência prévia como Engenheiro de Dados ou função similar; * Conhecimento sólido em Python para tratamento e transformação de dados; * SQL avançado queries complexas, otimização e window functions; * Experiência com Apache Airflow (ou ferramentas equivalentes de orquestração); * Familiaridade com Google Cloud Platform preferencialmente BigQuery e Cloud Storage; * Conceitos de arquitetura de dados e modelagem de Datalakes. Diferenciais * SQL Avançado expertise em otimização de queries, execution plans e análise de performance no BigQuery; * Experiência com extração de dados on\-premises ter trabalhado com integração de dados de servidores instalados em infraestrutura técnica do cliente; * Experiência em Cloud Composer (orquestração GCP); * Conhecimento em Looker Studio ou outras ferramentas de visualização; * Experiência prévia em projetos de consultoria ou com múltiplos. * Desenvolver e manter pipelines de extração, transformação e carregamento (ELT) de dados utilizando Python e Apache Airflow. * Otimizar queries e estruturas de dados no BigQuery, garantindo performance e eficiência. * Automatizar fluxos de dados recorrentes e reduzir esforço operacional repetitivo. * Integrar dados de múltiplas fontes, incluindo ambientes on\-premises, com o Datalake na nuvem. * Garantir qualidade, consistência e rastreabilidade dos dados em produção. * Documentar arquitetura, padrões e procedimentos para evolução contínua da plataforma. 2512120202501916275