Engenheiro de Dados

Descrição

Sobre a vaga: Estamos em busca de uma pessoa Engenheira de Dados para atuar na construção, otimização e sustentação de pipelines de dados escaláveis, garantindo qualidade, governança e eficiência em todo o ciclo de processamento e armazenamento das informações. Essa pessoa terá papel estratégico na integração, transformação e disponibilização de dados confiáveis para suportar iniciativas de Analytics, Business Intelligence, Data Science, GenAI e Produtos de Dados, contribuindo diretamente para a tomada de decisão e evolução do negócio. Responsabilidades: ✔ Desenvolver e otimizar pipelines de dados batch escaláveis e performáticos para ingestão de dados estruturados, semiestruturados e não estruturados no Data Lake (GCS). ✔ Desenvolver e gerenciar processos de ETL/ELT utilizando Spark e SQL para abastecimento das camadas Trusted (Silver) e Refined (Gold) no Data Warehouse (BigQuery). ✔ Consolidar, integrar e modelar dados provenientes de fontes internas e externas para suportar iniciativas analíticas e produtos de dados. ✔ Desenvolver integrações e pipelines de dados em streaming para ingestão e processamento em tempo real na GCP. ✔ Projetar e implementar arquiteturas de dados eficientes, equilibrando performance, escalabilidade, custo e velocidade de desenvolvimento. ✔ Traduzir e implementar regras de negócio nos processos de transformação e disponibilização de datasets. ✔ Criar e manter processos relacionados à qualidade, governança, versionamento, linhagem e confiabilidade dos dados. ✔ Atuar como referência técnica do time de Data \& Analytics, apoiando iniciativas estratégicas e inovadoras da área. Requisitos: ✔ Experiência sólida em Engenharia de Dados, incluindo construção e otimização de pipelines ETL/ELT. ✔ Domínio em Python e SQL para desenvolvimento e processamento de dados. ✔ Experiência prática com Google Cloud Platform (GCP), especialmente com BigQuery, Dataflow, Pub/Sub, Cloud Storage e Cloud Composer. ✔ Conhecimento em integração e processamento de dados estruturados, semiestruturados e não estruturados. ✔ Experiência com modelagem de dados e otimização de consultas em BigQuery, PostgreSQL, Snowflake ou Redshift. ✔ Conhecimento em ferramentas de orquestração e automação de workflows, como Apache Airflow, Cloud Composer ou Prefect. ✔ Experiência com arquitetura e implementação de Data Lakes e Data Warehouses. ✔ Conhecimento em governança de dados, incluindo linhagem, controle de acessos, versionamento e boas práticas de compliance. ✔ Familiaridade com versionamento de código e práticas de automação utilizando Git e pipelines CI/CD. Diferenciais: ➕ Experiência com processamento e ingestão de dados em streaming utilizando Kafka ou Pub/Sub. ➕ Conhecimento em infraestrutura como código utilizando Terraform. ➕ Experiência em iniciativas relacionadas a Data Science, GenAI ou Produtos de Dados. ➕ Conhecimento em regulamentações e práticas de privacidade e segurança de dados, como LGPD e GDPR. ➕ Experiência em ambientes orientados a produtos e cultura data\-driven. Modelo de trabalho: Hibrido O que você encontrará na Maitha: Experiência de Desenvolvimento Individual de soft skills e acompanhamento em toda a jornada; Gestão de bem\-estar com acompanhamento de métricas e indicadores sobre a evolução de satisfação; Treinamentos, workshops e meetups para evolução de soft e hard skills; Rewards com programa de pontos e premiações; TotalPass com várias opções de planos e mais de 250 modalidades, como musculação, cross training, yoga, dança e muito mais; E muito mais!