Engenheiro de dados

Descrição

Resumo da Vaga: O Engenheiro de Dados será responsável por implementar e otimizar arquiteturas de dados em nuvem, garantindo qualidade, segurança e governança, e trabalhando em colaboração com equipes de Engenharia e Analytics. Principais Destaques: 1. Otimização de arquiteturas de dados em nuvem (GCP e Azure) 2. Garantia da qualidade, segurança e governança de dados 3. Desenvolvimento de pipelines de dados (ETL/ELT) e automação de processos Responsabilidades e atribuições Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure); Garantir a qualidade, segurança e governança dos dados, seguindo melhores práticas e políticas de compliance; Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis; Monitorar e otimizar desempenho de sistemas de dados, identificando gargalos e oportunidades de melhoria; Automatizar processos de coleta, transformação e disponibilização de dados, visando eficiência e escalabilidade; Gerenciar o data lakes e o data warehouses; Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados. Requisitos e qualificações Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow, Databricks ou similares; Conhecimento em linguagens de programação como Python; Experiência com bancos de dados relacionais e não relacionais (SQL, NoSQL); Conhecimento de data lakes e data warehouses (BigQuery, etc.); Experiência com ferramentas de versionamento de código (Git) e CI/CD; Noções de governança de dados, segurança e boas práticas de modelagem de dados; Capacidade de trabalhar em ambientes ágeis e colaborativos. Diferenciais Experiência com arquitetura orientada a eventos (Kafka); Familiaridade com ferramentas de observabilidade; Experiência com plataformas de processamento distribuído (Spark); **Requisitos:** Engenheiro de dados Responsabilidades e atribuições Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure); Garantir a qualidade, segurança e governança dos dados, seguindo melhores práticas e políticas de compliance; Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis; Monitorar e otimizar desempenho de sistemas de dados, identificando gargalos e oportunidades de melhoria; Automatizar processos de coleta, transformação e disponibilização de dados, visando eficiência e escalabilidade; Gerenciar o data lakes e o data warehouses; Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados. Requisitos e qualificações Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow, Databricks ou similares; Conhecimento em linguagens de programação como Python; Experiência com bancos de dados relacionais e não relacionais (SQL, NoSQL); Conhecimento de data lakes e data warehouses (BigQuery, etc.); Experiência com ferramentas de versionamento de código (Git) e CI/CD; Noções de governança de dados, segurança e boas práticas de modelagem de dados; Capacidade de trabalhar em ambientes ágeis e colaborativos. Diferenciais Experiência com arquitetura orientada a eventos (Kafka); Familiaridade com ferramentas de observabilidade; Experiência com plataformas de processamento distribuído (Spark);