ENGENHARIA DE DADOS

Descrição

Resumo da Vaga: Estamos em busca de um Engenheiro de Dados para atuar na construção e evolução da nossa plataforma de dados, sendo peça-chave na sustentação de um ambiente moderno, escalável e governado. Principais Destaques: 1. Construção e evolução de plataforma de dados moderna e escalável 2. Desenvolvimento de processos de ingestão de dados e módulos reutilizáveis 3. Atuação na segurança, governança e observabilidade da arquitetura **Descrição da vaga:** Estamos em busca de um Engenheiro de Dados para atuar na construção e evolução da nossa plataforma de dados, sendo peça\-chave na sustentação de um ambiente moderno, escalável e governado. Esse profissional será responsável por garantir a ingestão confiável de dados, a segurança, a governança e a observabilidade de toda a arquitetura, além de desenvolver padrões, ferramentas e componentes reutilizáveis que suportem o time de Analytics. **No dia a dia irá:** Desenvolver e manter processos de ingestão de dados (batch e streaming), integrando diferentes fontes (bancos relacionais, APIs, arquivos e ambientes cloud) até a camada Bronze Catalogar e documentar as origens e destinos dos dados sob sua responsabilidade (Landing Zone e Bronze) Atuar na sustentação e evolução da plataforma de dados (Databricks, ADLS, ADF), propondo melhorias contínuas e novas tecnologias **Criar módulos reutilizáveis para ganho de escala do time (ex:** macros dbt, bibliotecas Python, conectores) Administrar e garantir a segurança da plataforma (Unity Catalog, Entra ID, Key Vault) Configurar e manter ambientes de desenvolvimento e produção Implementar e evoluir pipelines de CI/CD e automações Garantir performance, controle de custos e escalabilidade da arquitetura Atuar na correção de vulnerabilidades e atendimento a auditorias técnicas Apoiar tecnicamente o time de Analytics, promovendo capacitação e evolução contínua Contribuir com documentação técnica, processos e base de conhecimento da área **Requerimentos:** Formação e Experiência Ensino superior em andamento ou concluído em áreas como Análise e Desenvolvimento de Sistemas, Engenharia da Computação, Sistemas de Informação ou correlatas Experiência de 1 a 2 anos em Engenharia de Dados ou áreas correlatas Conhecimentos Técnicos Python e SQL Processamento de dados com Spark DBT para transformação de dados Shell Script Versionamento de código (Git) e práticas de CI/CD Experiência com plataformas de dados (Databricks, Snowflake ou BigQuery) Experiência com tabelas ACID (Delta Lake, Iceberg ou Hudi) Experiência com ingestão e streaming de dados (Kafka, RabbitMQ, CDC, Debezium, etc.) Vivência em ambientes cloud (Azure, AWS ou GCP) Conhecimento em arquiteturas modernas de dados (Lakehouse, Data Mesh, Data Fabric, etc.) Diferenciais Conhecimento em governança de dados e segurança da informação Experiência com otimização de custos em ambientes cloud Vivência em ambientes regulados ou com forte governança (LGPD, auditorias, etc.) Competências Comportamentais Pensamento analítico e foco em qualidade Proatividade e senso de dono Boa comunicação e trabalho em equipe Organização e disciplina Capacidade de adaptação e aprendizado contínuo