Data Engineer

Descrição

Resumo da Vaga: Profissional para construir e monitorar pipelines de dados, modelar dados em lakehouse, contribuir com arquitetura, garantir observabilidade e qualidade de dados, e evoluir padrões de IA. Principais Destaques: 1. Forte atuação na construção e manutenção de pipelines de dados confiáveis. 2. Contribuição ativa em decisões de arquitetura e adoção de ferramentas. 3. Oportunidade de trabalhar com e evoluir ferramentas de IA. **Suas principais entregas:** ----------------------------- * Construir, manter e monitorar pipelines de dados (ingestão incremental/CDC, processamento, disponibilização) de forma confiável e idempotente. Modelar dados nas camadas do lakehouse (raw curado* consumo) e escrever transformações no engine de query distribuído. * Contribuir com decisões de arquitetura e adoção de ferramentas * Garantir observabilidade, qualidade e governança dos dados (testes, alertas, resposta a incidentes) * Traduzir a necessidade dos times de negócio em modelagem e consumo. * Evoluir os padrões, a documentação e o tooling de IA do time. **Requisitos:** --------------- * Python e SQL forte (modelagem, otimização, plano de execução). * Orquestração de pipelines (Airflow ou similar) e processamento batch. * Nuvem (AWS preferencialmente; GCP/Azure equivalentes contam). * Banco de dados relacional (Postgres/MySQL) e modelagem de data warehouse / lakehouse. * Git e prática de code review. * Autonomia para destravar problema com enunciado incompleto, sem depender de escopo mastigado. * Vontade de trabalhar com e sobre ferramentas de IA no fluxo de engenharia (nosso desenvolvimento é fortemente aumentado por IA e o time constrói/evolui o próprio harness de agentes). **Diferenciais:** ----------------- * Lakehouse / formatos de tabela abertos (Iceberg, Delta, Hudi) e engines distribuídos (Trino, Spark). * Polars, Glue, Docker/Kubernetes. * Mensageria e arquitetura de eventos / CDC (Kafka, Debezium ou similares). * Governança e observabilidade de dados (data quality, lineage, catálogo). * Experiência com automações agênticas / LLM no fluxo de trabalho. **Benefícios:** --------------- * Cartão Caju, com mais liberdade para usar seus benefícios. * + Wellhub, extensivo a dependentes legais. + Plano Odontológico. * Seguro de Vida SulAmérica, segurança para você e sua família.