Resumo da Vaga: Profissional para desenvolver e manter pipelines de dados escaláveis, atuar com grandes volumes de dados e implementar integrações e automação de fluxos. Principais Destaques: 1. Desenvolver e manter pipelines de dados escaláveis e performáticos. 2. Atuar com grandes volumes de dados, garantindo qualidade e integridade. 3. Colaborar com equipes técnicas e de negócio para soluções eficientes. **Responsabilidades:** * Desenvolver e manter pipelines de dados escaláveis e performáticos. * Atuar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade, integridade e disponibilidade. * Implementar integrações via APIs (REST e/ou mensageria), realizando tratamento de dados e automação de fluxos. * Desenvolver soluções de processamento distribuído e otimização de consultas. * Automatizar deploys e provisionamento de recursos utilizando princípios de infraestrutura como código. * Realizar a orquestração de workflows de dados, assegurando monitoramento, versionamento e observabilidade. * Colaborar com equipes técnicas e de negócio para traduzir requisitos em soluções eficientes de engenharia de dados. **Requisitos Técnicos (Hard Skills)** * Experiência sólida em Python para manipulação de dados, automações e integrações. * Experiência sólida em SQL avançado, incluindo otimização de consultas e modelagem de dados. * Conhecimento em processamento distribuído e paralelismo, aplicando conceitos de computação em cluster. * Experiência com arquitetura de dados em ambientes cloud (preferencialmente AWS). Integração de dados via APIs, autenticação, controle de erros e padrões de integração. * Práticas de versionamento de código e automação (Git e DevOps/DataOps). * Noções de infraestrutura como código e automação de provisionamento. * Conhecimento em orquestração de pipelines e governança de execução de processos. * Familiaridade com query engines distribuídos e otimização de processamento em larga escala. * Experiência com orquestração de workflows de dados, utilizando ferramentas como Airflow ou similares (não obrigatória, mas desejável). **Conhecimentos Desejáveis (Ferramentas)** Não obrigatórios, mas considerados diferenciais para a posição plena: * Plataformas de versionamento e CI/CD (ex: GitLab); * Ferramentas de processamento de dados e clusters (Databricks, Spark); * Plataformas de data lake e engines SQL distribuídos (Trino, Dremio); * Orquestradores de pipelines (Airflow); * Soluções de nuvem (AWS) e infraestrutura como código (Terraform); * Integração e consumo de APIs; Experiência prévia com esses ambientes será considerada um diferencial, mas buscamos profissionais com base técnica sólida e capacidade de aprendizado.
João Silva
Indeed · HR
João Silva
Indeed · HR
