Contratante: Avantti Tecnologia Local: Remoto Contrato PJ ou CLT (informar pretensão salarial) Idioma: Inglês Intermediário/Avançado (diferencial) **Responsabilidades** * Desenvolver e manter pipelines de dados escaláveis e performáticos. * Atuar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade, integridade e disponibilidade. * Implementar integrações via APIs (REST e/ou mensageria), realizando tratamento de dados e automação de fluxos. * Desenvolver soluções de processamento distribuído e otimização de consultas. * Automatizar deploys e provisionamento de recursos utilizando princípios de infraestrutura como código. * Realizar a orquestração de workflows de dados, assegurando monitoramento, versionamento e observabilidade. * Colaborar com equipes técnicas e de negócio para traduzir requisitos em soluções eficientes de engenharia de dados. Requisitos: * Experiência sólida em Python para manipulação de dados, automações e integrações. * Experiência sólida em SQL avançado, incluindo otimização de consultas e modelagem de dados. * Conhecimento em processamento distribuído e paralelismo, aplicando conceitos de computação em cluster. * Experiência com arquitetura de dados em ambientes cloud (preferencialmente AWS). * Integração de dados via APIs, autenticação, controle de erros e padrões de integração. * Práticas de versionamento de código e automação (Git e DevOps/DataOps). * Noções de infraestrutura como código e automação de provisionamento. * Conhecimento em orquestração de pipelines e governança de execução de processos. * Familiaridade com query engines distribuídos e otimização de processamento em larga escala. * Experiência com orquestração de workflows de dados, utilizando ferramentas como Airflow ou similares (não obrigatória, mas desejável). **Conhecimentos Desejáveis (Ferramentas):** * Plataformas de versionamento e CI/CD (ex: GitLab); * Ferramentas de processamento de dados e clusters (Databricks, Spark); * Plataformas de data lake e engines SQL distribuídos (Trino, Dremio); * Orquestradores de pipelines (Airflow); * Soluções de nuvem (AWS) e infraestrutura como código (Terraform); * Integração e consumo de APIs.