Engenheiro de Dados Sênior - Python

Descrição

Resumo: A Zallpy busca uma pessoa curiosa e colaborativa para construir e otimizar pipelines de dados complexos, implementar o ecossistema Databricks e desenvolver mecanismos de ingestão para agentes de IA. Pontos de destaque: 1. Oportunidade de trabalhar com Databricks, Airflow, dbt e ferramentas de desenvolvimento de IA 2. Foco na construção de agentes de IA e na transformação de dados de infraestrutura 3. Ambiente colaborativo com ênfase em aprendizado e crescimento Na Zallpy, a tecnologia nasce de pessoas curiosas e colaborativas, com desejo de fazer bem as coisas. Se você gosta de ambientes onde há espaço para fazer perguntas, testar, aprender e evoluir juntos, confira esta oportunidade! **Diversidade, Equidade e Inclusão** Na Zallpy, valorizamos um ambiente onde todos possam ser eles mesmos, com respeito, segurança e senso de pertencimento. Incentivamos especialmente inscrições de pessoas com deficiência e garantimos um ambiente acessível, com adaptações e suporte ao longo de todo o processo. Também incentivamos a participação de pessoas negras, mulheres, indivíduos LGBTQIA\+, e profissionais de diferentes origens. Aqui, você pode ser você mesmo em todas as etapas da sua jornada. Venha fazer parte do nosso time. Procuramos alguém que atue em uma equipe que pense grande, trabalhe com atenção aos detalhes, colabore diariamente e compartilhe responsabilidades. Acreditamos na autonomia, no intercâmbio de diferentes experiências e em soluções construídas em conjunto. Aqui, crescimento significa compartilhar conhecimento, respeitar diferentes formas de pensar e construir relações de confiança, entregando tecnologia de qualidade. Se você se identifica com essa forma de trabalhar, venha fazer parte do nosso time. **O que você fará:** * Construir e otimizar pipelines complexos usando Databricks Workflows, Airflow ou dbt para transformar dados de infraestrutura em inteligência pronta para agentes. * Implementar o ecossistema Databricks (Unity Catalog, Delta Lake, MLflow) como fundamento central para agentes de IA. * Desenvolver mecanismos de ingestão para Qdrant, com foco em quantização vetorial e enriquecimento de carga útil rica em metadados. * Utilizar ferramentas de desenvolvimento de IA (Cline/Claude Code) para iterar rapidamente na lógica ETL e automatizar a validação de dados. * Entregar documentação sobre contratos de dados e rastreabilidade no Confluence, fornecendo o "manual de instruções" para os agentes. **O que buscamos:** * Fluência em inglês. * Domínio avançado do Databricks (Delta Lake, Unity Catalog) e do Apache Spark. * Experiência prática com Qdrant (indexação, filtragem e busca híbrida). * Excelência em SQL e Python (PySpark, Pandas). * Domínio avançado do Airflow, dbt e frameworks de processamento em fluxo (Spark Streaming/Flink). **Desejável:** * Experiência prévia em desenvolvimento de IA. **Onde você trabalhará:** * Esta é uma posição híbrida, com trabalho realizado em nosso escritório em Acate/Florianópolis. **Modelos de contratação:** * CLT * Cooperativa **Benefícios de ser um Zallper:** Vale-refeição/alimentação Cartão multi-benefício Caju (formato crédito), oferecendo flexibilidade para necessidades cotidianas. (Apenas CLT) \* Plano de Saúde – Unimed Sem carência nem coparticipação para o titular. Possibilidade de incluir dependentes (filhos, cônjuge ou enteados) mediante coparticipação. (Apenas CLT) \* Plano Odontológico – Uniodonto Opções acessíveis para inclusão de dependentes. (Apenas CLT) \* Wellhub Acesso a academias, atividades físicas e programas de bem-estar. Zenklub Para CLT: duas sessões gratuitas por mês e tarifas especiais para sessões adicionais. Para Cooperativa/PJ: tarifas especiais para sessões. Seguro de Vida Mais segurança para você e sua família. (Apenas CLT) \* Auxílio-Creche Apoio financeiro para Zallpers com crianças de 4 meses a 6 anos, conforme política interna. (Apenas CLT) \* Baby Zallpy Um presente especial para celebrar a chegada dos novos bebês Zallpy. Suporte ao Parceiro de Negócios Suporte próximo e centrado na pessoa, oferecido pela nossa equipe de People & Culture durante toda a sua jornada na Zallpy. Comunidades Internas Voluntárias Diversidade, Esportes & Movimento e Tecnologia. Parcerias Educacionais Descontos em graduações, pós-graduações, cursos profissionalizantes e escolas de idiomas. ✈️ Experiências & Desenvolvimento Participação em eventos, oficinas, viagens e atividades de team building. Programa de Indicação Indique talentos para a Zallpy e receba bônus de R$2.500 a R$5.000\. \* PJ/Contratado: Para esses modelos de contratação, os benefícios acima se aplicam, exceto aqueles marcados com asterisco (\*), exclusivos para CLT. Além disso, oferecemos plataformas dedicadas para gestão de prestadores, garantindo organização, transparência e experiência estruturada ao longo de toda a jornada. **ID da vaga:9020**