Engenheiro de Dados Sênior (Python, Spark, Databricks)

Descrição

Resumo: Junte-se à Solvd Inc. como Engenheiro de Dados Sênior para construir, manter e otimizar pipelines de ingestão de dados e desenvolver fluxos de processamento de dados para uma plataforma de backend escalável. Pontos de destaque: 1. Modele projetos reais impulsionados por IA em setores-chave. 2. Faça parte de uma equipe global com igualdade de oportunidades para colaboração. 3. Desenvolva-se em um ambiente inclusivo que prioriza a aprendizagem contínua. Candidatura *A Solvd Inc. é uma empresa de consultoria e serviços tecnológicos nativa de IA em rápido crescimento, que entrega transformação empresarial em áreas como* ***nuvem, dados, engenharia de software e inteligência artificial****. Trabalhamos com organizações líderes do setor para projetar, construir e operacionalizar soluções tecnológicas que geram resultados comerciais mensuráveis.**Após a aquisição da* ***Tooploox****, uma empresa de referência em IA e desenvolvimento de produtos, a Solvd agora oferece entrega verdadeira* ***fim a fim****—desde consultoria estratégica e projeto de soluções até desenvolvimento personalizado de IA e implementação em escala empresarial. Nossos centros de capacidade combinam profunda especialização técnica, metodologias de entrega comprovadas e conhecimento específico por setor para resolver desafios comerciais complexos de forma rápida e eficaz.* Estamos buscando um **Engenheiro de Dados Sênior (Python, Spark, Databricks)** para integrar nossa equipe. **Descrição do projeto** O projeto consiste na construção de uma plataforma de backend escalável que execute modelos analíticos orientados a dados de maneira controlada, automatizada e auditável. O backend deve orquestrar a execução dos modelos, aplicar validações de dados, gerenciar metadados e artefatos, além de garantir total rastreabilidade de cada etapa de processamento. A arquitetura é modular e orientada para a nuvem, com forte foco em automação, versionamento e confiabilidade operacional. **Suas responsabilidades** * Construir, manter e otimizar pipelines de ingestão de dados usando Python, pandas, Spark e Databricks * Analisar e transformar modelos financeiros complexos baseados em Excel em tabelas estruturadas no Delta Lake * Implementar fluxos de processamento de dados e lógica de cálculo em Python * Desenvolver e gerenciar pipelines usando Jobs do Databricks, clusters e SQL Warehouse * Melhorar o desempenho, a escalabilidade e a confiabilidade dos pipelines de dados existentes * Escrever código Python limpo, sustentável e de qualidade produtiva * Usar SQL para validação de dados, transformação e integração de pipelines **Requisitos** * Engenheiro nível sênior com 5–8+ anos de experiência * Excelentes habilidades em Python, com experiência comprovada na construção de pipelines de dados em produção * Experiência prática com pandas para transformação e ingestão de dados * Experiência com Spark (PySpark ou Scala) e Databricks * Sólidas habilidades em SQL e experiência na escrita de consultas complexas * Experiência no projeto, implementação e manutenção de pipelines de processamento de dados * Experiência com conjuntos de dados médios a grandes * Grande senso de propriedade e capacidade de atuar diretamente em um ambiente de plataforma de dados * Fluência em inglês para comunicação diária com equipes de atuária e engenharia. **Desejável** * Experiência na otimização de cargas de trabalho em Python ou Spark quanto a desempenho e escalabilidade * Experiência com Delta Lake * Experiência na ingestão e transformação de grandes conjuntos de dados baseados em Excel * Experiência com dados financeiros ou de modelagem estruturada **Stack tecnológica** * Principal: Python 3\.x (pandas, numpy, pydantic, mlflow, databricks\-sdk) * Camada de dados: PostgreSQL, Azure Blob Storage, Parquet * Computação: Jobs do Databricks / Projetos MLflow * Integração: API NestJS * CI/CD e infraestrutura: GitHub Actions, Terraform **Ao se juntar à Solvd, você…** * Modelará projetos reais impulsionados por IA em setores-chave, trabalhando com clientes que vão desde inovação em startups até transformação empresarial. * Fazerá parte de uma equipe global com igualdade de oportunidades para colaboração entre continentes e culturas. * Desenvolver-se-á em um ambiente inclusivo que prioriza aprendizagem contínua, inovação e padrões éticos de IA. **Pronto para gerar impacto?** Se você se entusiasma em construir soluções que importam, defender uma IA responsável e crescer ao lado de algumas das mentes mais brilhantes do setor, candidate-se hoje e vamos inovar juntos.