Engenheiro de Plataforma de Dados Sênior (Python, Spark, Databricks)

Descrição

Resumo: Junte-se à Solvd Inc. como Engenheiro de Plataforma de Dados Sênior para construir e otimizar plataformas de backend escaláveis para modelos analíticos orientados a dados, utilizando Python, Spark e Databricks. Pontos principais: 1. Construir e otimizar pipelines de ingestão de dados usando Python, Spark e Databricks. 2. Implementar fluxos de processamento de dados e lógica de cálculo em Python. 3. Trabalhar em projetos impulsionados por IA, moldando soluções reais em setores-chave. Candidatura *A Solvd Inc. é uma empresa de consultoria e serviços de tecnologia nativa de IA em rápido crescimento, que entrega transformação empresarial em áreas como* ***nuvem, dados, engenharia de software e inteligência artificial****. Trabalhamos com organizações líderes do setor para projetar, construir e operacionalizar soluções tecnológicas que geram resultados comerciais mensuráveis.**Após a aquisição da* ***Tooploox****, uma empresa de referência em IA e desenvolvimento de produtos, a Solvd agora oferece entrega verdadeira* ***end-to-end****—desde consultoria estratégica e projeto de soluções até desenvolvimento personalizado de IA e implementação em escala empresarial. Nossos centros de capacitação combinam expertise técnica profunda, metodologias de entrega comprovadas e conhecimento específico por setor para resolver desafios comerciais complexos de forma rápida e eficaz.* Estamos procurando um **Engenheiro de Plataforma de Dados Sênior (Python, Spark, Databricks)** para integrar nossa equipe. **Descrição do projeto** O projeto consiste na construção de uma plataforma de backend escalável que execute modelos analíticos orientados a dados de maneira controlada, automatizada e auditável. O backend deve orquestrar a execução dos modelos, aplicar validações de dados, gerenciar metadados e artefatos, além de garantir rastreabilidade total de cada etapa de processamento. A arquitetura é modular e orientada à nuvem, com forte foco em automação, versionamento e confiabilidade operacional. **Suas responsabilidades** * Construir, manter e otimizar pipelines de ingestão de dados usando Python, pandas, Spark e Databricks * Analisar e transformar modelos financeiros complexos baseados em Excel em tabelas estruturadas do Delta Lake * Implementar fluxos de processamento de dados e lógica de cálculo em Python * Desenvolver e gerenciar pipelines usando Databricks Jobs, clusters e SQL Warehouse * Melhorar o desempenho, a escalabilidade e a confiabilidade dos pipelines de dados existentes * Escrever código Python limpo, mantível e adequado para produção * Utilizar SQL para validação de dados, transformação e integração de pipelines **Requisitos** * Engenheiro nível sênior com 5–8+ anos de experiência * Excelentes habilidades em Python, com experiência comprovada na construção de pipelines de dados em produção * Experiência prática com pandas para transformação e ingestão de dados * Experiência com Spark (PySpark ou Scala) e Databricks * Sólidas habilidades em SQL e experiência na escrita de consultas complexas * Experiência no projeto, implementação e manutenção de pipelines de processamento de dados * Experiência com conjuntos de dados médios a grandes * Grande senso de propriedade e capacidade de trabalhar diretamente em um ambiente de plataforma de dados * Fluência em inglês para comunicação diária com equipes de atuária e engenharia. **Desejável** * Experiência em otimização de cargas de trabalho em Python ou Spark quanto a desempenho e escalabilidade * Experiência com Delta Lake * Experiência na ingestão e transformação de grandes conjuntos de dados baseados em Excel * Experiência com dados financeiros ou de modelagem estruturada **Ao se juntar à Solvd, você…** * Moldará projetos reais impulsionados por IA em setores-chave, trabalhando com clientes que vão desde startups inovadoras até transformações empresariais. * Faz parte de uma equipe global com oportunidades iguais de colaboração entre continentes e culturas. * Prospera em um ambiente inclusivo que prioriza aprendizado contínuo, inovação e padrões éticos de IA. **Pronto para causar impacto?** Se você está entusiasmado em construir coisas que importam, defender uma IA responsável e crescer ao lado de algumas das mentes mais brilhantes do setor, candidate-se hoje e vamos inovar juntos.