Resumo da Vaga: Buscamos um Engenheiro de Dados proativo para projetar, desenvolver e manter pipelines de dados, modelar camadas de armazenamento e garantir a qualidade dos dados em projetos incríveis. Principais Destaques: 1. Empresa reconhecida como a melhor para trabalhar em MG e TI do Brasil pelo GPTW. 2. Oportunidade de colaborar em projetos incríveis e crescer junto com a BHS. 3. Cultura de feedback contínuo, com PDI e foco na inclusão da diversidade. **Nós somos a BHS!** Com 31 anos de experiência no mercado, proporcionamos soluções modernas de TI. Somos reconhecidos como a **MELHOR** empresa para se trabalhar em **MG e TI do BRASIL pelo GPTW \- Great Place to Work**, e estamos classificados como a 4ª melhor empresa para se trabalhar na categoria **LATAM**. **O que a gente espera de você?** * Habilidade de relacionamento com pessoas de diferentes áreas e de diversos níveis de hierarquia; * Autogerenciamento; * Colaboração; * Ser proativo e saber trabalhar fora da zona de conforto; * Alguém que queira fazer parte de projetos incríveis e tenha muita vontade de aprender, ensinar e crescer junto com a BHS. **Responsabilidades e atribuições****Suas atividades serão:** * Projetar, desenvolver e manter pipelines de ingestão e transformação de dados em jobs Spark (batch e, se aplicável, streaming) para o datalake/dw. * Modelar e otimizar camadas de armazenamento (bronze/prata/ouro), garantindo particionamento, schema evolution e governança. * Construir conectores e integrações com fontes internas/externas usando bibliotecas internas e padrões estabelecidos na instituição. * Administrar e tunar clusters Spark (configuração de executors, memória, shuffle, autoscaling), além de gerenciar catálogos/metadados. * Implementar controles de qualidade de dados (profiling, validações, deduplicação) e observabilidade (logs, métricas, alertas) nos pipelines. * Colaborar com cientistas/analistas para disponibilizar dados confiáveis em formatos acessíveis (Parquet/Delta/iceberg, Views no catálogo, etc.). * Garantir segurança e compliance: controles de acesso, mascaramento/criptografia, e rastreabilidade (lineage). **Requisitos e qualificações** **Buscamos uma pessoa que possua:** * Graduação em andamento ou completa em Ciência da Computação, Análise e Desenvolvimento de Sistemas ou afins; * Forte experiência com Apache Spark (PySpark preferencialmente): otimização de jobs, particionamento, broadcast join, manejo de skew, checkpoint/cache, e tunagem de configs; * Vivência com datalakes em nuvem (S3/ADLS/GCS) e formatos colunares (Parquet, Delta Lake ou Iceberg); * Proficiência em Python para engenharia de dados (pacotes de ETL, testes, logging) e familiaridade com mpmg\_utils para padronizar ingestões; * Experiência com orquestração (Airflow, Prefect ou similar) e versionamento de dados/código (Git); * Observabilidade e confiabilidade: logging estruturado, métricas (Prometheus/Grafana ou equivalente), alertas, e práticas de teste para pipelines (unit/integration com dados de amostra); * SQL avançado para validação e disponibilização de dados; noções de modelagem analítica. **DIFERENCIAIS:** * Uso de MongoDB como fonte/target: modelagem de coleções, change streams/CDC, conectores Spark\-Mongo (será um diferencial); * Conhecimento de governança e segurança: IAM/ACLs, mascaramento, PII handling, e políticas de retenção; **Informações adicionais** **O que você pode esperar de nós?** Na BHS, cuidamos do seu bem\-estar como prioridade número um. Estamos aqui para garantir que sua experiência seja incrível, com todo o suporte que você precisar. Por aqui você vai encontrar: Plano de saúde e Assistência Odontológica; Vale Refeição/Alimentação no cartão Flash; Auxílio Home Office; Gympass / Wellhub; Seguro de vida; Licença Maternidade/Paternidade estendida; Parcerias e convênios diversos em educação, saúde e lazer (Universidades, escolas de Idioma, academias, clínicas de saúde...); Cultura de Feedback contínuo, com: Feedbacks semestrais, 1:1, PDI (Plano de Desenvolvimento Individual) e BHS Experience. Buscamos a inclusão da diversidade no nosso dia a dia e acreditamos que equipes plurais têm melhor desempenho. Todas as pessoas são bem\-vindas. **Venha ser um B.Techer** Veja nossa avaliação no Glassdoor (4\.5 Estrelas e 93% recomendado para outras pessoas). \#vempraBHS \#somosBHS \#LI\-Remote **31 anos de história: construindo relações com pessoas, inovações e clientes.**