Engenheiro de Dados Brasil

Descrição

Estamos buscando um Engenheiro de Dados experiente. O candidato ideal é auto\-motivado, capaz de gerenciar múltiplas tarefas e comprovada capacidade de trabalho em equipe. Você será responsável por projetar, desenvolver, gerenciar e manter nossa plataforma de dados de código aberto, incluindo nosso Data\-Lakehouse (S3, Apache Iceberg e ClickHouse), processos ETL e ferramenta de orquestração (Temporal Workflow). Requisitos: * 3 anos ou mais de experiência como Engenheiro de Dados ou em função similar de infraestrutura de dados. * Domínio avançado de SQL e experiência prática em modelagem de dados. * Experiência com arquiteturas de data lake/lakehouse (por exemplo, Apache Iceberg, S3 ou similares). * Experiência com bancos de dados analíticos / columnar (por exemplo, ClickHouse ou similares). * Experiência na construção e orquestração de pipelines ETL/ELT (por exemplo, Temporal, Airflow ou similares). * Excelentes habilidades de programação em Python e/ou Scala/Java. * Experiência em arquiteturas de microsserviços e ambientes em nuvem (AWS preferencialmente). * Auto\-motivado, com fortes habilidades de multitarefa e comprovada capacidade de trabalho em equipe. * Excelentes habilidades de comunicação e capacidade de trabalhar tanto de forma independente quanto colaborativa. * Experiência prática com Apache Spark (ou tecnologias similares) para processamento de dados em larga escala. * Proficiência profissional em inglês escrito e falado. * Observação: esta posição concentra-se no processamento de dados em lote (não em streaming em tempo real). **Desejável** * Experiência em trabalhar com plataformas e ferramentas de dados de código aberto e contribuir para elas. * Familiaridade com ferramentas de BI e visualização (por exemplo, Superset, Looker, Tableau, Metabase ou similares). * Experiência com containerização e orquestração (Docker, Kubernetes). * Experiência com infraestrutura como código (Infrastructure\-as\-Code) e práticas de CI/CD. * Experiência com AWS EMR e execução de cargas de trabalho Apache Spark em ambiente de nuvem. * Experiência no uso de ferramentas de desenvolvimento assistido por IA (por exemplo, GitHub Copilot, Cursor ou similares) para aumentar a produtividade da engenharia. Suas responsabilidades: * Desenvolver uma plataforma de dados escalável que integre múltiplas fontes para fácil acesso. * Projetar e aprimorar ferramentas de dados (orquestração, governança, Data\-Lakehouse, BI, etc.). * Garantir o funcionamento contínuo dos sistemas de dados para analistas, cientistas de dados e engenheiros. * Otimizar pipelines de dados (ingestão, processamento e saída) em um ambiente de microsserviços. * Construir, manter e monitorar processos ETL/ELT e orquestrar fluxos de trabalho usando Temporal. * Solucionar problemas e melhorar o desempenho, escalabilidade e confiabilidade da infraestrutura de dados (S3, Apache Iceberg, ClickHouse). * Colaborar transversalmente com cientistas de dados, analistas e engenheiros de backend para compreender necessidades de dados e entregar soluções. * Implementar e promover as melhores práticas de qualidade, governança e segurança de dados em toda a plataforma.