Data Engineer | Kafka & Snowflake

Descrição

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento. Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você! Vem fazer parte da BIX Tecnologia! **O que esperamos que você tenha:** * **AWS Services:** Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc; * **Arquitetura de streaming / NRT:** Experiência no desenho de pipelines near\-real\-time, semantics de processamento (at\-least\-once / exactly\-once) e trade\-offs entre latência e consistência; * **CDC (Change Data Capture):** Experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental; * **Apache Kafka:** experiência sólida e comprovada em produção; * **Streaming / event\-driven:** Domínio de arquiteturas orientadas a eventos e dos trade\-offs entre latência, throughput e consistência; * **Snowflake:** experiência prática de ingestão e modelagem no Snowflake; * **SQL avançado e modelagem de dados:** relacional e dimensional; * **IaC \& CI/CD:** Terraform e esteiras de deploy para provisionar e versionar infraestrutura de streaming; * **Inglês avançado/fluente** para atuação internacional. **Desejáveis** * **Orquestração:** Airflow, Data Factory ou equivalente; * **Snowpipe / Snowpipe Streaming:** Experiência com ingestão contínua nativa do Snowflake será um diferencial forte; * **Kafka Connect / Debezium:** Conhecimento em conectores de CDC integrados ao Kafka; * Certificação em Snowflake. **O que você fará em seu dia a dia:** * **Pipelines de streaming:** projetar, construir e manter pipelines de ingestão em tempo real ponta a ponta, de fontes transacionais e eventos até o Snowflake; * **Kafka:** modelar tópicos, particionamento e retenção; implementar producers/consumers, gerenciar schema evolution e garantir semânticas de entrega adequadas (at\-least\-once / exactly\-once conforme o caso); * **CDC e integração de fontes:** capturar mudanças de sistemas de origem (incluindo SAP e bancos transacionais) e transformá\-las em fluxos de eventos consumíveis; * **Ingestão no Snowflake:** operacionalizar a carga contínua no Snowflake com padrões de ingestão near\-real\-time, minimizando latência e custo; * **Confiabilidade e qualidade:** implementar tratamento de falhas, dead\-letter queues, idempotência, backpressure e validação de dados em trânsito; * **Observabilidade:** instrumentar métricas de lag, throughput e freshness; definir alertas e SLOs para os fluxos de dados; * **Colaboração global:** trabalhar com o time central de plataforma e com as unidades de negócio (spokes), documentando contratos de dados e padrões de ingestão; * **Documentar arquitetura**, decisões técnicas e realizar code review com o time; * **Realizar reuniões com clientes**, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint; * Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto; **O que a BIX oferece para você:** * Trabalho 100% remoto; * Plataforma de terapia e nutricionistas online; * Plataforma de bem estar; * Plano de carreira acelerado; * Contato direto com líderes de grandes empresas; * Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1\); * Aulas on\-line de inglês (cambly); * Folga no aniversário.