Data Engineer | AWS & Databricks

Descrição

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento. Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você! Vem fazer parte da BIX Tecnologia! **O que esperamos que você tenha:** * **AWS Services:** Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc.; * **Arquitetura de streaming / NRT:** Experiência no desenho de pipelines near\-real\-time, semantics de processamento (at\-least\-once / exactly\-once) e trade\-offs entre latência e consistência; * **CDC (Change Data Capture):** experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental; * **Apache Kafka:** experiência sólida e comprovada em produção; * **Databricks:** domínio de Spark, Structured Streaming, Delta Lake e arquitetura lakehouse (camadas bronze/prata/ouro), Unity Catalog, lineage e data quality frameworks; * **SQL avançado** e modelagem de dados relacional e dimensional; * **Inglês avançado/fluente** para atuação internacional. **Desejáveis** * **Orquestração:** Airflow, Data Factory ou equivalente; * **Kafka Connect / Debezium:** conectores de CDC integrados ao Kafka; * Certificação nas clouds **(AWS, GCP, Azure)**; * Certificação em ferramentas de Engenharia de Dados (Databricks, Clickhouse, Airflow, dentre outras). **O que você fará em seu dia a dia:** * Projetar e implementar a migração de pipelines batch legados para uma arquitetura de streaming de dados em tempo real; * Configurar e operar captura de mudanças (CDC) na origem, replicando dados via AWS DMS para as camadas de streaming e lakehouse; * Modelar tópicos, partições e estratégias de serialização no Kafka, garantindo ordering, throughput e tolerância a falhas; * Desenvolver pipelines de ingestão e processamento no Databricks (Structured Streaming, Delta Lake), atendendo também demandas correntes da plataforma; * Garantir qualidade, observabilidade e governança dos dados em trânsito e em repouso; * Documentar arquitetura, decisões técnicas e realizar code review com o time; * Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint; * Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto. **O que a BIX oferece para você:** * Trabalho 100% remoto; * Plataforma de terapia e nutricionistas online; * Plataforma de bem estar; * Plano de carreira acelerado; * Contato direto com líderes de grandes empresas; * Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1\); * Aulas on\-line de inglês (cambly); * Folga no aniversário.