Engenheiro de Dados Sênior (Elixir)

Descrição

Resumo: Procuramos um Engenheiro de Dados Sênior para evoluir a infraestrutura de dados para soluções inovadoras de apostas esportivas e cassino, influenciando o projeto de longo prazo da base de dados da BlueLabs. Pontos de destaque: 1. Arquitetar e implementar pipelines de dados em tempo real e em lote escaláveis. 2. Colaborar entre equipes, disseminando conhecimento especializado e evoluindo a estratégia da plataforma. 3. Contribuir para o futuro da tecnologia de apostas esportivas com tecnologias modernas. Na BlueLabs, construímos soluções inovadoras de apostas esportivas e cassino que impulsionam experiências digitais envolventes para centenas de milhares de jogadores ao redor do mundo. Nossa equipe totalmente remota é unida pela paixão por criar produtos bem elaborados, impulsionados pela tecnologia. Colaboração, curiosidade, senso de propriedade e o desejo de construir coisas que importam orientam tudo o que fazemos. Atualmente, procuramos um **Engenheiro de Dados Sênior** para integrar nossa **equipe de Plataforma**, ajudando-nos a evoluir a infraestrutura de dados de nossa empresa; possibilitando que as equipes de produto, voltadas para parceiros e de conformidade entreguem experiências confiáveis, em tempo real e orientadas por dados, em escala. #### **Nossa Pilha Tecnológica** Nossa pilha tecnológica inclui mais de 50 microsserviços escritos em Go e Elixir, fornecendo uma base altamente eficiente e escalável para nossas operações. Utilizamos o Apache Pulsar para mensagens orientadas a eventos, Kubernetes para orquestração de contêineres, Google Cloud Platform para infraestrutura em nuvem, PostgreSQL e SingleStore para armazenamento transacional e analítico, DBT para transformações e engenharia analítica, Flink e Spark para processamento distribuído de dados, e Data Vault 2\.0 como nossa metodologia central de modelagem de dados. Nosso processo de lançamento é totalmente automatizado, permitindo que nossa pequena equipe de engenharia realize vários implantes por dia sem esforço. Essa automação abrange desde o provisionamento da infraestrutura até a implantação de aplicações e a configuração de painéis de monitoramento e alertas. As ferramentas que utilizamos incluem, mas não se limitam a: Terraform, Helmfile e GitHub Actions. Grafana, Loki e Mimir são nossas ferramentas preferidas para monitorar o desempenho e o comportamento de nossa plataforma, permitindo-nos detectar e escalar automaticamente quaisquer problemas potenciais às equipes afetadas. Como empresa de tecnologia, estamos comprometidos em manter um ambiente tecnológico moderno e ágil que capacite nossos engenheiros a prosperarem e construírem o futuro da tecnologia de apostas esportivas. No ecossistema Elixir, estamos expandindo nosso uso do Broadway para processamento de fluxos e investindo em capacidades internas de plataforma que aproveitam as vantagens do BEAM. Estamos comprometidos em explorar até onde o Elixir pode nos levar no domínio de dados, mantendo, ao mesmo tempo, uma abordagem pragmática e poliglota quando aplicável. #### **Sobre a Função** A missão de nossa equipe é apoiar as equipes voltadas para parceiros em toda a empresa, construindo sistemas que lhes permitam entregar novos recursos de forma mais rápida e eficiente. Esta função é uma parte essencial de nossa migração contínua de Go e Node para Elixir. Trata-se de mais do que uma simples reescrita: é uma transformação estratégica destinada a tornar nossa plataforma mais eficiente, escalável e sustentável. Esta função situa-se na interseção entre sistemas em tempo real, engenharia analítica e design de plataforma. Você projetará e operará pipelines de dados escaláveis que alimentam: * Recursos de produto em tempo real * Integrações com CRM * Relatórios regulatórios e de conformidade * Análises internas e experimentação Algumas iniciativas envolvem integrações bidirecionais com plataformas externas de CRM e autoridades regulatórias em múltiplas jurisdições. Esses sistemas exigem uma combinação de streaming em tempo real, processamento em lote, contratos de dados robustos e rastreabilidade rigorosa. Embora grande parte de nossa atual infraestrutura de dados dependa fortemente de ferramentas baseadas em Java e Python, bem como DBT, estamos evoluindo nossa plataforma mais ampla rumo ao Elixir. Não se espera que você use Elixir diariamente desde o primeiro dia, mas buscamos alguém curioso e motivado para contribuir (e potencialmente ajudar a moldar) o papel do Elixir em nossa plataforma de dados ao longo do tempo. Esta não é meramente uma função de construção de pipelines. É uma oportunidade de influenciar o projeto de longo prazo da infraestrutura de dados da BlueLabs. #### **O Que Você Fará** * Arquitetar e implementar pipelines de dados em tempo real e em lote escaláveis. * Projetar fluxos de trabalho de streaming usando Pulsar, integrando-se com Flink, Spark e Elixir/Broadway conforme apropriado. * Desenvolver e manter modelos de dados analíticos usando DBT, aplicando os princípios do Data Vault 2\.0. * Escrever código Python de qualidade de produção para transformação, processamento e fluxos de integração de dados. * Construir e manter integrações bidirecionais com sistemas externos, incluindo provedores de CRM e autoridades regulatórias. * Garantir consistência, rastreabilidade, observabilidade e auditabilidade dos dados em todos os mercados. * Otimizar desempenho de armazenamento e consultas em PostgreSQL e SingleStore. * Trabalhar com infraestrutura em nuvem, engenharia de dados, aplicações cliente e sistemas de back-end para garantir integração e alinhamento perfeitos em toda a plataforma. * Capacitar outras equipes a entregar novos recursos de forma mais rápida e eficaz. * Colaborar com a organização de engenharia como um todo, disseminando conhecimento especializado e assegurando que as lições aprendidas alimentem nossa estratégia evolutiva de plataforma. * Participar de uma rotação semanal de plantão para monitorar e manter a disponibilidade e estabilidade de nossos produtos, garantindo que nossas equipes e jogadores possam confiar na plataforma. #### **O Que Buscamos** Procuramos um engenheiro sênior tão entusiasmado quanto nós em construir ótimos produtos, e que, assim como nós, acredita que grandes produtos não acontecem por acaso, mas sim a partir de sólidas bases de engenharia, arquitetura cuidadosa e boas práticas. Eis o que consideramos ideal para esta função: **Requisitos obrigatórios:** * 5 ou mais anos de experiência profissional em engenharia de dados ou engenharia de back-end. * Domínio avançado de **Python** para processamento de dados e desenvolvimento de pipelines. * Experiência com **DBT** e práticas modernas de engenharia analítica. * Experiência profissional com **PostgreSQL**. * Experiência com sistemas analíticos ou distribuídos de dados (por exemplo, SingleStore, ClickHouse, Spark, Flink ou similares). * Experiência prática no projeto e implementação de **Arquiteturas Orientadas a Eventos (EDA)** usando **Pulsar**, ou **Kafka**. * Experiência com **instrumentação de código** e com pipelines de **CI/CD**. * Experiência na construção ou manutenção de pipelines de dados de produção. * Compreensão de abordagens modernas de modelagem de dados (Data Vault 2\.0 ou modelagem dimensional). * Compreensão de arquiteturas modernas de data lakehouse. * Conforto em trabalhar em um ambiente **totalmente remoto**, com excelentes habilidades escritas e faladas em inglês. * Mentalidade **colaborativa** e capacidade de assumir a responsabilidade pelo seu trabalho. **Expectativa quanto ao Elixir:** * Experiência em produção com Elixir **ou** * Grande interesse em adotar o Elixir e contribuir para seu crescente papel dentro de nossa plataforma **Desejáveis:** * Experiência participando de **rotações de plantão** e mantendo a confiabilidade de sistemas em produção. * Interesse em tecnologias emergentes, como Machine Learning, IA ou **soluções orientadas por dados**. * Experiência prévia na construção de produtos de **apostas esportivas e cassino**. #### **Por Que Se Juntar à BlueLabs?** * **Trabalho com impacto:** Construa funcionalidades que moldam diretamente a experiência de milhares de jogadores ao redor do mundo. * **Ambiente dinâmico:** Trabalhe em uma equipe que entrega rapidamente e se adapta com agilidade a um mercado em constante mudança. * **Tecnologia moderna:** Contribua para uma pilha que abrange Elixir, Go, Pulsar, Kubernetes, PostgreSQL e Svelte/SvelteKit. * **Cultura remota-first:** Trabalhe de qualquer lugar da Europa e aproveite horários de trabalho flexíveis. * **Ambiente de apoio:** Junte-se a uma equipe que valoriza aprendizado, colaboração e inovação. #### **Remuneração** A faixa salarial para esta função é de €70.000 a €100.000 anuais, dependendo de suas habilidades, experiência e modalidade de contratação (empregado ou prestador de serviços independente). Benefícios adicionais incluem um novo MacBook Pro ou laptop Linux Tuxedo InfinityBook e 40 dias de férias remuneradas por ano (incluindo feriados públicos).