Engenheiro de Dados Sênior

Descrição

Resumo: Buscamos um Engenheiro Sênior de Plataforma de Dados para projetar e desenvolver uma camada escalável de gerenciamento de dados, abrangendo transações financeiras, dados de clientes e logs de APIs. Pontos de destaque: 1. Projetar e supervisionar padrões-chave de ETL direto e reverso para entrega de dados 2. Expandir e manter a arquitetura em evolução do Data Lakehouse da Alpaca 3. Colaborar com diversas equipes para atender às principais necessidades de fluxo de dados **Quem somos:** A Alpaca é uma corretora-dealer norte-americana com sede nos EUA, auto-custodiante e provedora de infraestrutura de corretagem para ações, ETFs, opções, criptoativos, renda fixa, negociação 24/5 e muito mais. Nossa recente rodada de financiamento da Série D elevou nosso investimento total para mais de US$ 320 milhões, impulsionando nossa visão ambiciosa. Entre nossas subsidiárias, a Alpaca é uma empresa de serviços financeiros licenciada, atendendo centenas de instituições financeiras em 40 países por meio de nossas APIs de nível institucional. Isso inclui corretoras-dealers, consultores de investimentos, gestores de patrimônio, fundos de hedge e exchanges de criptoativos, totalizando mais de 9 milhões de contas de corretagem. Nossa equipe global é um grupo diversificado de engenheiros experientes, operadores e profissionais da área de corretagem que trabalham para concretizar nossa missão de **tornar os serviços financeiros acessíveis a todas as pessoas do planeta**. Estamos profundamente comprometidos com contribuições de código aberto e com o fomento a uma comunidade vibrante, aprimorando continuamente nossa premiada API, amigável para desenvolvedores, e a robusta infraestrutura por trás dela. A Alpaca conta com o apoio de importantes investidores globais, incluindo Portage Ventures, Spark Capital, Tribe Capital, Social Leverage, Horizons Ventures, Unbound, SBI Group, Derayah Financial, Elefund e Y Combinator. **Nossos membros da equipe:** Somos uma equipe dinâmica de mais de 230 membros distribuídos globalmente, que prosperam trabalhando de seus lugares favoritos ao redor do mundo, com colegas espalhados pelos EUA, Canadá, Japão, Hungria, Nigéria, Brasil, Reino Unido e além! Estamos buscando indivíduos apaixonados, ansiosos para contribuir com o rápido crescimento da Alpaca. Se você compartilha nossos valores centrais — Mantenha-se Curioso, Tenha Empatia e Assuma a Responsabilidade — e está pronto para gerar um impacto significativo, encorajamos você a se candidatar. **Sua função:** Buscamos um Engenheiro Sênior de Plataforma de Dados para projetar e desenvolver a camada de gerenciamento de dados de nossa plataforma, garantindo sua escalabilidade à medida que expandimos para clientes maiores e novas jurisdições. Na Alpaca, a engenharia de dados abrange transações financeiras, dados de clientes, logs de APIs, métricas de sistema, dados aumentados e sistemas de terceiros que influenciam a tomada de decisões tanto para usuários internos quanto externos. Processamos centenas de milhões de eventos diariamente, com esse número em constante crescimento à medida que incorporamos novos clientes. Priorizamos soluções de código aberto em nossa abordagem de gerenciamento de dados, utilizando uma base na Google Cloud Platform (GCP) para nossa infraestrutura de dados. Isso inclui camadas de ingestão em lote/transmissão, transformação e consumo voltadas para BI, uso interno e destinos externos de terceiros. Além disso, supervisionamos experimentação com dados, catalogação e sistemas de monitoramento e alerta. Nossa equipe é 100% distribuída e remota. **Responsabilidades:** * Projetar e supervisionar padrões-chave de ETL direto e reverso para entregar dados às partes interessadas relevantes. * Desenvolver padrões escaláveis na camada de transformação para garantir integrações repetíveis com ferramentas de BI em diversos setores de negócios. * Expandir e manter os elementos em constante evolução da arquitetura do Data Lakehouse da Alpaca. * Colaborar de perto com as equipes de vendas, marketing, produto e operações para atender às principais necessidades de fluxo de dados. * Operar o sistema e gerenciar problemas de produção de forma oportuna. **Requisitos obrigatórios:** * 7 ou mais anos de experiência em engenharia de dados, incluindo 2 ou mais anos construindo plataformas de dados escaláveis e de baixa latência capazes de lidar com mais de 100 milhões de eventos/dia. * Domínio de pelo menos uma linguagem de programação, com sólido conhecimento prático de Python e SQL. * Experiência com tecnologias nativas em nuvem, como Docker, Kubernetes e Helm. * Amplo conhecimento prático em sistemas de bancos de dados relacionais e implementações de armazenamento de objetos, como Apache Iceberg. * Amplo conhecimento prático da Google Cloud Platform e de seus diversos serviços relacionados a dados (Composer, Dataproc, Datastream etc.). * Experiência na construção de camadas de transformação escaláveis, preferencialmente por meio de modelos SQL formalizados (ex.: dbt). * Capacidade de trabalhar em um ambiente acelerado e adaptar soluções às necessidades empresariais em constante mudança. * Experiência com orquestradores/frameworks de ETL, como Apache Airflow e Airbyte. * Experiência em produção com sistemas de streaming, como Kafka. * Conhecimento em infraestrutura, DevOps e Infraestrutura como Código (IaC), como Terraform. * Conhecimento aprofundado de sistemas distribuídos, armazenamento, transações e processamento de consultas, utilizando mecanismos de consulta distribuídos de código aberto, como Trino (anteriormente PrestoSQL). * Se você é apaixonado por engenharia de dados e prospera em um ambiente dinâmico de startup, adoraríamos conversar com você! ### **Como cuidamos de você:** * Salário competitivo e opções de ações * Benefícios de saúde * Configuração inicial para home office: valor único de US$ 500 * Auxílio mensal: US$ 150 por mês via cartão Brex *A Alpaca tem orgulho de ser um local de trabalho que preza pela igualdade de oportunidades e se dedica à contratação de uma força de trabalho diversa.* *Política de Privacidade de Recrutamento*