Engenheiro de Dados

Descrição

Resumo da Vaga: Buscamos um Engenheiro de Dados Sênior para projetar, construir e evoluir nossa plataforma de dados, garantindo escalabilidade, qualidade, confiabilidade e disponibilidade das informações. Principais Destaques: 1. Evoluir a arquitetura da plataforma de dados da empresa 2. Desenvolver e manter pipelines de ETL/ELT 3. Trabalhar com microsserviços em AWS e processamento assíncrono **Função:** Engenheiro(a) de Dados Sênior **Modelo de Trabalho:** 100% home office **Regime de Contratação:** Prestador de Serviço (PJ) **Pagamento:** USD 2,500\.00 **Sobre a empresa** A HW Publishing é uma holding sediada nos Estados Unidos, especializada em marketing de resposta direta e afiliados, com forte atuação no mercado de nutracêuticos. Fundada por profissionais renomados do marketing digital, a HW se consolidou rapidamente como referência global no setor. Em seu primeiro ano, alcançou a liderança na América Latina e, no primeiro trimestre de 2025, tornou\-se líder global no segmento. Na HW, capacitamos nossos parceiros a se tornarem empreendedores digitais de sucesso em um ambiente colaborativo, profissional e orientado a resultado, reunindo alguns dos melhores talentos do mercado de marketing direto. **Sobre a posição** Buscamos um Engenheiro de Dados Sênior para projetar, construir e evoluir nossa plataforma de dados, garantindo escalabilidade, qualidade, confiabilidade e disponibilidade das informações usadas por produtos, operações e times de negócio. Nosso ambiente é composto por microsserviços em AWS, processamento assíncrono com filas, bancos relacionais, Redis e aplicações orientadas a eventos. Hoje a plataforma gera milhões de registros de navegação/tracking, webhooks, pagamentos, afiliados, produtos, pedidos, logs, métricas operacionais e dados financeiros — processados via microsserviços em AWS com PostgreSQL, Redis, Amazon SQS e Lambda. O objetivo é evoluir essa arquitetura para uma plataforma de dados moderna, capaz de fornecer informações confiáveis em tempo real para dashboards, análises operacionais, inteligência de negócio e futuras iniciativas de Machine Learning. **Principais Atribuições** * Projetar, construir e evoluir a arquitetura da plataforma de dados da empresa. * Desenvolver e manter pipelines de ETL/ELT, incluindo extração de APIs, transformações, carga incremental e CDC (Change Data Capture). * Modelar dados para Data Warehouse, Data Lake e Data Marts, aplicando modelagem dimensional (Star Schema, Snowflake Schema). * Implementar processamento em batch e streaming, com arquitetura orientada a eventos e processamento assíncrono. * Garantir performance e confiabilidade dos bancos de dados: modelagem relacional, índices, particionamento, otimização de consultas e replicação. * Estruturar práticas de Data Quality, Data Lineage, Data Catalog e Data Governance. * Orquestrar pipelines e tratar dados históricos com versionamento e rastreabilidade. * Implementar observabilidade dos pipelines: logs, métricas, monitoramento e alertas. * Disponibilizar dados confiáveis e em tempo real para dashboards, análises operacionais e inteligência de negócio. * Preparar a base de dados para futuras iniciativas de Machine Learning. * Automatizar processos e deploys com GitHub Actions e Docker. * Trabalhar em conjunto com times de produto, engenharia e negócio na definição de requisitos e indicadores. **Requisitos** * **Linguagens:** Python e SQL avançado. * **Banco de Dados:** PostgreSQL e MySQL; modelagem relacional, índices, particionamento, otimização de consultas, replicação e performance. * **Modelagem de Dados:** Data Warehouse, Data Lake, Star Schema, Snowflake Schema, Data Mart, modelagem dimensional, normalização e desnormalização. * **ETL / ELT:** construção de pipelines, extração de APIs, transformação de dados, incremental load e CDC (Change Data Capture). * **Processamento de Dados:** batch processing, streaming, processamento assíncrono e Event\-Driven Architecture. * **AWS:** S3, Lambda, SQS, RDS, CloudWatch e IAM. * **Mensageria:** Amazon SQS. * **Versionamento:** Git e GitHub. * **Observabilidade:** logs, métricas, monitoramento de pipelines e alertas. * **Automação:** GitHub Actions. * **Containers:** Docker. * **Engenharia de Dados:** Data Quality, Data Lineage, Data Catalog, Data Governance, versionamento de dados, orquestração de pipelines e tratamento de dados históricos. **Diferenciais** * **Linguagens:** TypeScript e Node.js. * **AWS Analytics:** Glue, Athena, EMR, Kinesis e Redshift. * **Mensageria:** Kafka e RabbitMQ. * **Orquestração/Automação:** Apache Airflow e Prefect. * **Visualização de Dados:** Metabase, Power BI e Looker Studio. * **Containers:** Kubernetes. * **Experiências relevantes:** fintechs ou empresas de pagamentos, grandes volumes de eventos, plataformas de analytics em tempo real, Machine Learning Pipelines, Feature Store, Data Lakehouse, Apache Spark e Apache Iceberg ou Delta Lake.