Engenheiro de Dados Sênior

Descrição

Resumo: Como Engenheiro de Dados Sênior, você projetará e entregará a infraestrutura de dados principal para análises impulsionadas por IA em uma plataforma de segurança de rede, transformando dados complexos em bancos de dados estruturados e painéis interativos de BI. Pontos principais: 1. Projetar e entregar infraestrutura de dados principal para análises impulsionadas por IA 2. Transformar dados complexos em bancos de dados DynamoDB estruturados e painéis interativos 3. Colaborar com especialistas para traduzir necessidades comerciais em arquitetura de dados Nosso cliente está desenvolvendo uma camada analítica impulsionada por IA sobre uma plataforma de dados de segurança de rede. Como **Engenheiro de Dados Sênior** nesse projeto, você projetará e entregará a infraestrutura de dados principal para derivar políticas de segurança a partir de registros de rede de tecnologia operacional. Você trabalhará com exportações diversas e complexas de plataformas industriais de segurança — como sistemas de monitoramento de rede — e as transformará em um banco de dados DynamoDB bem estruturado. Uma vez estabelecida a base de dados, você a conectará ao AWS QuickSight para entregar painéis interativos de BI que oferecem visibilidade imediata aos stakeholders sobre o comportamento da rede, eventos de segurança e lacunas nas políticas. **Responsabilidades** * Projetar e implementar bancos de dados DynamoDB para servirem como repositório analítico principal de dados de logs de rede e segurança * Definir estruturas de tabelas, chaves de partição, chaves de ordenação e Índices Secundários Globais para dados de eventos em série temporal de alto volume * Otimizar desempenho e eficiência de custos do banco de dados aproveitando recursos do DynamoDB e estabelecendo estratégias de arquivamento de dados * Construir pipelines ETL robustos para ingestão de dados provenientes de planilhas Excel, arquivos CSV e feeds de API de ferramentas de monitoramento de rede * Limpar, validar, normalizar e enriquecer dados brutos de eventos de segurança, lidando com esquemas inconsistentes e valores ausentes * Automatizar orquestração, agendamento e tratamento de erros para garantir execução confiável dos pipelines e entrega pontual dos dados * Conectar o DynamoDB ao AWS QuickSight para criar painéis interativos e relatórios sobre eventos de segurança e padrões de tráfego de rede * Projetar e manter conjuntos de dados, campos calculados e análises visuais no QuickSight, iterando no design dos painéis com base em feedback * Colaborar com especialistas em cibersegurança, engenheiros de IA/Analytics, arquitetos de IA e partes interessadas para traduzir requisitos comerciais em arquitetura de dados * Produzir documentação técnica clara, incluindo definições de esquema, dicionários de dados, especificações de pipelines e manuais operacionais **Requisitos** * Mínimo de 3 anos de experiência em funções de engenharia de dados * Conhecimento avançado do DynamoDB, incluindo projeto de tabelas, estratégias de chaves de partição e ordenação, Índices Secundários Globais (GSIs), planejamento de capacidade, Streams e modelagem de dados NoSQL para cargas de trabalho de alta vazão * Experiência comprovada na construção de pipelines ETL/ELT em produção usando Python e bibliotecas como boto3 e pandas, capazes de lidar com dados-fonte desestruturados e multiformato e carregá-los no DynamoDB * Domínio de serviços AWS, incluindo S3, Lambda, IAM e CloudWatch, bem como sua integração com DynamoDB e QuickSight * Experiência com AWS QuickSight para construção de conjuntos de dados, análises e painéis interativos, conexão com fontes de dados AWS e criação de visualizações destinadas a públicos não técnicos * Expertise em modelagem de dados NoSQL, projetando modelos de dados desnormalizados orientados a consultas para cargas de trabalho baseadas em chave-valor e orientadas a documentos * Sólida experiência em engenharia de qualidade de dados, implementando frameworks de validação, contratos de dados e testes automatizados para pipelines * Proficiência em Python para escrever código ETL limpo e mantível, incluindo familiaridade com ambientes virtuais, testes e controle de versão usando Git * Capacidade de documentar decisões técnicas de forma clara e colaborar eficazmente com partes interessadas não técnicas * Excelentes habilidades de comunicação em inglês, nível B2 ou superior, tanto escrita quanto falada **Desejável** * Experiência com AWS Glue e Athena para ETL sem servidor e consultas ad hoc em data lakes baseados em S3 * Familiaridade com bancos de dados de grafos, como Neo4j ou Amazon Neptune, e modelagem de dados como nós e relacionamentos para representar topologias de rede e estruturas de políticas * Experiência com ferramentas de CI/CD, como GitHub Actions ou GitLab CI, para testes e implantação automatizados de pipelines * Formação em logs de segurança de rede, análise de cibersegurança ou ambientes de domínio de segurança * Compreensão de mineração de processos, incluindo logs de eventos e estruturas que alimentam algoritmos de mineração de processos * Experiência com ferramentas ou fluxos de trabalho de desenvolvimento assistidos por IA