Engenheiro de Dados Sênior

Descrição

Resumo: Engenheiro de Dados Sênior para projetar e entregar infraestrutura de dados central para uma camada analítica impulsionada por IA em uma plataforma de segurança de rede, transformando dados complexos em DynamoDB e integrando-os ao AWS QuickSight. Pontos principais: 1. Liderar a engenharia de dados para análises de segurança de rede impulsionadas por IA. 2. Projetar e implementar soluções DynamoDB e AWS QuickSight. 3. Colaborar com especialistas em cibersegurança e arquitetos de IA. Nosso cliente está desenvolvendo uma camada analítica impulsionada por IA sobre uma plataforma de dados de segurança de rede. Como **Engenheiro de Dados Sênior** neste projeto, você projetará e entregará a infraestrutura de dados central destinada à derivação de políticas de segurança a partir de registros de rede de tecnologia operacional. Você trabalhará com exportações de dados diversas e complexas provenientes de plataformas industriais de segurança — como sistemas de monitoramento de rede — e as transformará em um banco de dados DynamoDB bem estruturado. Uma vez estabelecida a base de dados, você a conectará ao AWS QuickSight para fornecer painéis interativos de BI que oferecem aos stakeholders visibilidade imediata sobre o comportamento da rede, eventos de segurança e lacunas nas políticas. **Responsabilidades** * Desenvolver e configurar bancos de dados DynamoDB para servirem como repositório central de informações de registros de rede e segurança * Estabelecer layouts de tabelas, chaves de partição, chaves de ordenação e Índices Secundários Globais para suportar dados de eventos em larga escala e em série temporal * Aumentar a eficiência do banco de dados e gerenciar custos utilizando recursos do DynamoDB e implementando soluções de arquivamento de dados * Construir pipelines ETL confiáveis para importar dados de arquivos Excel, CSVs e fontes de API provenientes de sistemas de monitoramento de rede * Limpar, validar, padronizar e enriquecer dados de eventos de segurança, resolvendo inconsistências de esquema e campos ausentes * Configurar orquestração automatizada, agendamento e tratamento de erros para garantir operação consistente dos pipelines e disponibilidade oportuna dos dados * Integrar o DynamoDB ao AWS QuickSight para criar painéis e relatórios interativos que destaquem eventos de segurança e atividades da rede * Criar e atualizar conjuntos de dados, campos calculados e visualizações no QuickSight, refinando os designs dos painéis com base nas entradas dos stakeholders * Trabalhar em conjunto com especialistas em cibersegurança, engenheiros de IA/análise, arquitetos de IA e outros stakeholders para converter necessidades empresariais em soluções de arquitetura de dados * Preparar documentação técnica abrangente, incluindo layouts de esquema, dicionários de dados, detalhes dos pipelines e guias operacionais **Requisitos** * Pelo menos 5 anos de experiência em cargos de engenharia de dados * No mínimo um ano de experiência liderando e gerenciando equipes de desenvolvimento * Conhecimento aprofundado do DynamoDB, incluindo projeto de tabelas, estratégias de chaves de partição e ordenação, Índices Secundários Globais (GSIs), planejamento de capacidade, Streams e modelagem NoSQL para cargas de trabalho de alto volume * Capacidade comprovada de construir pipelines robustos ETL/ELT em Python usando ferramentas como boto3 e pandas, capazes de processar dados de origem diversos e em múltiplos formatos e carregá-los no DynamoDB * Habilidade em serviços AWS, como S3, Lambda, IAM e CloudWatch, e sua integração com DynamoDB e QuickSight * Experiência no uso do AWS QuickSight para desenvolver conjuntos de dados, análises e painéis interativos, conectando-se a fontes de dados AWS e criando visualizações para um amplo público * Proficiência em modelagem de dados NoSQL, projetando estruturas desnormalizadas orientadas a consultas para dados do tipo chave-valor e orientados a documentos * Base sólida em engenharia de qualidade de dados, incluindo frameworks de validação, contratos de dados e testes automatizados de pipelines * Habilidades avançadas em Python para escrever código ETL mantível, com familiaridade em ambientes virtuais, testes e controle de versão usando Git * Capacidade de documentar claramente decisões técnicas e colaborar eficazmente com stakeholders não técnicos * Excelentes habilidades de comunicação em inglês, nível B2 ou superior, tanto escritas quanto faladas **Desejável** * Experiência com AWS Glue e Athena para ETL sem servidor e consulta de data lakes baseados em S3 * Conhecimento de bancos de dados gráficos como Neo4j ou Amazon Neptune e modelagem de dados como nós e relacionamentos para representação de topologia de rede e políticas * Familiaridade com ferramentas de CI/CD, como GitHub Actions ou GitLab CI, para testes automatizados e implantação de pipelines * Experiência prévia com registros de segurança de rede, análises de cibersegurança ou ambientes voltados à segurança * Compreensão de mineração de processos, incluindo estruturas de registros de eventos e seu uso em algoritmos de mineração de processos * Experiência com ferramentas ou metodologias de desenvolvimento assistido por IA