Descrição
Resumo:
Procuramos um profissional experiente em arquitetura e projeto de dados ponta a ponta, com domínio de engenharia nativa em nuvem e diversas soluções de dados.
Pontos de destaque:
1. Experiência especializada em arquitetura e projeto de dados ponta a ponta
2. Domínio de engenharia nativa em nuvem (Microsoft, AWS, Google Cloud)
3. Experiência em práticas DevOps/DataOps e otimização de pipelines
**Habilidades Técnicas:**
Experiência sólida em arquitetura e projeto de dados ponta a ponta, incluindo ingestão, modelagem, armazenamento e orquestração (ex.: Medallion).
Domínio de engenharia nativa em nuvem, com foco em tecnologias Microsoft (Fabric, Azure Data Factory, Synapse), mas aberto a outras plataformas em nuvem (AWS, Google Cloud) com ferramentas comparáveis.
Experiência prática com soluções de data warehouse e data lake (ex.: BigQuery, Azure Data Lake, Delta Lake, Amazon Redshift).
Domínio de linguagens de programação como Python (com bibliotecas relacionadas a dados: ex. Pandas, Boto3\), SQL ou Spark.
Conhecimento sólido de SGBDs relacionais (ex.: Oracle, MS SQL Server) ou bancos de dados NoSQL (ex.: MongoDB, ElasticSearch, GBQ).
**Requisitos:**
Experiência em práticas DevOps/DataOps, incluindo pipelines CI/CD.
Capacidade de implementar validação de dados, rastreabilidade (lineage), documentação e monitoramento em larga escala.
Capacidade comprovada de otimizar pipelines e soluções de armazenamento quanto ao desempenho, custo e confiabilidade.