Engenheiro de Dados Sênior

Descrição

A FCamara está em busca de uma pessoa Engenheira de Dados Sênior, responsável por projetar, implementar e otimizar pipelines de dados para coleta, ingestão, transformação e armazenamento de grandes volumes de dados, garantindo a excelência técnica em ambientes Cloud Native, com foco total em otimização de custos (FinOps), alta disponibilidade e governança de dados no ecossistema Google Cloud Platform. Atua na construção de uma infraestrutura robusta para suportar análises complexas e decisões baseadas em dados **Responsabilidades e atribuições** **Responsabilidades:** * **Integração e Coleta de Dados:** Agrega dados estruturados, semiestruturados e não estruturados de diversas fontes (bancos de dados, APIs, arquivos); * **Ingestão de Dados em Tempo Real e Lote:** Desenvolve arquiteturas de ingestão escaláveis utilizando Pub/Sub para streaming e Cloud Storage/Dataflow para processamento batch, garantindo a integridade dos dados no Big Query; * **Processamento e Transformação de Dados:** Constrói pipelines para transformar dados brutos com processos de padronização, deduplicação, filtragem e enriquecimento; * **Governança e Operação:** Gerencia a orquestração via Cloud Composer com foco em idempotência e resiliência, implementa monitoramento proativo (logs/alertas) e documentação técnica para garantir a continuidade e manutebilidade das soluções; * **Otimização de Performance:** Lidera iniciativas de FinOps, otimizando o consumo de slots no BigQuery, custos de storage e eficiência de Jobs no Dataflow/Dataproc para reduzir o TCO (Total Cost of Ownership); **Requisitos e qualificações** **REQUISITOS:** Superior Completo nas áreas de Tecnologia da Informação, tais como, Sistemas de Informação, Ciências da Computação, Engenharia da Computação. **EXPERIÊNCIA:** * Entre 5 a 8 anos de experiência em Engenharia de Dados ou funções semelhantes; * Domínio avançado de SQL e Python (foco em manipulação de grandes volumes e atuomação), experiência com Java será considerada um diferencial para pipelines customizados em Dataflow; * Sólida experiência em arquiteturas modern ETL/ELT, domínio de Cloud Composer (Airflow) para orquestração e Dataflow (Apache Beam) ou dbt para transformação; * Expertise no ecossistema GCP: BigQuery (Partitioning/Clustering), Dataproc, Cloud Functions e IAM para segurança de dados; * Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines de dados; * Proficiência em Terraform (Iac) e Azure Pipelines (CI/CD), para gestão de versionamento no Azure Repos e artegatos * Habilidade comprovada em monitoramento e troubleshooting de processos complexos em abientes de produção. **COMPETÊNCIAS PROFISSIONAIS INSTITUCIONAIS EXIGIDAS:** **Proatividade**: Antecipar\-se para alcançar resultados; **Flexibilidade**: Adaptar\-se rapidamente a novas tecnologias e processos; **Trabalho em Equipe**: Colaborar eficazmente com equipes multidisciplinares; **Comprometimento**: Assumir responsabilidade e compromisso com as atividades. **COMPETÊNCIAS ESPECÍFICAS EXIGIDAS – COMPORTAMENTAIS** Pensamento Analítico: Pensamento analítico para solução de problemas complexos e busca constante por aprendizado e aprimoramento técnico. **COMPETÊNCIAS ESPECÍFICAS EXIGIDAS –TÉCNICAS** Arquitetura e Soluções de Dados – Capacidade de desenhar e implementar fluxos complexos de dados, equilibrando performance técnica e viabilidade financeira (FinOps). **RESPONSABILIDADE POR RESULTADO** Garante a disponibilidade, integridade e o custo\-benefício da arquitetura de dados, assegurando que o Lakehouse acompanhe o crescimento da empresa. É responsável pela evolução técnica contínua e pela redução de débitos técnicos nos pipelines de dados. **AUTONOMIA** Atua com autonomia técnica total para propor melhorias e novas arquiteturas, reportando progresso e alinhando decisões estratégicas com a liderança de Dados e Analytics. **Informações adicionais** **Aqui somos \#SangueLaranja!** Estamos há 17 anos no mercado, lado a lado com nossos clientes, proporcionando experiências transformadoras. Somos um ecossistema de tecnologia e inovação, com expansão global; Além do Brasil estamos presentes na Europa e Reino Unido com escritórios em Portugal, Londres, Dubai e Holanda. **F de Formação: acreditamos na prática da cultura do compartilhamento, no senso de comunidade, e que o conhecimento** **tem o poder da transformação!** Possuímos iniciativas, e ações sociais, que promovem o desenvolvimento, como a comunidade tech Orange Juice, o Programa de Formação, nossa escola de liderança e diversas parcerias com ONGs e Edtechs. **Na FCamara todos são bem\-vindos, para nós, Diversidade, Respeito e Ética, são elementos inegociáveis e fazem parte do nosso DNA.** **E aí, está pronto para fazer parte de um time incrível e ser protagonista da própria história?**