Engenheiro de Dados Sênior (Databricks/AWS)

Descrição

Resumo: Este é um cargo de alto impacto de Engenheiro de Dados Sênior voltado para a migração da arquitetura de dados do CRM para um cliente do setor de Ciências da Vida, exigindo especialização em desenvolvimento de pipelines, transformação de dados e orquestração de fluxos de trabalho. Pontos de destaque: 1. Papel de alto impacto na migração da arquitetura de dados do CRM para o setor de Ciências da Vida 2. Foco na construção e otimização de pipelines de ingestão de dados com dbt e Airflow 3. Oportunidade de trabalhar com o Salesforce Life Sciences Cloud e o Databricks **Sobre a Fusemachines** A Fusemachines é uma empresa de IA com mais de 12 anos de existência, dedicada à entrega de produtos e soluções de IA de última geração para uma ampla variedade de setores. Fundada por Sameer Maskey, Ph.D., professor adjunto associado da Universidade Columbia, nossa empresa tem como missão constante democratizar a IA e aproveitar o poder do talento global em IA proveniente de comunidades subatendidas. Com uma forte presença em quatro países e uma equipe dedicada de mais de 400 funcionários em regime integral, comprometemo-nos a impulsionar jornadas de transformação em IA para empresas em todo o mundo. Na Fusemachines, não apenas preenchemos a lacuna entre o avanço da IA e seu impacto global, mas também nos esforçamos para entregar ao mundo as soluções tecnológicas mais avançadas. **Tipo: Tempo integral, remoto** **Sobre a vaga** Trata-se de uma posição em tempo integral e de alto impacto para um Engenheiro de Dados Sênior com especialização em **Databricks**, **dbt** e **Apache Airflow**, destinada a apoiar uma migração crítica da arquitetura de dados do CRM para um cliente-chave no setor de Ciências da Vida. Neste cargo, você integrará uma iniciativa urgente para suprir capacidades essenciais de engenharia e manter o ritmo durante uma transição contínua do sistema de CRM. O projeto envolve a migração de dados corporativos de clientes do Veeva CRM para o Salesforce Life Sciences Cloud, integrado a um ambiente em nuvem AWS S3 subjacente e ao data warehouse Databricks. Seu foco principal será construir, configurar e redirecionar pipelines de ingestão de dados originados do Life Sciences Cloud até o data warehouse, implementando modelos dbt e orquestrações Airflow para garantir total precisão dos dados. Os candidatos devem ser capazes de operar estritamente no horário comercial da Costa Leste dos EUA (a localização é flexível nas Américas do Norte e Latina ou remotamente, desde que haja sobreposição integral com o horário da Costa Leste). **Qualificações / Requisitos técnicos:** * **Especialização técnica fundamental**: + 5 anos ou mais de experiência prática em engenharia de dados, com profundo conhecimento em **AWS**, **Databricks**, **dbt** e **Apache Airflow**. + Excelente proficiência em programação em **Python** / **PySpark** e em **SQL avançado** (junções complexas, funções analíticas de janela). + Experiência prática em **arquitetura da plataforma Databricks**, implementação de Lakehouse, Delta Lake, Unity Catalog e ajuste de desempenho de clusters. * **Arquitetura e migração**: + Histórico comprovado de concepção e execução de **migrações**. + Experiência comprovada em **escalonamento de desempenho da plataforma**. * **Orquestração e modelagem de pipelines**: + Experiência comprovada na construção de pipelines de transformação escaláveis utilizando **dbt**, para transformação, testes e documentação de dados. + Sólida experiência em orquestração de DAGs (gráficos acíclicos direcionados) complexos com o **Apache Airflow**. + Experiência com infraestrutura em nuvem **AWS**, especificamente com o **S3** da AWS como camada de armazenamento subjacente do data lake. * **Integração com CRM e conhecimento de domínio**: + Experiência prática no desenvolvimento de integrações e pipelines de ingestão de dados para plataformas de CRM, especialmente Salesforce, **Salesforce Life Sciences Cloud** e/ou **Veeva CRM**. + Conhecimento das estruturas de dados, dados mestres de clientes e fluxos analíticos no setor de **Ciências da Vida**. * **DevOps e governança**: + Profundo entendimento do **ciclo de vida de desenvolvimento de software (SDLC)/método Ágil** e DevOps para CI/CD e gerenciamento de artefatos. + Conhecimento das melhores práticas de segurança e padrões de conformidade da AWS e do Databricks. * **Certificações preferenciais**: Certificação Databricks Certified Data Engineer Associate/Professional, Databricks Spark Developer e principais certificações em nuvem da AWS. * Logística e sobreposição de turnos: + Capacidade de manter **100% de sobreposição horária integral** com o **horário comercial da Costa Leste dos EUA (ET)**. Localização flexível (EUA, Canadá, América Latina ou remota com fuso horário ET). **Responsabilidades** * **Desenvolvimento e integração de pipelines**: Projetar, construir e implantar pipelines de integração de dados que conectem o **Salesforce Life Sciences Cloud** ao ambiente de data warehouse Databricks do cliente. * **Suporte à migração do CRM**: Executar modificações nos pipelines para migrar feeds de dados legados do Veeva CRM para o Salesforce Life Sciences Cloud, atualizando os modelos do warehouse conforme necessário. * **Transformação e orquestração de fluxos de trabalho**: Escrever modelos de transformação limpos e modulares em **dbt**, organizando a execução ponta a ponta de DAGs com o **Apache Airflow**. * **Otimização do data warehouse e do armazenamento**: Gerenciar **tabelas Delta** e otimizar **clusters Databricks** e **armazenamento AWS S3** para alto desempenho e eficiência de custos. * **Validação de dados e garantia de qualidade**: Implementar testes de qualidade de dados, esquemas e regras de verificação em dbt e Python para garantir a entrega precisa dos dados. * **Monitoramento e alertas**: Construir e aplicar estruturas proativas de monitoramento. * **Colaboração ágil**: Trabalhar em estreita colaboração com líderes de projeto, arquitetos de soluções e partes interessadas técnicas durante o horário da Costa Leste dos EUA, para assegurar iterações rápidas e conclusão de objetivos. *Igualdade de oportunidades no emprego: Raça, cor, religião, sexo, orientação sexual, identidade de gênero, origem nacional, idade, informação genética, deficiência, status de veterano protegido ou qualquer outro status legalmente protegido.* 1xj6cMiw4s