Oportunidade Híbrida\- Avenida Paulista\- 2X na Semana Buscamos um(a) Tech Lead de Dados com experiência na concepção, arquitetura e implementação da camada decisional sobre a plataforma **Databricks**. Esse profissional será responsável por guiar a estratégia de engenharia de dados, garantindo a excelência técnica em modelagem, ingestão multi\-origem e processamento em larga escala, além de atuar como interface técnica entre os arquitetos do cliente e o time de execução. **Responsabilidades e Atribuições:** * Desenhar e implementar a arquitetura de dados na plataforma Databricks, utilizando padrões de **Medallion Architecture** (Bronze, Silver, Gold). * Definir estratégias de ingestão para múltiplas origens (Teradata, DB2, SQL Server, Oracle, SAS, HIVE), garantindo a integridade via **CDC** e **Streaming**. * Estabelecer padrões de governança de dados, observabilidade e contratos de integração via **API REST**. * Liderar tecnicamente engenheiros de níveis pleno/júnior, realizando code reviews e garantindo o cumprimento das melhores práticas de engenharia. * Realizar a interlocução técnica com arquitetos e stakeholders para alinhamento de soluções e requisitos. * Estruturar o **Context Store** e definir as fontes oficiais por domínio de dados. * Implementar e monitorar testes de qualidade automatizados (usando **Great Expectations** ou **DLT expectations**). * Otimizar o custo e performance de workloads (dimensionamento de clusters e eficiência de processamento). * Gerenciar a complexidade técnica de ingestão de dados provenientes de ecossistemas heterogêneos (Mainframe, On\-premises e Cloud). * Garantir a automação completa do ciclo de vida dos dados através de pipelines de CI/CD. **Requiistos:** * Sólida experiência com **Databricks** (Unity Catalog, DLT \- Delta Live Tables, Workflows e Jobs). * Domínio em **PySpark avançado** (otimização de clusters, broadcast joins, particionamento e AQE). * Experiência avançada em **SQL** (Window Functions, CTEs, Query Tuning). * Conhecimento profundo em **Modelagem de Dados** (Dimensional, Data Vault e Medallion). * Experiência prática com ferramentas de **CDC** (Debezium, GoldenGate ou Lakeflow Connect) e **Streaming** (Kafka ou Azure Event Hub). * Familiaridade com integração de APIs REST (OAuth/JWT, Idempotência). **Diferenciais:** * Certificação **Databricks Certified Data Engineer Professional**. * Experiência em migração de **Hive Metastore** para **Unity Catalog**. * Conhecimento em tuning de performance avançado (**Z\-Ordering, Liquid Clustering**). * Experiência prévia em projetos no setor de Seguros ou Bancário. **Tecnologias:** * **Plataforma principal:** Databricks (Delta Lake, Unity Catalog, DLT, Lakeflow). * **Linguagens:** Python (PySpark) e SQL. * **Cloud:** Azure (Event Hub, Storage). * **Bancos e Origens:** Teradata, DB2, Oracle, SQL Server, SAS e Hive. * **Streaming/Mensageria:** Kafka e Structured Streaming. * **Qualidade e Governança:** Great Expectations e Unity Catalog.
João Silva
Indeed · HR
João Silva
Indeed · HR
