[Vaga - 30813] Desenvolvedor(a) Sênior de Dados (Databricks), Brasil

Descrição

Na CI\&T, ajudamos grandes empresas a transformar o potencial da IA em impacto real nos negócios com implantação de IA, execução nativa de IA e soluções tecnológicas integradas aos negócios. Com 30 anos de experiência em transformação tecnológica, aceleramos a inovação com especialização em SDLC Agente, modernização de aplicações, Dados \& IA, Martech e estratégia de negócios. Somos 8.000 CI\&Ters em mais de 25 países, colaborando para construir soluções com impacto real. A IA já faz parte de como trabalhamos, evoluímos e inovamos todos os dias. Estamos buscando um(a) Desenvolvedor(a) Sênior de Dados (Databricks) para integrar nossa equipe e assumir a propriedade de uma plataforma de dados crítica à missão, que apoia relatórios e análises de negócios para nosso cliente. Trata-se de uma oportunidade para atuar profundamente no ecossistema Databricks — desde a ingestão bruta até uma camada dimensional totalmente modelada — ao mesmo tempo em que atua como a espinha dorsal técnica da qual o restante da equipe depende para expertise na plataforma. Este cargo combina execução prática com liderança técnica: você será responsável por possuir e evoluir notebooks em toda a arquitetura em medalhões, projetar e estender artefatos de modelagem dimensional que alimentam a inteligência de negócios downstream e atuar como principal revisor(a) e ponto de referência técnica para a equipe. Você atuará tanto estrategicamente — propondo melhorias arquitetônicas e de processos — quanto operacionalmente — solucionando falhas em jobs de produção, implantando alterações entre ambientes e mantendo a documentação atualizada. O sucesso nesse cargo exige capacidade de adaptação rápida em uma base de código grande, consolidada e repleta de regras de negócios, iniciando contribuições significativas em um curto espaço de tempo. ### **Responsabilidades** * **Entrega \& Melhoria Contínua:** Trabalhar em tickets e bugs atribuídos, buscando continuamente oportunidades de melhoria além da tarefa imediata — identificando proativamente débitos técnicos, oportunidades de refatoração e lacunas de automação, em vez de limitar as contribuições ao que foi atribuído. * **Propriedade de Pipelines de Dados:** Possuir e evoluir notebooks nas camadas Stage, Bronze, Silver e Gold, desde a ingestão até o modelo dimensional consumido por ferramentas de relatórios de inteligência de negócios. * **Modelagem Dimensional:** Projetar e implementar artefatos de modelagem dimensional — fatos, dimensões e dimensões com variação lenta — com compreensão clara de como eles habilitam relatórios downstream. * **Gestão de Fluxos de Trabalho:** Realizar alterações em jobs e fluxos de processamento de dados conforme necessário para suportar requisitos de negócios em evolução. * **Revisão de Código \& Qualidade:** Revisar pull requests de outros desenvolvedores, garantindo qualidade de código, desempenho e consistência arquitetônica em toda a base de código. * **Gestão de Ambientes \& Implantações:** Implantar e promover alterações entre ambientes (Dev, QA, UAT, PROD), mantendo o rastreamento de implantações atualizado e apoiando operações de ambiente, como restauração de ambientes ou tabelas a partir de outro ambiente ou de um ponto específico no tempo. * **Monitoramento \& Solução de Problemas em Produção:** Monitorar e solucionar jobs diários de produção, investigando falhas e problemas de desempenho com ferramentas de diagnóstico nativas da plataforma, logs de jobs e histórico de tabelas. * **Testes \& Automação:** Manter e aprimorar o pipeline de testes automatizados, incluindo fluxos de CI/CD e o framework de testes subjacente. * **Documentação:** Manter a documentação técnica atualizada para que o conhecimento institucional não se perca à medida que os pipelines e conexões das quais a equipe depende evoluem. * **Referência Técnica \& Mentorias:** Atuar como referência técnica principal da equipe sobre a plataforma de dados — a pessoa à qual os demais recorrem quando é necessária expertise profunda na plataforma — e apoiar outros membros da equipe em tópicos de modelagem e desenvolvimento de dados. * **Colaboração com Stakeholders:** Propor e recomendar melhorias arquitetônicas e de processos, colaborando com stakeholders comerciais e técnicos do cliente — incluindo a função de arquitetura de dados do cliente — para traduzir requisitos em pipelines de dados escaláveis e bem testados, mantendo igual conforto ao receber orientações da liderança técnica do lado do cliente. ### **Requisitos** * Experiência sólida em desenvolvimento de dados, com comprovada experiência prática em produção na plataforma Databricks * Domínio avançado do PySpark (API DataFrame, Spark SQL, UDFs, funções de janela) e do Databricks SQL (SQL ANSI, MERGE INTO, COPY INTO, CTEs), incluindo ajuste de desempenho, como poda de partições, compactação de arquivos, tratamento de skew e otimização de consultas * Experiência sólida e prática com Delta Lake: padrões de MERGE/upsert, transações ACID, time travel e manutenção de tabelas (OPTIMIZE, VACUUM, ZORDER, agrupamento líquido, Change Data Feed) * Experiência comprovada na implementação de Dimensões com Variação Lenta (Tipo 1 e Tipo 2) e conceitos de modelagem dimensional (esquema em estrela, projeto de fatos/dimensões) — sem exigir que você tenha projetado um modelo do zero, mas exigindo a mentalidade para compreender e estender um existente * Experiência com arquitetura em medalhões (ou arquitetura em camadas equivalente) em uma plataforma de dados de produção, bem como com Unity Catalog, jobs/workflows, gerenciamento de segredos e desenvolvimento baseado em notebooks * Experiência com Git e Azure DevOps (ou equivalente) para controle de versão, pull requests e pipelines de CI/CD, além de serviços Microsoft Azure (Key Vault, Service Principal/Managed Identity, Data Lake Storage) * Capacidade de ler e navegar em uma base de código grande e consolidada (400\+ notebooks), aprendendo e seguindo convenções existentes em vez de reescrevê-las, e de se adaptar rapidamente em um ambiente repleto de regras de negócios * Inglês avançado (nível C1 ou superior), com capacidade de trabalhar diretamente com stakeholders do cliente nos EUA, propor recomendações técnicas e alinhar-se às decisões tomadas pela liderança técnica do lado do cliente ### **Desejável** * Experiência com Databricks Asset Bundles ou outras abordagens Infrastructure-as-Code para gerenciar jobs, clusters e permissões como código * Familiaridade com Delta Live Tables e com Databricks Genie (IA/BI Genie) para consultas em linguagem natural e análise conversacional * Familiaridade com frameworks de qualidade de dados (ex.: Great Expectations, Soda Core ou frameworks de validação personalizados) * Experiência com pytest e databricks-connect para testes automatizados de pipelines Spark fora da execução manual de notebooks * Familiaridade com Pydantic ou abordagens similares de configuração tipada, e experiência com abordagens de migração/versionamento de esquemas (ex.: Flyway, Liquibase ou frameworks personalizados) * Conforto no uso de ferramentas de desenvolvimento assistido por IA (ex.: GitHub Copilot, Cursor ou similares) para acelerar fluxos de codificação, depuração e revisão de código \#LI\-JP3 **Nossos benefícios:** * Plano de saúde e odontológico * Auxílio-refeição e auxílio-alimentação * Auxílio-creche * Licença paternidade estendida * Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass; * Participação nos Resultados (PLR); * Seguro de vida * Plataforma de aprendizagem contínua (CI\&T University); * Clube de descontos * Plataforma online gratuita dedicada ao bem-estar físico, mental e integral * Curso de gravidez e parentalidade responsável * Parcerias com plataformas de ensino online * Plataforma de aprendizado de idiomas E muitos mais! Mais detalhes sobre nossos benefícios aqui: https://ciandt.com/br/pt\-br/carreiras Na CI\&T, a inclusão começa no primeiro contato. Se você é uma pessoa com deficiência, é importante **apresentar sua avaliação durante o processo seletivo.** *Veja quais dados devem constar no laudo clicando aqui*. Assim, podemos garantir o suporte e as adequações de que você precisa. **Se ainda não possui a avaliação, não se preocupe: podemos apoiá-lo(a) na obtenção dela.** Contamos com uma equipe dedicada de Saúde e Bem-Estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte conosco para fazer essa jornada lado a lado.