Profissional Especialista em Engenharia de Dados

Descrição

A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Radix desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos, e você terá a oportunidade de atuar em diferentes desafios de engenharia, dados, analytics e transformação digital. Além da nossa atuação pelo Brasil, com escritórios no Rio de Janeiro, São Paulo e Belo Horizonte, também temos filiais nos Estados Unidos, consolidando a Radix cada vez mais como uma empresa global. Quer fazer parte dessa história e transformar ideias e sonhos em realidade? **Sobre a vaga** ---------------- Estamos em busca de um(a) Especialista em Engenharia de Dados com forte experiência em Databricks, para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse. Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados. O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de capacidade para atuar próximo a times técnicos e áreas de negócio. **Principais responsabilidades:** --------------------------------- * Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake. * Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados. * Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL. * Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados. * Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados. * Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados. * Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards. * Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos. * Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem. * Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados. * Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI. * Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta. * Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis. * Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z\-Ordering, tuning de Spark e boas práticas de performance. * Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas\-raiz e implementando soluções preventivas. * Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade. * Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade. * Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica. **Qualificações obrigatórias:** ------------------------------- * Inglês fluente para conversação. * Graduação em Ciência da Computação, Sistemas de Informação, Engenharia ou área correlata, ou experiência prática equivalente. * Ampla experiência como Engenheiro(a) de Dados, Especialista de Dados, Arquiteto(a) de Dados ou função semelhante. * Experiência prática e avançada com Databricks em projetos corporativos de engenharia de dados. * Sólido conhecimento em Apache Spark, PySpark e Spark SQL. * Conhecimento avançado em SQL, incluindo consultas complexas, transformações, otimização e ajuste de desempenho. * Experiência com Delta Lake, incluindo tabelas Delta, versionamento, otimização, particionamento e boas práticas de armazenamento. * Experiência no projeto e implementação das camadas Raw/Bronze, Curated/Silver e Business/Gold. * Experiência com orquestração de pipelines e workloads no Databricks, incluindo jobs, workflows e automações. * Experiência na implementação de frameworks, metodologias e boas práticas de Qualidade de Dados em ambientes corporativos. * Experiência no desenvolvimento e implementação de regras de qualidade de dados, frameworks de validação, processos de reconciliação e tratamento de exceções. * Forte compreensão de profiling de dados, limpeza, padronização, enriquecimento e correspondência de dados. * Experiência prática na integração e validação de dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos. * Sólido conhecimento de modelagem de bancos de dados relacionais, normalização e princípios de integridade de dados. * Experiência no projeto de modelos de dados canônicos que consolidem informações de múltiplos sistemas de origem. * Experiência com mapeamento de dados de origem para destino, transformações, harmonização e documentação de regras de negócio. * Forte conhecimento em modelagem dimensional, esquemas estrela e conceitos de Data Warehouse corporativo. * Experiência na implementação de cargas incrementais, CDC, processos de reconciliação e validações automatizadas de qualidade de dados. * Familiaridade com governança de dados, gerenciamento de metadados, linhagem de dados, master data, reference data e segurança baseada em papéis. * Experiência com Unity Catalog ou conceitos equivalentes de governança, catálogo, controle de acesso e linhagem de dados. * Proficiência em Git, práticas de CI/CD e automação de deploy para soluções de engenharia de dados. * Capacidade de atuar com autonomia, visão crítica, comunicação clara e colaboração com times técnicos e de negócio. **É um diferencial se você tiver:** ----------------------------------- * Certificação ou acreditação Databricks relacionada à arquitetura, como Databricks Platform Architect Accreditation/Badge, preferencialmente em Azure ou AWS. * Certificação Databricks Certified Data Engineer Professional ou equivalente. * Experiência com arquitetura Lakehouse em ambientes corporativos de grande escala. * Experiência com Delta Live Tables, Auto Loader, Databricks Asset Bundles, Databricks CLI ou automação de deploy em Databricks. * Experiência com cloud platforms, especialmente Azure, AWS ou GCP. * Experiência com ferramentas de observabilidade, monitoramento e alertas para pipelines de dados. * Experiência com Databricks SQL, dashboards, SQL Warehouses e integração com ferramentas de BI. * Conhecimento em FinOps aplicado a Databricks, otimização de clusters, serverless, jobs e workloads. * Mestrado ou Doutorado em Ciência de Dados, Inteligência Artificial, Engenharia, Computação ou disciplinas que exijam alta capacidade analítica. **Benefícios:** * Assistência Médica Nacional (para o titular e dependentes, com quarto privativo) * Assistência odontológica nacional (para o titular e dependentes) * Vale refeição / alimentação flexível * Auxílio home office * Day off (no mês do aniversário) * Wellhub (antigo Gympass) * Licença Maternidade (6 meses) e Paternidade (20 dias) estendidas * Auxílio creche para filhos de até 3 anos (por filho) * Apoio em saúde mental com a Wellz * Clube de Vantagens com descontos em diversos parceiros * Convênio com instituições de ensino e cursos de idioma * Desenvolvimento Profissional (Universidade Corporativa) * Parceria com empresa de coworkings no Brasil * Programa de Qualidade de Vida e Bem\-Estar * Médico consultor para acompanhamento de radixers * Planos de incentivos **A Radix está sempre no topo das Melhores Empresas para se trabalhar porque:** * Temos profissionais comprometidos, dedicados, curiosos e inovadores. * O espírito de equipe é a nossa maior força. Trabalhamos de forma cooperativa e sabemos que estamos juntos, remando na mesma direção. * Temos um ambiente diverso, que valoriza equidade e inclusão. * Nossa jornada de trabalho é flexível e em quase todos os projetos é possível trabalhar de qualquer lugar do Brasil. * Valorizamos o bem\-estar e o cuidado com as nossas pessoas, com programas de apoio à saúde mental, psiquiatra e médico consultor disponíveis. **Curtiu?** **\#VemPraRadix** **Código: bb82**