Engenheiro de Dados

Descrição

Resumo da Vaga: Profissional para desenvolver e manter pipelines de dados escaláveis, atuando na modelagem de dados e garantindo a resiliência e performance das rotinas de dados. Principais Destaques: 1. Desenvolver e evoluir pipelines de dados escaláveis com Airflow 2. Atuar na modelagem e estruturação de camadas analíticas e operacionais 3. Contribuir para boas práticas e melhoria contínua da plataforma de dados **Área de Atuação:** Airflow Azure Cloud Bancos de Dados Não Relacionais Bancos de Dados Relacionais CI/CD ETL Python**Cidade:** Curitiba Híbrido Remoto São Paulo**UF:** PR SP**País:** Brasil**2 vagas** **Sobre a empresa** Scansource: Soluções de Tecnologia Somos referência no mercado de TI distribuindo tecnologia para o mundo, conectando empresas e pessoas com as melhores soluções. Tudo isso envolvendo uma equipe totalmente especializada e dedicada a você. **Responsabilidades** * Desenvolver, manter e evoluir pipelines de dados escaláveis utilizando Airflow como principal ferramenta de orquestração * Criar integrações robustas entre diferentes fontes de dados, garantindo consistência, auditoria e qualidade * Atuar na modelagem de dados e na estruturação de camadas analíticas ou operacionais * Monitorar e dar suporte às rotinas de dados, garantindo resiliência, performance e rápida recuperação em caso de falhas. * Contribuir para boas práticas como versionamento, automações, observabilidade e padrões de arquitetura * Trabalhar em conjunto com times de produto e negócio na definição de requisitos e priorização e demandas * Participar ativamente de revisões técnicas, discussões arquiteturais e iniciativas de melhoria contínua da plataforma de dados. **Requisitos** * Experiência prática em **Engenharia de Dados**, preferencialmente em ambientes de grande volume e alta complexidade * Domínio de **Airflow** para criação e manutenção de **DAGs**, incluindo boas práticas de orquestração e monitoramento. * Proficiência em **Python** para desenvolvimento de tarefas, conectores e transformações, manipulação, ingestão e transformação de dados * Experiência sólida em **bancos de dados relacionais e não relacionais** (ex: Postgresql, MySQL, Mongodb, BigQuery, Redshift, etc.) * Experiência com **ETL/ELT**, modelagem de dados, particionamento, otimização de consultas e estruturação de camadas de dados * Familiaridade com **ambientes cloud** (Azure), incluindo serviços de armazenamento, processamento e segurança * Vivência com ferramentas de versionamento (Git/Github), CI/CD, contêineres e automações. * Formação completa em Engenharia, Ciência da Computação, Sistemas de Informação ou áreas correlatas **Diferenciais:** * Experiência com microserviços, Kafka, Spark, Infraestrutura como código ou certificação em cloud. **Perfil** * Capacidade analítica * Planejamento e organização * Comunicação * Flexibilidade * Iniciativa **Benefícios** **Para residentes em SP, DF ou RJ** * VR cartão flex – R$ 45,50 por dia de trabalho; * Vale transporte ou Estacionamento na empresa – Apenas para colaboradores de SP Capital * Assistência médica Porto Seguro extensivo para cônjuge e filhos; * Assistência Odontológica; * Totalpass; * Seguro de vida; * PPR/PLR; * Programa de indicação de funcionários; * Convênio Pet. **Residentes em outras regiões** * VR cartão flex – R$ 39,00 por dia de trabalho; * Vale transporte ou Estacionamento na empresa – Apenas para colaboradores de Curitiba e região * Assistência médica Unimed Nacional extensivo para cônjuge e filhos; * Assistência Odontológica; * Totalpass; * Seguro de vida; * PPR/PLR; * Programa de indicação de funcionários; * Convênio Pet. **Modelo de Contratação:** CLT – Híbrido – 3 vezes por semana na empresa para São Paulo e Curitiba. Residentes em São Paulo/SP – Av. Paulista, 2300 – 16° Andar – Consolação Residentes em Curitiba/PR – Avenida Sete de Setembro, 2451 5º andar – Centro Residentes em outras regiões: CLT – 100% remoto.