Descrição
Resumo:
Buscamos um Desenvolvedor Sênior Python com sólida experiência em engenharia de dados para construir pipelines confiáveis e escaláveis, gerenciar fluxos de trabalho dinâmicos DAG, APIs, testes e CI/CD.
Pontos principais:
1. Construa pipelines de dados confiáveis e escaláveis com Python e Apache Airflow
2. Gerencie fluxos de trabalho dinâmicos DAG, APIs, testes e CI/CD
3. Melhore o desempenho e a qualidade do código em Python e Java
Estamos procurando um **Desenvolvedor Sênior Python** com sólida experiência em engenharia de dados para construir pipelines confiáveis e escaláveis com Python e Apache Airflow.
Você será responsável por gerenciar fluxos de trabalho dinâmicos DAG, APIs, testes e CI/CD, além de melhorar o desempenho e a qualidade do código em Python e Java. Candidate-se agora para nos ajudar a entregar soluções de dados seguras e conformes.
**Responsabilidades**
* Desenvolver e operar fluxos de trabalho do Apache Airflow para aprimorar os processos de engenharia de dados
* Projetar e entregar um SDK em Python para apoiar e otimizar o trabalho de engenharia de dados
* Construir e manter APIs RESTful para permitir uma integração fluida
* Criar e executar testes unitários e de integração para aplicações em Python e Java
* Refatorar scripts em Python e Java para alinhá-los às normas de codificação e às melhores práticas
* Otimizar as interações com bancos de dados, protegendo a integridade e o desempenho dos dados
* Manter pipelines de CI/CD para testes automatizados, compilações e implantações
* Colaborar com a equipe para melhorar a eficiência e promover o compartilhamento de conhecimento
* Garantir que as aplicações estejam em conformidade com as diretrizes estabelecidas de segurança e conformidade
**Requisitos**
* Experiência comprovada com 3\+ anos de desenvolvimento em Python, focado em código eficiente e testável
* Experiência prática com Apache Airflow, incluindo geração dinâmica de DAG
* Base sólida na construção, operação e evolução de pipelines de dados
* Conhecimento prático de testes unitários e de integração usando ferramentas como Pytest
* Familiaridade com Java é um grande diferencial
* Excelentes habilidades de comunicação escrita e verbal
* Capacidade de trabalhar de forma independente e entregar resultados com supervisão mínima
* Compromisso contínuo com a aprendizagem de novas tendências e tecnologias emergentes