Descrição
Resumo:
Buscamos um Desenvolvedor Python altamente qualificado, com sólida experiência em engenharia de dados, para construir pipelines de dados eficientes, confiáveis e escaláveis.
Pontos principais:
1. Desenvolver e gerenciar fluxos de trabalho com o Apache Airflow para otimizar processos de engenharia de dados
2. Projetar e implementar um SDK em Python para otimizar esforços de engenharia de dados
3. Colaborar com membros da equipe para aprimorar a eficiência geral da equipe e o compartilhamento de conhecimento
Estamos buscando um Desenvolvedor Python altamente qualificado, com sólida experiência em engenharia de dados e paixão por construir pipelines de dados eficientes, confiáveis e escaláveis.
**Responsabilidades**
* Desenvolver e gerenciar fluxos de trabalho com o Apache Airflow para otimizar processos de engenharia de dados
* Projetar e implementar um SDK em Python para apoiar e otimizar esforços de engenharia de dados
* Criar e manter APIs RESTful para integração contínua
* Escrever e executar testes unitários e de integração para aplicações em Python e Java
* Refatorar scripts em Python e Java para seguir as melhores práticas e padrões de codificação
* Otimizar interações com bancos de dados, garantindo integridade e desempenho dos dados
* Manter pipelines CI/CD para testes automatizados, construção e implantação
* Colaborar com membros da equipe para aprimorar a eficiência geral da equipe e o compartilhamento de conhecimento
* Garantir que todas as aplicações atendam às diretrizes estabelecidas de segurança e conformidade
**Requisitos**
* 2\+ anos de experiência em desenvolvimento Python, com foco na escrita de código eficiente e testável
* Domínio do Apache Airflow, incluindo geração dinâmica de DAGs
* Experiência na criação e gerenciamento de pipelines de dados
* Competência em testes unitários e de integração utilizando ferramentas como Pytest
* Familiaridade com Java é uma grande vantagem
* Excelentes habilidades de comunicação, tanto escrita quanto verbal
* Capacidade de trabalhar de forma independente e entregar resultados com supervisão mínima
* Compromisso em acompanhar continuamente novas tendências e tecnologias emergentes