Navegar
···
Entrar / Registrar
Resumo da Vaga: Buscamos Desenvolvedor Python Sênior com forte experiência em web scraping para desenvolver e evoluir soluções de coleta de dados em larga escala, focado em desafios complexos de scraping. Principais Destaques: 1. Forte experiência em web scraping para coleta de dados em larga escala 2. Desenvolvimento de spiders e soluções anti-bloqueio complexas 3. Melhoria de robustez e eficiência dos sistemas de coleta de dados Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez, confiabilidade e eficiência dos sistemas de coleta de dados da empre A posição é hands\-on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping. **Responsabilidades** * Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala. * Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup. * Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta. * Implementar e melhorar estratégias de rotação de proxies e uso de VPNs. * Desenvolver mecanismos para contornar bloqueios e sistemas anti\-bot. * Integrar solucionadores de CAPTCHA em pipelines de scraping. * Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ. * Otimizar armazenamento e consultas em PostgreSQL. * Desenvolver APIs e integrações utilizando Django. * Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e proteções WAF. * Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados. * Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código. **Requisitos** * Forte experiência com Python. * Experiência sólida com web scraping em ambiente de produção. * Experiência com Scrapy, Requests, Selenium e BeautifulSoup. * Experiência com programação assíncrona utilizando asyncio. * Experiência com Celery, Redis e RabbitMQ. * Experiência com PostgreSQL. * Conhecimento avançado de HTTP, cookies, headers e autenticação. * Experiência com proxy rotation e uso de VPNs. * Experiência com solucionadores de CAPTCHA. * Experiência com bypass de sistemas anti\-bot. * Experiência com Git e workflows de versionamento. * Experiência trabalhando com times ágeis (Scrum ou Kanban). **Diferenciais** * Experiência com infraestrutura de scraping em larga escala. * Experiência com automação de browsers e simulação de comportamento de usuário. * Experiência com Docker e containerização. * Experiência com sistemas distribuídos de coleta de dados. * Experiência com monitoramento e observabilidade de crawlers. * Experiência com CI/CD. * Experiência com GitHub Actions.
