Python Developer — Web Scraping & Data Extraction (Junior)

Descrição

Resumo da Vaga: Estamos em busca de um Desenvolvedor Python Júnior para atuar no desenvolvimento e manutenção de robôs para coleta, tratamento e integração de dados, aprendendo boas práticas de desenvolvimento e arquitetura de sistemas. Principais Destaques: 1. Desenvolvimento de robôs para coleta, tratamento e integração de dados 2. Trabalho com time de engenharia e aprendizado de boas práticas 3. Foco em automação, coleta de dados e web scraping Estamos em busca de um Desenvolvedor Python Júnior interessado em automação, coleta de dados e web scraping. A pessoa atuará no desenvolvimento e manutenção de robôs responsáveis pela coleta, tratamento e integração de dados provenientes de diferentes sistemas e portais. O profissional trabalhará junto com um time de engenharia, aprendendo boas práticas de desenvolvimento, arquitetura de sistemas e manipulação de dados em larga escala. **Principais responsabilidades:** * Desenvolver e manter scripts e crawlers para coleta automatizada de dados. * Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4\). * Automatizar navegação em páginas dinâmicas utilizando Selenium. * Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados. * Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ. * Integrar dados coletados com sistemas internos desenvolvidos em Django. * Armazenar e manipular dados utilizando PostgreSQL. * Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta. * Identificar e lidar com bloqueios básicos de scraping, como rate limiting, headers incorretos ou problemas de sessão. **Requisitos** * Conhecimento em Python. * Noções de HTTP, HTML e APIs REST. * Conhecimento básico em web scraping. * Conhecimento em Git e fluxo de versionamento. * Noções de trabalho em equipe utilizando metodologias ágeis. * Noções de SQL. **Diferenciais** * Experiência com Scrapy, Selenium ou Requests. * Experiência com BeautifulSoup (bs4\). * Experiência com Django. * Conhecimento básico em proxy rotation. * Experiência com solucionadores de CAPTCHA (ex: 2Captcha, AntiCaptcha). * Conhecimento em programação assíncrona (async/await). * Noções de Redis, RabbitMQ ou Celery. * Experiência com Docker. * Conhecimento em metodologias ágeis (Scrum ou Kanban). * Experiência com pipelines de CI/CD. * Experiência com GitHub Actions.