Java爬虫反向开发工程师

工作职责： -设计、开发并维护具备高性能与高可用性的网络爬虫系统，支撑大规模数据抓取需求； -研究目标网站页面结构，制定科学的采集策略，有效应对反爬技术（如验证码识别、IP限制、动态内容加载等）； -对获取的数据进行清洗、去重及结构化转换，保障数据的准确性与完整性； -持续监控爬虫运行情况，快速响应异常问题，持续优化系统性能与稳定性； -承担京东/天猫/拼多多/抖音/快手等平台数据的BI可视化任务，满足业务端的数据分析需求； -与数据团队高效协同，推动数据产品的敏捷迭代与落地； 职责要求： -精通Python编程，掌握主流爬虫工具（如Scrapy、Requests、Selenium、Puppeteer、BeautifulSoup等）； -了解常见反爬手段及其解决方案（如账号或IP封锁、验证码拦截、JS加密逻辑、数据混淆等）； -熟悉HTTP/HTTPS协议及TCP/IP网络原理，掌握基础Web技术（HTML/CSS/JavaScript、AJAX、WebSocket等）； -具备数据库操作经验（MySQL、Doris等），能够完成数据存储与处理任务； -拥有较强的学习能力、问题分析与解决能力，工作积极主动； -具备良好的沟通意识和团队协作素养；