Java爬虫反向开发工程师

工作职责： -负责高性能、高可用网络爬虫系统的设计、开发与维护，支撑大规模数据采集需求； -研究目标网站页面结构，制定高效抓取方案，应对各类反爬策略（如验证码识别、IP限制、动态内容加载等）； -对获取的数据进行清洗、去重和结构化转换，保障数据的准确性与完整性； -持续监控爬虫运行情况，及时排查异常问题，提升系统性能与稳定性； -承担京东、天猫、拼多多、抖音、快手等平台数据的BI可视化任务，满足业务端的数据分析需求； -与数据团队高效协同，推动数据产品的持续优化与快速上线； 职责要求： -精通Python编程，掌握主流爬虫工具（如Scrapy、Requests、Selenium、Puppeteer、BeautifulSoup等）； -了解常见反爬技术及其解决方案（如账号或IP封锁、验证码干扰、JS加密、数据混淆等）； -熟悉HTTP/HTTPS协议及TCP/IP网络原理，具备基本Web技术认知（HTML/CSS/JavaScript、AJAX、WebSocket等）； -熟练使用数据库（MySQL、Doris等），具备数据存储与处理经验； -具备较强的学习能力、问题分析与解决能力，工作积极主动； -具有良好的沟通意识和团队协作素养；