爬虫开发工程师

岗位职责： 1. 负责构建高效稳定的网络爬虫架构，根据目标网站的页面结构设计采集方案，应对各类反爬策略，保障数据抓取的精准与及时。 2. 参与爬虫系统的持续优化与日常维护，解决性能瓶颈、重复数据及异常中断等问题，提升系统运行稳定性与抓取速度。 3. 根据实际业务场景，对采集数据进行清洗、解析和格式化处理，为后续的数据分析或系统应用提供可靠支持。 4. 具备逆向加密分析、算法还原、jsvmp补环境等相关技术的基础操作能力 任职要求： 1. 本科及以上学历，计算机、软件工程或相关专业背景，具备2年以上爬虫开发实践经验。 2. 精通Python语言，熟练使用Scrapy、BeautifulSoup、Requests等主流爬虫工具与框架。 3. 深入理解常见反爬机制（如验证码识别、IP限制、JS混淆等），具有丰富的实战应对经验。 4. 拥有大模型部署经验，熟悉模型上线流程、性能调优及问题排查方法。 5. 具备MCP（模型控制平台）开发或使用经验者优先，掌握模型监控、任务调度等核心功能。 6. 熟练运用MySQL、MongoDB等数据库，具备较强的数据处理与分析能力。 7. 具备优秀的逻辑思维与问题解决能力，良好的沟通协作意识和团队精神