初级数据采集工程师

工作内容： 1.运用Python及Scrapy等技术采集各类招聘平台信息，解决动态加载、反爬虫机制与验证码识别等技术难题； 2.持续维护爬虫系统运行稳定，迭代数据清洗逻辑，保障数据的精准与实时更新； 3.构建分布式爬虫体系，提高任务并发处理能力； 4.研发代理IP池、模拟用户操作行为等应对反爬机制的技术方案； 任职要求： 熟练掌握Python，具备Scrapy、Requests、BeautifulSoup等相关库的实际开发经验； 理解HTTP协议原理，熟悉正则表达式及JSON/XML数据解析方法； 熟悉MySQL/MongoDB数据库操作，能够编写高性能SQL语句； 具备应对反爬策略的实践经验，如IP代理切换、浏览器渲染环境模拟等；