高级爬虫工程师

有个人相关作品或个人技术站的优先考虑 有航司数据抓取经验优先考虑 岗位职责 1.针对不同平台（H5、APP、小程序）制定相应的爬虫策略，数据抓取，解决反爬机制，破解反爬策略 2.负责Android端应用的逆向分析，提取关键接口和数据 3.研究并破解各类验证码机制，包括但不限于图形验证码、滑动验证码、点选验证码等 4.利用AutoJS等工具实现自动化操作和数据采集 5.优化爬虫程序性能，解决高并发、IP封锁等问题 6.与数据分析师、产品经理协作，根据业务需求调整爬虫策略，负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作 任职要求 1.本科及以上学历，计算机相关专业，3年以上Python爬虫开发经验，有机票行业经验优先 2.精通Python编程语言，熟练使用Scrapy、Requests、BeautifulSoup等爬虫框架和库 3.具有丰富的H5、APP、小程序数据抓取经验，熟悉各类网络协议 4.具备Android逆向工程经验，熟悉Smali、IDA等逆向工具 5.有丰富的验证码破解经验，能够应对各种复杂验证码机制 6.熟练使用selenium,AutoJS进行自动化脚本编写和应用 7.熟悉常见的反爬机制及应对策略，如IP代理、UA伪装、Cookie池等 8.具备良好的问题分析和解决能力，有较强的学习能力和抗压能力