高级爬虫开发讲师

python爬虫讲师 【岗位职责】 1. 构建高效爬虫架构，结合分布式部署与多线程机制，提升数据采集速度与系统稳定性。 2. 基于Scrapy等主流框架，配合Selenium、Dp等自动化工具，完成网页端及APP端的数据抓取任务。 3. 面对复杂反爬策略，综合运用爬虫对抗技术、JS逆向分析、APP逆向解析等方式，保障数据持续稳定获取。 4. 利用TCP/IP、HTTP通信协议，结合XPath、BeautifulSoup4、正则表达式等手段，实现抓取数据的精准提取与清洗。 5. 承担深度爬取、动态页面采集、浏览器行为模拟、移动端APP数据提取等工作，适配多样业务场景需求。 6. 与团队保持高效协作，及时定位并解决开发过程中的技术难题，保障项目按时交付。 【任职要求】 1. 掌握分布式架构与多线程编程原理，具备利用相关技术优化爬虫性能的实际能力。 2. 深入理解Scrapy框架底层机制，熟练使用Selenium、Dp等自动化工具，能独立完成多类型数据采集开发。 3. 熟悉TCP/IP、HTTP协议工作机制，精通XPath、BeautifulSoup4、正则表达式等数据解析技术。 4. 具备扎实的反爬应对能力，熟练掌握JS逆向技术，有APP逆向经验者优先考虑。 5. 精通深度采集、动态页面抓取、浏览器模拟、APP数据提取等核心技术，可应对高难度数据获取挑战。 薪资8000-12000，具体根据个人技术能力定