python开发工程师

岗位职责： 1. 负责网络数据采集的规划，按周期抓取指定网站信息； 2. 制定爬虫技术方案与反屏蔽机制，优化页面抓取效率与准确性； 3. 参与数据底层架构工作，聚焦垂直行业数据获取，完成多源平台的信息采集与分析； 4. 实现数据抽取、清洗、结构化处理、存储及统计分析等功能需求； 5. 维护并优化爬虫系统的稳定运行，提升系统可维护性与扩展能力。 任职要求： 1. 熟悉Linux环境下开发及命令行操作，具备独立部署与配置爬虫服务的能力； 2. 精通Python语言，掌握Scrapy与Flask框架，具备快速排查和解决异常的能力； 3. 熟练使用Redis、Mysql、Postgresql等数据库，了解其配置与调优方法； 4. 掌握正则表达式、XPath、CSS选择器，具备基本的JavaScript逆向分析技能； 5. 熟悉TCP/IP、HTTP等网络协议，有应对反爬机制实战经验者优先； 6. 具备独立处理开发中各类技术问题的能力，能提出有效改进策略以增强系统健壮性； 7. 本科及以上学历，具备大规模数据采集项目经验者优先考虑。