Python数据爬取

岗位职责

1、负责公司软件功能开发

1、电商平台店铺数据挖掘提取，自动化操作

（1）负责设计分布式对各电商平台店铺的数据挖掘，分析，聚合；

（2）应对反爬机制（IP封锁、验证码、动态加载），使用代理IP、DrissionPage，Selenium模拟浏览器等技术突破限制；

（3）优化爬虫性能，包括并行化爬取、数据去重、异步IO等技术提升效率

（4）数据清洗与解析与，数据库存储设计与优化，精通MySQL/MongoDB等数据库；掌握java

2、参与自动化系统开发（如商品自动化，订单自动化，售后跟踪自动化，运营自动化，报表抓取统计），结合自动化操作业务需求提升效率；

3、维护软件运行，监控任务调度与报警反馈，确保系统稳定性

4、具备数据挖掘经验，自动化应用，善用热门AI构建用户行为分析或个性化推荐系统优先考虑

任职要求

1、技术能力

（1）精通Python开发，熟悉Pyside6框架及DrissionPage、Requests、Selenium等常用自动化框架；

（2）掌握HTML/CSS/JS解析技术（XPath、正则表达式），熟悉分析页面结构，API监控读取，异步加载处理，高效分析页面内容；

（3）熟悉数据库优化（MySQL、MongoDB）及分布式存储原理；

（4）了解HTTP协议、抓包工具（Fiddler、Charles）及逆向工程（JS解密）；

2、经验要求

（1）3年以上Python开发经验，2年以上数据爬取实战经验

3、软性要求

（1）计算机相关专业本科及以上学历

（2）良好的编码规范，能独立解决问题并优化系统性能

（3）适应高强度工作，具备团队协作与跨部门沟通能力