职位详情
微信扫码分享
举报
3-5年本科爬虫redis数据开发
岗位职责：
1. 负责完成公司商业查询数据、电商平台数据的采集任务；
2. 负责构建分布式爬虫系统，维护分布式爬虫服务，设计并实现任务调度模块；
3. 负责解决各类反爬机制带来的技术挑战；
4. 参与公司底层数据相关平台及工具的研发与优化。
任职要求：
1. 本科及以上学历，计算机或相关专业，具备3年以上爬虫领域实际工作经验；
2. 熟练掌握Python语言，具有至少3年基于Python的开发实践；
3. 具备大规模数据抓取、解析、清洗和存储的项目经历；
4. 熟悉Linux操作系统环境；
5. 熟悉Mysql、redis等数据库技术，有处理海量数据存储场景经验者优先；
6. 掌握逆向技术（含app、so文件逆向）、极验、瑞数等防护绕过方法者优先；具备安卓签名校验对抗经验；
7. 有多个网站数据采集系统开发或通用采集工具研发经验者优先；
8. 具备机器学习、自然语言处理方向研发背景者优先
职位总结围绕职位描述，归纳工作内容、招聘要求
张女士IP：北京
凭安信用
·人事经理
长沙
