大数据开发工程师（数据采集）

岗位职责:

1、负责互联网数据的获取、提取、清洗、去重、归类与筛选，建立高质量的数据资源体系；

2、结合业务场景，设计并落地高效的数据抓取方案，保障数据的时效性与准确性；

3、配合业务团队完成数据的迭代维护，提供数据支撑及相关技术解决方案；

4、持续优化采集脚本性能，提高采集效率，应对各类反爬机制带来的挑战；

5、参与数据采集工具的研发及标准化数据集的加工与输出。

任职要求:

1、全日制本科及以上学历，计算机、电子信息、软件工程等相关专业背景；

2、精通Python语言，具备良好的编码能力，掌握正则表达式、XPATH、requests等常用技术；

3、了解Web前端相关技术，熟悉HTML、HTTP、JavaScript、JSON等，能处理动态加载页面；

4、熟练使用常见数据库操作，如mongodb、mysql等；

5、熟悉Linux开发环境，掌握基础shell指令，具备在Linux系统部署应用的能力；

6、有实际爬虫项目经历者优先，了解主流爬虫框架（如Scrapy、自动化工具等）；