python开发-爬虫

岗位职责：

1、负责开发和优化分布式爬虫系统，提升数据采集效率和质量以及系统的稳定运行；

2、参与数据清洗和预处理流程，保证数据的准确性和可用性；

3、探索和应用新技术，持续改进爬虫技术和数据处理流程；

4、负责数据平台后端需求的设计与开发。

任职要求：

1、精通Python，熟练掌握requests,scrapy,playwright等常用爬虫技术，具备良好的编码习惯和思维逻辑；

2、熟悉分布式系统和网络编程，有分布式爬虫框架开发经验；

3、掌握常用数据库，如redis,mysq|,mongodb等;

4、深入理解HTTP协议，熟练掌握HTML、CSS、JavaScript、AjaxJJS等前端技术；

加分项：

1、熟练使用各种AI辅助编程工具

2、熟练掌握go语言，有一定的大规模数据处理和数据平台开发管理经验；

3、了解并乐于学习大模型微调/推理/评测等方向；

4、工作条理清楚，善于学习，具有良好的沟通和团队协作能力，对工作安排上有一定的责任心和owner意识。