高级python开发工程师

岗位职责: 1.参与爬虫任务调度平台的开发与维护工作; 2.设计合理的任务调度策略,优化任务分发流程,提升系统吞吐量和执行效率; 3.研究并应对调度过程中的问题,如任务失败重试、分布式去重适合并、资源管理等; 4.在开发过程中能独立分析问题并提出解决方案。 任职要求: 1.熟恶Python编程语言,具备良好的编码习惯; 2.理解任务调度系统基本原理,有实际项目开发经验 3.熟悉常见的任务调度框架,如Celery、APScheduler等; 4.掌握HTTP协议,了解爬虫基本原理; 5.熟悉Redis的基本操作,了解其在任务调度中的应用场景; 6.了解MySQL、Kafka等数据库/中间件的基本使用; 7.了解Docker的基本使用,能够进行容器化部署; 8.有分布式系统开发经验或爬虫平台运维经验优先。