爬虫开发工程师

外派小满科技项目 岗位职责 ● 按照业务需求实现网页数据采集程序开发 ● 对获取的数据进行标记处理与清洗工作 ● 承担爬虫系统的部署实施及日常维护任务 任职要求 1. 技术能力 ● 精通 Python/PHP，具备良好的编码功底和数据结构理解能力 ● 掌握 HTTP/HTTPS 协议与 TCP/IP 网络架构，能运用抓包工具（如 Charles、Fiddler）解析网络请求 ● 熟悉 PostgreSQL/Mysql 数据库开发，具备 SQL 调优与索引规划能力 ● 熟练使用 Scrapy、Selenium、Playwright 等工具，了解分布式爬虫架构（如 Scrapy-Redis） 2. 经验要求 ● 具备 1 年以上爬虫开发经历，有海外社交媒体类数据采集项目经验者优先 3. 其他要求 ● 全日制本科及以上学历 ● 通过 CET-4 或同等及以上英语水平测试 加分项 ● 掌握前端相关技术（HTML/CSS/JavaScript），可完成动态渲染页面的逆向分析 ● 熟知主流反爬机制（如 JS 混淆、验证码识别、IP 频率限制），具有实际应对经验