高级数据采集工程师

岗位职责： 负责主流媒体平台（如抖音、快手、小红书等）的数据抓取与解析，搭建高效稳定的爬虫体系，保障数据的实时获取与完整存储。 深入分析各平台动态反爬策略，设计应对验证码、请求限流、IP封锁等问题的技术方案，提高爬虫执行成功率。 构建智能调度机制，集成代理池管理、动态UA切换、Cookies模拟、Session保持等功能，有效应对各类反爬措施。 持续优化爬虫效率，提升采集速度、并发处理能力及数据存储结构，支撑大规模分布式架构运行。 研发针对动态加载内容和JavaScript渲染页面的解析方法，实现浏览器指纹模拟及前端加密逻辑破解。 与数据分析和产品团队密切配合，准确理解业务需求，提供可靠数据支撑，并协同合规部门确保采集行为符合《网络安全法》《个人信息保护法》等相关法规要求。 任职要求： 本科及以上学历，计算机、软件工程、数据科学等相关专业背景，具备3年以上爬虫系统开发经验。 精通 Python 语言，熟练使用 Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与工具库。 掌握异步编程、多进程处理及分布式架构设计，具有大规模数据采集与持久化存储实战经验。 熟悉各类反爬机制，具备代理池建设、IP轮换、验证码处理、动态页面解析、JS渲染内容抓取等核心技术能力。 拥有丰富的网页访问限制突破经验，包括浏览器指纹伪装、Cookies 控制、会话维持以及前端加密逆向分析。 了解常见数据存储技术，如 MongoDB、Redis、Elasticsearch、PostgreSQL 等，能根据场景合理选型应用。 具备出色的逻辑思维与问题解决能力，拥有良好的沟通协作意识和团队合作精神。 加分项： 在实际项目中成功应对过高强度反爬机制并稳定获取数据的经历。 熟悉云平台（如 AWS、GCP、阿里云）上的爬虫部署流程与自动化运维实践。