高级爬虫工程师

一、工作职责 1、电商业务数据采集 针对跨境平台/独立站/第三方数据源/竞品站点，采集：价格、促销、库存、排名、评论/星级、变体、类目、上新、广告位、关键词趋势等。 2、分布式爬虫平台与稳定性建设 负责采集系统的任务编排、调度、队列、去重、限流、容错、熔断、重试、断点续跑、监控告警与SLA。 建立采集链路可观测性：成功率/延迟/成本/失败原因分布，推动持续优化。 3、反爬/风控对抗与浏览器自动化 解决动态渲染、签名/加密参数、指纹与行为风控、验证码、登录态与账号池管理等问题。 结合Playwright/Selenium等实现“可控、可回放”的浏览器级采集/自动化策略，提高稳定性与可维护性。 4、RPA流程自动化 使用RPA平台（如影刀/UiPath/AutomationAnywhere/PowerAutomate）或自研自动化，落地电商高频流程 5、数据治理与交付 建立字段口径与数据标准化，输出可消费的数据服务（API/表/消息流），为选品、运营、供应链、广告团队提供稳定数据底座。 二、任职要求 1、本科及以上学历；5年以上相关经验（爬虫/后端/自动化方向）；具备平台化与线上稳定性经验。 2、精通Python/Go/Java至少一门（Python优先），熟悉并发、网络、工程化实践。 3、熟练使用Scrapy/Requests/aiohttp/Playwright/Selenium等，能根据站点特性选型并持续维护。 4、有实际RPA项目经验：流程设计、异常处理、稳定性、审计与权限控制；能将“人工操作”抽象成可复用流程。 5、熟悉消息队列/任务调度（Kafka/RabbitMQ/RedisStream/Airflow等），理解幂等、去重、限流、重试与容错。 6、熟悉MySQL/PostgreSQL/Redis/ES/ClickHouse等至少两类存储与性能优化；具备数据清洗与建模能力。