资深爬虫开发工程师

岗位名称：搜索引擎资深爬虫工程师 工作职责： -参与分布式采集系统的开发，负责系统在存储、传输、调度及监控模块的设计与实现 -设计并研发爬虫系统中的链接过滤机制与链接调度策略 -负责通用化文档解析模块的架构设计与开发 职位要求： -本科及以上学历，计算机相关专业，具备5年以上数据采集领域工作经验 -具备大规模分布式抓取系统的架构设计及策略研发经验者优先 -熟悉主流分布式存储技术，能熟练运用分布式计算框架进行数据处理 -编码基础扎实，至少精通Python/Go/Java中的一种编程语言 -掌握Android/iOS平台安全对抗技术，熟悉静态分析、动态调试、协议抓包、HOOK等技术原理及相关工具应用，如IDA、Frida、Unidbg -熟悉Linux操作系统，熟练使用Shell脚本完成日常任务