爬虫工程师

【工作职责】 1. 负责构建高可用的分布式爬虫架构，同时搭建配套的数据分析与实时监控体系。 2. 深入研究各类网站的安全防护机制及反爬策略，总结并沉淀核心技术方案。 3. 应对复杂技术难题，突破协议层反爬、风控拦截、人机验证等关键技术瓶颈。 4. 使用Golang/Python/Rust等编程语言进行系统开发，持续提升全栈技术能力。 5. 参与正向风控系统的联合研发，攻关网页自动化交互、解锁工具等核心技术。 6. 诚邀技术高手加入，专注领域涵盖数据采集、工具研发、安全攻防、AI Agent与自动化流程；业务发展稳健，现金流良好，具备充足的增长空间和创新机会 【任职要求】 1. 熟悉Python语言及计算机网络原理，熟练使用多线程编程，掌握主流爬虫框架的实际应用。 2. 掌握JavaScript逆向相关技术，包括虚拟机机制、代码混淆处理、抽象语法树（AST）解析，并具备实际项目经验。 3. 具备网络链路分析能力，能处理代理流量，熟悉TLS/HTTP2协议识别、IP特征分析等场景。 4. 熟悉常见浏览器指纹对抗手段，了解其生成逻辑与绕过方式。 5. 具备基础机器学习知识，能够应用于图像验证码识别、简单的人机行为判别等任务。 6. 熟练使用wireshark、tcpdump等抓包工具，理解主流网络协议底层机制。 7. 熟悉Golang语言，有基于该语言的项目实践经验，具备良好的工程化开发习惯。 8. 掌握Redis、MySQL、MongoDB等数据库技术，具备SQL或NoSQL的实际操作经验。 9. 了解分布式消息队列、中间件等基础架构组件的设计与应用场景。 10. 熟悉devops理念，了解微服务架构及相关技术组件，如Docker、Kubernetes、Jenkins等工具 【你将收获】 1. 加入一个富有激情、目标明确、倡导创新的技术团队 2. 积累全球视野下的技术实战经验，接触前沿技术发展方向 3. 享有清晰的职业成长通道和充分的晋升发展机会