数据开发工程师

数据开发/分析工程师、爬虫工程师 职位描述 1. 负责构建数据采集系统，设计并实现网络爬虫架构及相关采集功能； 2. 以系统化架构视角，保障数据抓取体系的可扩展性与运行稳定性； 3. 制定爬虫技术发展路径，并推动各阶段方案落地执行； 4. 支持业务产品所需数据的获取与整合，完成数据沉淀工作； 5. 具备工程建筑领域或互联网行业经验，承担业务数据支撑任务，开展业务数据分析，具备将数据能力产品化的意识，借助产品手段提升数据使用效能； 6. 基于用户行为数据分析，挖掘C端产品使用特征，构建客户全周期管理模型，输出营销优化建议，助力客户转化与活跃度提升； 7. 主导多维数据集市的架构规划与实施，完成业务报表的需求梳理、方案设计及上线支持，为运营和管理层提供数据决策依据； 8. 开展数据建模工作，深入理解业务场景与用户需求，将实际问题转化为数据建模任务，并通过算法手段有效解决； 9. 具备用户偏好推荐系统的实践经验。 任职要求： 1. 精通Java或Python语言，拥有扎实的数据采集项目开发背景； 2. 掌握IO操作、多线程编程、集合框架，了解TCP/IP、HTTP、HTTPS等网络通信协议，熟悉JavaScript、CSS前端技术； 3. 了解主流分布式系统原理与设计模式，掌握缓存、消息队列、分布式协调机制，熟练使用Kafka、Spark、Redis等组件；能合理运用分布式技术解决实际问题；熟悉Linux环境及常用数据库（如MongoDB、MySQL）操作； 4. 了解各类反爬策略及其应对方案； 5. 在爬虫开发与数据分析方面有突出能力，有舆情监测系统或大规模数据抓取项目经验者优先； 6. 可独立完成数据调研、清洗、分析及开发全流程工作。 7. 加分项：探索机器学习方法在不同业务中的落地应用，具备自主设计创新算法的能力。