数据开发工程师

数据开发/分析工程师、爬虫工程师 职位描述 1.负责数据采集系统的架构设计与爬虫功能的开发实现； 2.以系统化架构视角，保障数据采集体系的可扩展性与运行稳定性； 3.制定数据爬虫技术发展路径，并推动各阶段方案落地执行； 4.支持业务产品所需数据的获取与整合，确保数据高效可用； 5.具备工程建筑领域或互联网行业经验，承担业务数据支撑工作，开展业务数据分析，具备将数据能力产品化的意识，通过产品化手段提升数据应用效能； 6.基于用户行为数据分析，挖掘C端用户使用特征与偏好，构建客户全生命周期管理模型，输出营销优化建议，助力转化率与活跃度提升； 7.主导多维数据集市的规划与建设，完成业务报表需求的分析、设计与实施，为运营及管理层提供数据决策依据； 8.开展数据模型的设计与调优，在深入理解业务场景与用户行为的基础上，将实际问题转化为数据建模任务，并通过模型手段解决核心业务问题； 9.具备用户个性化推荐系统相关实践经验者优先考虑。 任职要求 1.精通Java或Python语言，具备扎实的数据采集开发背景和编程功底； 2.掌握IO、多线程、集合等基础编程框架，熟悉TCP/IP、HTTP、HTTPS等网络通信协议，了解JavaScript、CSS前端技术； 3.熟悉主流分布式系统架构原理，掌握分布式协调、缓存、消息队列等核心技术，熟练使用Kafka、Spark、Redis等组件；能合理运用分布式技术解决实际问题；熟悉Linux操作系统及常用数据库（如MongoDB、MySQL）； 4.熟悉各类反爬策略及应对方案； 5.擅长网络爬虫开发与数据分析，有舆情监测系统或大规模数据抓取项目经验者优先； 6.具备独立完成数据调研、分析及开发任务的能力； 7.加分项：探索机器学习算法在不同业务中的落地应用，具备原创性算法设计与实现能力。