大模型数据开发工程师

岗位福利： 工作时间7.5小时；8:30-9:00弹性打卡，9点打卡则18:30后下班；周末双休（基本无加班需求） 福利待遇： 固定底薪+年终奖 （食堂采用自助餐形式包中餐、社保公积金按薪资全额缴纳、公积金比例各6%；年终奖2-3个月、停车免费、通讯补贴150-200元，享受其他事业单位相关福利） 岗位职责： 1、规划并落地高可用的数据采集架构，从多元化的公开与私有来源（如网页、代码库、学术论文、书籍等）中合规获取大规模多模态数据； 2、设计并持续优化自动化数据处理流程，结合规则引擎、启发式策略及机器学习技术（如嵌入、聚类、分类模型）实现数据去重、毒性内容过滤、质量分级与信息归类； 3、构建并维护支持PB级数据存储、计算与分析的高性能分布式平台及流水线系统（基于Spark、Flink等框架），保障系统的稳定性与扩展性； 4、建立完善的数据质量评估机制，融合自动化监控与人工审核手段，推动数据集质量的持续优化，并协同算法团队分析数据对模型表现的影响； 5、与科研人员、算法工程师高效协作，深度理解模型训练需求，探索创新性的数据处理方案与技术路径，助力模型能力突破。 任职要求： 1、统招本科及以上学历，计算机相关专业，具备3年以上开发经验，了解合法合规的数据采集方式，掌握数据清洗、过滤与提质的相关算法和流程，有大数据或大模型项目经验者优先； 2、熟练使用java、scala或python等编程语言，具有spark/hadoop平台开发背景，熟悉大规模分布式数据处理体系架构； 3、精通网络协议原理，掌握正则表达式应用，了解数据挖掘与搜索引擎核心技术，具备爬虫开发及网页内容解析的实际经验； 4、保持对前沿技术的敏锐度，同时具备良好的沟通协调能力、自主学习能力和问题分析解决能力。