模型评估

岗位职责： 1. 模型评测：制定并执行大模型的评估策略，涵盖性能、准确率、鲁棒性等方面的测试。采用多种评估标准（如F1分数、AUC、BLEU等）对模型进行系统性测评，确保其在多样化应用场景中的稳定性与可靠性。撰写完整的评测文档，记录测试流程与结果，输出优化建议。 2. 性能优化：基于评测数据定位模型短板，识别性能瓶颈，提出可行性改进方案。协同算法团队优化模型训练与推理流程，提升预测精度与响应效率。优化计算资源调度，保障大规模数据处理下的运行效能与成本可控。 3. 业务对接：与产品及业务团队密切协作，深入理解业务目标，确保评测体系贴合实际需求。为业务落地过程中的技术问题提供支持，输出专业解决方案，助力模型高效应用。 4. 技术调研：持续关注大模型领域前沿技术与评估方法，分析新兴技术的落地价值，为公司技术升级和创新方向提供参考建议。 5. 团队合作：积极与团队成员交流技术经验，推动知识共享，助力团队整体能力提升。协助同事攻克技术难点，促进项目顺利推进与个人共同发展。 任职要求： ● 教育背景：计算机科学、数学、统计学、人工智能等相关专业本科及以上学历。 ● 工作经验：具备3年以上测试、AI模型评估或相关领域工作经验，有金融行业经历者优先考虑。 ● 技术能力：熟练掌握Python、C++等编程语言，熟悉主流机器学习与深度学习框架（如TensorFlow、PyTorch等）。 ○ 具备扎实的模型评测实践背景，精通常见评估指标与测评方法。 ○ 熟悉大语言模型（如GPT、BERT等）的基本原理与典型应用场景，拥有实际评测经验。 ● 专业知识：了解主流LLM、VLM评测体系，对业内常用Benchmark及测试集有一定认知。掌握机器学习理论，特别是深度学习与自然语言处理相关技术。熟悉数据清洗与分析流程，能够通过数据驱动方式支持算法团队完成模型调优。 ● 解决问题能力：具备较强的逻辑思维与独立分析能力，善于从复杂场景中提炼核心问题。 ● 团队合作：具备良好的协作意识，能与跨职能团队顺畅沟通，共同保障项目落地成效。 ● 创新意识：对前沿技术保持敏锐洞察，勇于探索新技术，具备创新思维与实践动力。