模型评估工程师

1. 模型评估：制定并执行大模型的评估策略，涵盖性能、准确率、鲁棒性等方面的测试。采用多种评估指标（如F1分数、AUC、BLEU等）对模型进行系统性评测，确保其在多样化应用场景中的稳定性与可靠性。撰写完整的评估文档，记录测试流程与结果，输出可落地的优化建议。 2. 性能调优：基于评估数据定位模型性能瓶颈，提出切实可行的改进措施。协同算法团队优化模型训练与推理流程，提升模型精度与响应效率。改进资源调度机制，保障大规模数据处理场景下的高效运行与成本可控。 3. 业务协同：与产品及业务团队密切配合，深入理解实际需求，确保评估方案贴合业务目标。为业务方在模型应用过程中遇到的技术问题提供支持，输出针对性解决方案，保障模型落地效果。 4. 技术探索：持续关注大模型领域的前沿技术与评估方法，分析新兴技术的适用性与落地价值，为公司技术升级与创新方向提供专业建议。 5. 团队协作：积极与团队成员交流技术经验，推动知识共享，助力团队整体能力提升。协助同事攻克技术难点，营造协同共进的技术氛围。 ● 教育背景：计算机科学、数学、统计学、人工智能等相关专业本科及以上学历。 ● 工作经验：具备3年以上测试、AI模型评估或相关领域工作经验，有金融行业经历者优先。 ● 技术能力：熟练掌握Python、C++等编程语言，熟悉主流机器学习与深度学习框架（如TensorFlow、PyTorch等）。 ○ 具备扎实的模型评估实践经验，熟知各类评估指标与方法体系。 ○ 理解大语言模型（如GPT、BERT等）的基本原理与应用模式，拥有实际评估操作经验。 ● 专业知识：了解常见LLM、VLM评估方案，对业界主流Benchmark和评测数据集有一定认知。掌握机器学习理论，特别是深度学习、自然语言处理等核心技术。熟悉数据清洗与分析流程，能够通过数据驱动方式协助算法团队提升模型表现。 ● 解决问题能力：具备出色的分析与解决复杂问题的能力，善于提炼核心问题并制定应对策略。 ● 团队合作：具备良好的协作意识，能与跨职能团队顺畅沟通，共同推进项目进展。 ● 创新意识：对新技术保持敏锐洞察，勇于尝试新方法，具备创新思维与实践动力。