AI大模型测评工程师

AI大模型测试经验，3年以上测试经历，具备NLP、搜索、推荐、知识库问答等方向测试背景 本科计算机相关专业 岗位职责 1. 承担公司AI大模型类产品的质量保障工作，涵盖模型能力评估、效果验证、稳定性检验、性能测试及线上质量监控。 2. 制定并实施大模型测试方案，覆盖文本生成、问答交互、逻辑推理、内容摘要、对话理解、多轮上下文处理、工具调用等核心功能场景。 3. 构建大模型评测体系，确立测试指标与评价标准，包括准确率、召回率、鲁棒性、一致性、安全性、幻觉发生率等关键维度。 4. 参与Prompt的设计、调优与验证，协同算法与研发团队定位模型缺陷并推进问题解决。 5. 主导自动化测试框架建设，提升测试执行效率，支持回归测试和持续集成流程。 6. 联动产品、算法、开发团队，推动问题跟踪与闭环管理，助力模型质量迭代优化。 7. 面向实际业务需求，构建测试数据集、制定标注规范与评测样本，增强测试覆盖面与真实场景还原度。 8. 跟进业界大模型测试方法论、评测标准及工具链演进，持续改进测试策略与流程。 任职要求 1. 本科及以上学历，计算机、软件工程、人工智能、数学等相关专业优先； 2. 拥有3年以上测试工作经验，具备AI、机器学习或大模型测试实践者优先考虑。 3. 掌握大模型基本原理及典型应用模式，了解LLM、RAG、Agent、Prompt Engineering等相关概念。 4. 熟悉软件测试理论与方法，具备扎实的测试用例设计、缺陷分析和质量风险判断能力。 5. 具备一定数据分析能力，能运用Python、SQL等工具完成测试数据处理与结果分析。 6. 有自动化测试实践经验，熟悉接口测试、性能测试、回归测试流程者更佳。 7. 具备良好的沟通协作能力，能够高效对接算法、研发、产品多方团队。 8. 工作认真负责，思维严谨，对测试结果和产品质量具有高度敏感性。 加分项 1. 具备大模型评测平台、自动化评测工具或测试系统搭建经验。 2. 熟悉主流开源评测框架或工具，如OpenAI Evals、LangChain eval、RAGAS等。 3. 具有NLP、搜索、推荐、知识库问答等领域的测试实战经验。 4. 了解模型安全、内容合规、对抗测试、红队演练等相关方向。 5. 参与过标注体系设计、数据集构建及数据质量管理项目。 6. 能独立编写简易脚本或工具，辅助提升测试工作效率。 薪资1万内，西安-大模型测试- 双休，全额社保公积金。2轮电话面试 西安市长安区协同创新港雨果A/B座