1. 当我们在谈论“评测”时到底在谈论什么最近和几个做模型的朋友聊天发现一个挺有意思的现象大家聊起自家模型或者某个新发布的模型第一句话往往不是“它解决了什么问题”而是“它在MMLU上拿了多少分”或者“它在某个榜单上排第几”。这让我想起一个老笑话一个人丢了钥匙只在路灯下寻找不是因为钥匙掉在那里而是因为那里有光。我们现在的模型评测某种程度上也陷入了这种“路灯效应”——我们过度依赖那些被广泛讨论、易于量化的评测集却可能忽略了模型真实能力的复杂光谱。“量化的尺”这个标题精准地戳中了当前大模型评测领域的核心矛盾。我们迫切地需要一把尺子来衡量这些庞然大物的能力于是MMLU、GSM8K、HumanEval等评测集应运而生成为了行业里的“标准砝码”。紧接着为了应对海量的评测需求我们又引入了“LLM-as-Judge”大模型当裁判这种自动化评估方法。但问题也随之而来评测数据会不会被“污染”模型会不会针对特定题目“刷分”不同模型之间如何公平比较于是“污染检测”和“Elo”评分机制也被引入。这一整套组合拳构成了我们今天要聊的“评测体系六秤”。这六把“秤”每一把都试图从不同角度去称量模型的“智力体重”但它们各自的精度、量程和适用范围都不同。盲目地只看其中一把秤的读数或者错误地使用某把秤都可能让我们对模型产生严重的误判。这篇文章我就想结合自己参与模型评测和在实际业务中应用模型的经验把这六把“秤”的原理、使用场景、潜在陷阱以及它们之间的勾稽关系掰开揉碎了讲清楚。这不是一篇学术综述而是一份来自一线的“避坑指南”和“使用手册”。2. MMLU那把最出名的“标尺”以及它的“视力表”局限MMLUMassive Multitask Language Understanding可能是目前知名度最高、引用最广的大模型通用知识评测基准。它的设计理念很直观要测试一个模型的“通识”能力最好的办法就是让它去做一套涵盖57个学科、从初中到专业级别的选择题。这就像一份超大规模的综合性试卷能快速给模型的“知识广度”和“推理精度”打个分。2.1 MMLU的运作机制与价值所在MMLU的每个题目都是四选一或五选一的选择题。模型需要根据题目描述Prompt生成或选择出正确的选项。最终的得分就是正确率。它的价值在于覆盖面广57个任务子集涵盖了STEM科学、技术、工程、数学、人文、社科等几乎所有主流学科领域能有效探测模型的知识边界。任务定义清晰选择题的形式避免了开放式生成任务中答案多样性和评分主观性的问题使结果易于量化比较。建立了初步的基准线在模型发展的早期MMLU为业界提供了一个相对统一的、可比较的“起跑线”让大家知道“好”模型大概应该在什么分数段。在实际操作中为了在MMLU上取得好成绩团队通常需要精心设计Prompt例如加入“让我们一步步思考”这样的链式推理指令并采用投票、自洽性检查等技巧来提升答案的稳定性。一个在MMLU上能达到80%以上正确率的模型通常意味着它拥有了相当扎实的“书本知识”和一定的多步推理能力。2.2 MMLU的“阿喀琉斯之踵”它到底漏掉了什么然而把MMLU分数等同于模型能力是一个巨大的认知陷阱。这把“尺”至少有以下几个明显的“视力盲区”盲区一静态知识与动态能力的脱节。MMLU的题目和知识是静态的、封闭的。它测试的是模型对既有知识的记忆、理解和应用但完全无法评估模型在开放世界中的信息获取、工具使用、复杂规划、创造性解决问题等关键能力。一个模型可能MMLU分数很高但让它根据最新新闻写一份分析报告或者使用一个陌生的API完成一个多步骤任务它可能表现得一塌糊涂。这好比一个学生能熟背历史课本但无法对当前国际事件发表有见地的评论。盲区二“刷题”与“应试”的风险。由于MMLU的题目是公开的它存在严重的“数据污染”风险。如果模型的训练数据中包含了MMLU的题目甚至答案那么它的高分可能仅仅反映了其“记忆”和“刷题”能力而非真正的“理解”和“推理”能力。这就是为什么“污染检测”变得至关重要。盲区三评价维度单一。MMLU只关心“对”与“错”不关心模型是如何得出答案的。它的推理过程是否清晰、符合逻辑在不确定时它是否能够诚实地表达“我不知道”而非胡编乱造这些关于模型可靠性、安全性和交互体验的重要维度在MMLU的分数中完全无法体现。实操心得在内部评估模型时我们绝不会只看MMLU分数。我们会把它作为一个“入门筛选”指标如果一个开源模型的MMLU分数远低于主流水平我们可能不会优先考虑。但对于分数在同一梯队比如都在80%左右的模型MMLU的区分度就非常有限了。此时我们必须转向其他更贴近实际业务场景的评估方式。3. LLM-as-Judge自动化评估的“效率神器”与“主观性幽灵”当评测从几千道选择题扩展到成千上万道开放式生成任务如写邮件、编代码、创作故事时人工评估的成本和一致性就成了无法承受之重。“LLM-as-Judge”应运而生用一个更强的、被假定为“裁判”的大模型如GPT-4去评估其他模型输出的质量。3.1 如何搭建一个LLM-as-Judge系统一个典型的LLM-as-Judge流程如下定义评估任务和标准明确要评估什么如代码的正确性、故事的有趣程度、回答的有用性并将标准转化为清晰、可操作的描述。设计裁判Prompt这是最关键的一步。你需要为裁判模型编写一个详细的指令告诉它角色你现在是一个专业的评估员。任务请比较或评估以下回答。评估标准具体从哪几个维度打分如相关性、准确性、完整性、流畅度每个维度的定义是什么。输出格式必须要求裁判模型以严格的JSON等结构化格式输出例如{“score”: 8, “reason”: “...”}以便于程序自动化解析。进行批量评估将待评估的模型输出Answer和问题Question有时还包括参考标准Reference一起送入裁判模型收集评分和评语。结果聚合与分析对批量评估结果进行统计分析计算平均分、胜率等。这种方法效率极高可以快速对大量输出进行初步筛选和排序在模型研发的迭代过程中尤其有用。3.2 裁判模型的“偏见”与“不确定性”然而让一个模型去评判另一个模型本质上是将评估的主观性从人类转移到了AI身上问题并没有消失只是换了一种形式偏见一风格偏好。裁判模型可能对某种写作风格、表达格式或长度有隐含的偏好。例如它可能倾向于给那些使用更多“首先、其次、然后”等连接词、结构看似更严谨的回答打高分而忽略了答案本身的创新性或简洁性。偏见二自我强化。如果裁判模型和被测模型在训练数据、架构或偏好上相似可能会出现“惺惺相惜”的情况导致评分虚高。反之则可能受到不公正的压低。偏见三对模糊标准的把握不一。对于“创造性”、“有趣”这类主观标准裁判模型的判断可能非常不稳定同一问题在不同时间询问可能得到差异较大的分数。不确定性裁判模型本身也会“犯错”或“不确定”。它可能无法理解某些专业领域的问题或者被精心设计的对抗性Prompt所误导。避坑指南我们在使用LLM-as-Judge时一定会做以下几件事人工校准随机抽取至少100-200对评估结果由真人进行二次审核计算裁判模型与人工评估的一致性如Kappa系数。如果一致性太低说明裁判Prompt或裁判模型本身有问题。多裁判投票对于关键评估不会只依赖一个裁判模型如只用GPT-4。我们会同时使用2-3个不同的顶级模型如GPT-4、Claude 3、自家最好的模型作为裁判取它们的平均分或多数票以平滑单个模型的偏见。设计对抗性测试故意构造一些“陷阱”问题比如包含错误前提的问题看裁判模型能否识别出被测模型是在“一本正经地胡说八道”还是会被表面上的流畅性所迷惑。4. 污染检测在“开卷考试”中鉴别“作弊”行为“污染”指的是评测数据如MMLU的题目在模型训练时就被见过导致评测分数不能真实反映模型的泛化能力而是反映了其记忆能力。污染检测就是试图鉴别这种“作弊”行为。4.1 污染是如何发生的污染并非总是有意为之。在大规模网络数据爬取和训练中像MMLU这样的公开数据集其题目和答案很可能已经以各种形式如论坛讨论、技术博客、代码仓库散落在互联网的各个角落从而被无意中纳入训练语料。模型在训练时“偷看”了考题评测时自然考得更好。4.2 常见的污染检测方法目前没有完美的检测方法但有一些实践性较强的思路方法一基于字符串匹配的精确检测。这是最直接的方法。将评测集中的每一个问题有时包括选项和答案作为“关键词”在模型的训练数据中进行全文搜索。如果找到完全匹配或高度相似的片段就可以认为该题目可能被污染了。这种方法简单粗暴但只能检测到“原文照搬”式的污染对于释义、转述或从多源信息中综合出答案的情况无效。方法二使用模型本身进行“记忆度”探测。设计一些测试来探查模型对特定信息的“信心”程度是否异常得高。例如精确召回测试要求模型补全一个题目的片段。如果模型能几乎一字不差地补全它从未在输入中见过的题目那就有重大污染嫌疑。对比测试给模型一个它在训练中几乎不可能见过的、但类型相似的题目作为控制组和疑似被污染的题目一起测试。如果模型对疑似题目的表现显著、异常地优于控制组题目则污染的可能性增大。方法三构建“干净”的保留集。最可靠但也最费力的方法。在收集和清洗训练数据时就主动将主流评测集如MMLU的数据排除在外。同时自己构建一个全新的、绝对保证未在训练中出现的评测集作为最终的“试金石”。许多严肃的研究机构和公司都会维护这样一个内部保留集。经验之谈在实际工作中对于重要的评测尤其是发布公开成绩时声明“已进行污染检测并使用了干净的数据分割”正在成为一项基本要求。我们的策略是“组合拳”首先用工具对训练数据进行一遍粗略的字符串过滤然后在发布前用内部保留集做最终验证最后在论文或报告中明确说明评测条件。对于无法完全避免污染嫌疑的评测分数我们会谨慎对待更看重模型在全新、动态任务上的表现。5. Elo评分系统为模型举办“世界杯”排名当我们有很多模型需要比较时简单的正确率排名可能不够精细尤其是当它们彼此之间没有直接两两比较过时。Elo评分系统这个源于国际象棋的古老算法被巧妙地引入到大模型对决中。5.1 Elo是如何工作的Elo的核心思想不是计算绝对能力值而是通过模型之间的“对战”结果动态计算相对等级分。基本流程如下设定初始分所有模型从一个相同的初始分开始例如1500分。组织“对战”从评测集中抽样一批问题让两个模型分别生成回答。判定胜负通过LLM-as-Judge或者人工判断哪个模型的回答更好从而决定这场“对战”的胜、负或平。更新分数根据比赛结果按照Elo公式更新两个模型的分数。公式的核心逻辑是如果高分模型赢了低分模型这是预期之内所以高分模型加分少低分模型扣分也少。如果低分模型爆冷赢了高分模型这是意外之喜所以低分模型会获得大量加分高分模型则被扣较多分。循环迭代让模型们进行大量成千上万轮的随机配对对战直到它们的Elo分数趋于稳定。最终我们会得到一个所有模型的排名榜分数越高代表在“两两对决”的综合表现中越强。像Chatbot Arena这样的平台就是基于大量用户匿名投票相当于对战结果来为模型计算Elo排名的。5.2 Elo系统的优势与陷阱优势相对性更公平它反映的是模型在直接对决中的胜率比单一数据集上的绝对分数更能体现模型的“综合战斗力”。动态与敏感分数会随着每一次“对战”结果而微调能及时反映模型更新或新模型加入带来的格局变化。直观的排名一个数字排名非常易于理解和传播。陷阱高度依赖裁判质量Elo分数完全由“对战”的胜负判定决定。如果LLM-as-Judge裁判有偏见或者人类投票被某些模型的特有风格如更冗长、更自信的语气所影响那么Elo排名就会失真。对局分布的影响如果某些模型之间对局数特别多而另一些之间对局数少可能会影响分数的均衡性。通常需要保证足够的随机配对和总对局数。“石头剪刀布”困境模型能力可能存在相生相克。模型A可能在创意写作上总赢B但在代码生成上总输给B。如果对局的问题类型分布不均匀Elo分数可能无法全面反映这种多维度的能力差异。使用建议Elo排名是一个很好的“快照”和“风向标”尤其适合给终端用户一个直观的参考。但对于研发团队而言我们不能只盯着Elo分数。我们会深入分析Elo对战的具体记录看我们的模型在哪些类型的问题上输了输给了谁原因是什么。是事实错误、推理跳跃还是指令遵循不好这些细粒度的分析比排名本身更有价值。6. 超越单一分数构建多维度的能力评估体系通过前面的分析我们可以看到MMLU、LLM-as-Judge、Elo这些“秤”各自都有其局限。一个真正健壮的评测体系绝不能只依赖其中任何一把。我们需要的是一个多维度的“能力评估体系”就像一个人的体检报告包含血常规、心电图、CT等多个项目才能全面反映健康状况。6.1 如何设计一个多维度的评估矩阵我们的内部评估体系大致会从以下几个核心维度展开每个维度下再细分具体的评测任务和方法能力维度评测目标可能的评测方法/数据集举例关键观察点知识与信息处理模型对事实性知识的掌握、理解与推理能力。MMLU, C-Eval, 专业领域QA数据集知识密集型问答。准确率、对复杂问题的多步推理能力、对不确定性的处理是否胡编乱造。推理与问题解决模型进行逻辑推理、数学计算、规划决策的能力。GSM8K数学应用题, MATH, 逻辑推理数据集如LogiQA代码生成HumanEval。解题步骤的清晰度与正确性、对边界条件的考虑、解决新颖问题的能力。指令遵循与安全性模型是否准确理解并执行复杂指令是否能够拒绝有害或不适当的请求。多轮复杂指令任务安全性基准如“越狱”攻击测试偏见检测数据集。任务完成度、对指令中细微差别的把握、安全拒绝的合理性与坚定性。创造力与内容生成模型在写作、创意构思、风格模仿等方面的能力。创意写作Prompt故事续写诗歌生成不同风格的文本生成。内容的原创性、连贯性、趣味性、风格符合度。交互与工具使用模型在对话中的连贯性、上下文理解能力以及调用外部工具/API完成任务的能力。多轮对话数据集工具学习基准如API-Bank需要联网搜索或计算器辅助的任务。对话历史记忆的准确性、主动澄清模糊点的能力、工具调用的正确性与顺序合理性。鲁棒性与可靠性模型在面对对抗性输入、模糊表述、压力测试时的表现稳定性。包含错别字、语法混乱问题的输入对抗性Prompt测试长文本理解压力测试。输出的稳定性、对噪声的容忍度、是否容易陷入循环或崩溃。6.2 从评估到改进形成闭环建立多维评估体系的目的不是为了打分而是为了指导改进。我们的流程通常是基准测试在新模型版本或新模型上线前跑一遍完整的多维评估矩阵得到一个全面的“能力剖面图”。差距分析对比“能力剖面图”与业务目标或SOTA模型的差距。例如发现模型在“指令遵循”维度上得分较低特别是在多步骤任务中容易遗漏步骤。定向优化针对薄弱环节进行数据补充、训练策略调整或Prompt工程优化。比如针对指令遵循可以构造更多“步骤分解-执行”类型的高质量训练数据。迭代验证优化后再次运行相关维度的评估验证改进是否有效。这个循环使得模型开发不再是黑盒而是有了清晰的数据驱动的优化方向。7. 实战设计一个兼顾效率与深度的内部评测方案理论讲了很多最后分享一个我们正在使用的、兼顾了评测深度与执行效率的内部方案框架。这个方案不适合一次性评测上百个模型但非常适合对少数几个重点候选模型进行深度评估。7.1 第一步明确评测目标与范围首先我们必须回答这次评测是为了什么场景A选型—— 从几个开源模型中选一个接入我们的产品。那么评测重点必须与产品核心功能强相关。如果是客服场景就重点测指令遵循、多轮对话和知识准确性如果是代码辅助工具就重点测代码生成、调试和解释。场景B版本迭代—— 评估新训练的模型相比旧版本的提升。那么评测需要覆盖所有关键维度并特别关注上一版本的已知缺陷是否被修复。场景C学术研究—— 需要全面、公正地评估模型的综合能力。那么评测的广度和基准的权威性就非常重要。7.2 第二步设计三层评测结构我们采用一个“金字塔”式的三层结构塔基自动化基准测试快速扫描占比40%精力内容运行一批公开的、标准化的基准测试如MMLU知识、GSM8K数学、HumanEval代码。使用自动化脚本快速得到一组基础分数。目的排除明显不合格的模型确保候选模型达到行业基准线。同时这些分数是后续与外部对比的“通用货币”。工具自己编写的评测脚本或使用开源的评测框架如OpenCompass、LM-Evaluation-Harness。塔身关键场景任务评测深度评估占比50%精力内容这是最核心的部分。我们从真实业务场景中抽象出50-100个具有代表性的“任务单元”。例如任务1“用户说‘帮我订明天下午北京飞上海的机票’请根据对话历史可能包含用户偏好生成一个结构化的查询指令。”任务2“给定一段有逻辑漏洞的代码请解释漏洞所在并给出修复后的版本。”任务3“根据以下三个关键词生成一个吸引人的社交媒体帖子标题。”方法对每个任务让所有候选模型和基线模型如GPT-4同时生成回答。评估采用“LLM-as-Judge多裁判关键样本人工复核”的方式。多裁判我们使用GPT-4和Claude 3双裁判要求它们从“任务完成度”、“准确性/合理性”、“表达清晰度”等多个维度进行1-10分打分并给出简要理由。人工复核对于裁判打分差异大如分差3分的任务或者总分排名关键区间的任务进行100%人工复核。人工复核者会仔细阅读题目和所有模型回答做出最终裁定并记录下模型犯的典型错误类型。输出不仅得到每个模型在每个任务上的分数更重要的是得到一份详细的“错误分析报告”知道模型具体在什么地方、因为什么原因犯错。塔尖真实用户模拟测试终极检验占比10%精力内容邀请公司内部非研发部门的同事如产品、运营、市场让他们在不知情的情况下使用集成了不同候选模型的演示界面完成一些他们实际工作中会遇到的任务。目的获取最真实的用户体验反馈。自动化评测和专家评测可能忽略的“感觉”问题如语气是否自然、反应速度是否可接受、交互中是否有令人困惑的地方会在这里暴露无遗。输出用户满意度问卷CSAT得分和开放式反馈意见。7.3 第三步综合分析与决策将三层评测的结果汇总数据整合将自动化基准分数、场景任务得分按业务重要性加权、用户满意度分数按一定权重如3:5:2合并成一个综合得分。深度分析会召开评审会不只看综合分数排名。重点讨论“错误分析报告”和用户反馈。一个模型可能总分略低但它的错误都是容易通过后期Prompt工程修复的而另一个模型总分高但犯了一些根本性的、难以修正的逻辑错误。后者风险可能更大。做出决策结合分数、错误模式、可改进性、成本API成本或部署资源等因素做出最终的模型选择或迭代决策。这套方案的实施成本不低但它最大程度地避免了被单一“尺子”误导让模型评估从“看分数”变成了“看能力剖面和风险点”决策的可靠性大大提升。模型评测没有“银弹”它永远是一个在效率、成本、深度和广度之间寻求平衡的艺术。理解每一把“尺子”的刻度知道它们何时该用、何时不该用或许比盲目追求某个榜单的第一名更为重要。