阿里数据团队提出基准健康指数，为158个评测基准打分

伴随模型能力提升，模型评测也面临着新的挑战。 部分评测基准已接近饱和，模型分数越来越难拉开差距，跑分的参考价值也随之下降。哪些基准仍然有效，测出的分数还能说明什么？ 针对这一现状，来自阿里数据的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案，相关论文已被 NeurIPS 2026 Evaluations and Datasets Track（Oral）接收，是本届该赛道的 15 篇 Oral 论文之一。 团队基于 117 个模型的技术报告，整理并筛选出 158 个评测基准，提出基准健康指数（Benchmark Health Index，BHI），从能力区分度、抗饱和度和影响力三个维度，给评模型的「尺子」做体检，分析它们是否仍能提供有参考价值的模型比较结果。 论文标题：Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs 作者：Longyuan Zhu、Hairan Hua、Linlin Miao、Wei Wang、Bing Zhao 机构：阿里数据、晓天衡宇（https://skyeval.com） 录用：NeurIPS 2026 Evaluations and Datasets Track（Oral） 评模型的尺子还好用吗？ 在一些基准上，头部模型的得分逐渐接近，出现「分数压缩」的问题，细小的分差可能是统计噪声的影响，难以有效区分模型实力。 长期固定的评测题目可能被纳入预训练数据，提前学习过的高分未必还能反映模型真实能力，而随着模型跑分逐渐接近上限，评测基准的挑战空间也在收缩。一个基准今天还能区分模型，明天或许就趋于饱和，显现出「天花板效应」。 这些问题使评测基准的更新和选择格外重要。 换一套更难的题未必有效。如果所有模型都答不出来，分数同样拉不开。 引用量也并不是最可靠的选择依据。有的评测基准频繁被引，但不代表已经被领先模型广泛采用。这就是「热度与采用情况脱钩」的情况。 怎样筛选仍能有效地区分模型能力、且具有持续评测价值的高质量基准？首先要看清问题出在哪里。 给评测基准做一次「体检」 在论文所分析的 158 个评测基准中，BHI 的系统诊断主要围绕三个问题展开。 BHI 研究数据的构建与分布。左侧为基准筛选与对齐流程，右上为基准在 13 个任务领域中的分布，右下为各厂商纳入分析的模型数量。 评测基准能不能拉开模型差距？ 「能力区分度」衡量分数能否清晰呈现模型差异，避免把过小分差或少数极端成绩当成区分能力。 BHI 先以最高分与最低分之差的 2% 为阈值，统计分差超过阈值的模型对占比；再取第 10 到第 90 百分位的分数跨度，观察多数模型之间的距离。占比越高、跨度越大，说明模型表现越能拉开差距。 两项结果经归一化和加权，合成能力区分度得分。得分越高，说明该基准在所收集的记录中越能区分模型；但超过阈值，不等于差异已通过统计显著性检验。 评测基准还剩多少提升空间？ 「抗饱和度」不只看模型得分是否接近满分，还要结合参与模型的能力。平均分低，可能是基准难，也可能是参与模型较弱，不能直接说明挑战空间充足。 它先按模型能力对成绩加权，估计当前剩余的提升空间；同时，拟合分数随时间变化的趋势，向后推算 30 天，判断基准是否正在接近饱和。 两部分按 8:2 合成，让当前状态占更大权重，减少短期预测不确定性的影响。 抗饱和度得分越高，说明在所收集的评测记录中，该基准仍保留较大的挑战空间，但不代表能准确预测它何时饱和。 评测基准在实际评测中的采用覆盖如何？ 「影响力」指标不只看评测基准的知名度，引用量、下载量和仓库星标等数据并不直接参与这一指标。 它统计报告中提供了有效成绩的模型，并根据模型能力对采用情况加权计算，前沿模型采纳的评测基准权重更高，以此来反映评测基准在高能力模型评测中的使用情况。 同时，该指标不依赖基准或模型的发布时间，也不采用启发式时间衰减，而是根据实际采用情况计算，减少历史热度积累对影响力得分的干扰。 因此，评测基准的影响力得分越高，说明在纳入统计的评测实践中，能力较强的模型仍在较多地使用这一基准。 BHI 的合成方式。CRITIC 方法根据数据确定三个维度的权重：能力区分度占 32.63%，抗饱和度占 35.74%，影响力占 31.63%。 但模型能力又由谁来判断？ 如果用一个基准上的成绩估计模型强弱，再用它评价这个基准，就绕回了原点。 为此，研究团队采用 LOBO（留一基准法）：检查某个基准时，先排除它，用模型在其他基准上的表现估计能力。 最后，C

来源只提供摘要，完整内容请打开原文。