M8 · 如何评估 AI 模型的能力与局限？ - Model Evaluation

所属知识库：Agent 全栈技术地图
所属领域：01 · AI
所属章节：02 · AI 模型是如何构建和工作的？ - Model Architecture
文档类型：模型能力评估与工程方法研究
版本：v1.0
更新日期：2026 年 10 月 27 日
核心问题：什么是模型评估？如何判断模型是否具备某种能力？Benchmark、Metric 和 Evaluation Dataset 有什么区别？如何评估知识、推理、代码、指令遵循、事实性和多模态能力？如何识别幻觉、数据污染与评估偏差？LLM-as-a-Judge 是否可靠？如何建立能够支持模型选择、训练改进和实际部署的评估体系？

专题导读

前面 M1—M7 已经研究了模型的结构、训练和推理机制。M8 将回答一个直接影响模型选择和实际应用的问题：我们如何判断一个 AI 模型究竟有多强？它在哪些任务上表现可靠，又在哪些条件下容易失败？

本篇将建立完整的模型评估框架，涵盖 Benchmark、评估数据集、评价指标、知识与推理能力、指令遵循、事实性、幻觉、鲁棒性、安全性、多模态能力、模型裁判，以及模型上线前后的评估流程。

一、研究概述

在研究 AI 模型时，我们经常会遇到一些评价：

• 某个模型的推理能力很强。
• 某个模型的代码能力优于其他模型。
• 某个模型更加擅长中文。
• 某个模型的幻觉更少。
• 某个模型在某项 Benchmark 上取得了很高的分数。
• 某个模型适合用于 Agent。

这些评价看似直观，但背后涉及一个重要问题：

我们依据什么判断模型具备某种能力？

例如，一个模型在数学测试中取得 90% 的正确率，是否意味着它能够可靠地解决现实中的数学问题？

一个模型在代码测试中表现优秀，是否意味着它能够独立开发完整软件？

一个模型在公开排行榜上排名第一，是否意味着它最适合某个企业的实际业务？

答案都不能仅凭单一分数确定。

模型评估（Model Evaluation）需要建立任务定义、测试数据、评价指标、实验条件和结果解释之间的完整关系。

1.1 为什么模型评估如此重要？

模型训练的目标是改善能力，但训练过程中的 Loss 下降，并不必然意味着实际任务表现改善。

模型推理能够生成输出，但生成结果不一定正确、可靠或符合要求。

因此，需要通过独立评估判断：

1. 模型能够完成哪些任务？
2. 在什么条件下能够完成？
3. 完成任务的质量如何？
4. 哪些错误最容易出现？
5. 模型表现是否稳定？
6. 评估结果能否推广到真实使用场景？
7. 使用模型需要付出多少成本？

模型评估不仅用于比较不同模型，也用于指导训练、部署和持续改进。

1.2 本篇的研究目标

本篇将建立六个方面的认识。

第一，评估基础。 明确 Evaluation、Benchmark、Dataset、Metric 和 Evaluation Protocol 的区别。

第二，能力评估。 研究知识、语言、推理、代码、指令遵循和多模态能力的评价方法。

第三，可靠性评估。 研究事实性、幻觉、鲁棒性、一致性和不确定性。

第四，安全性评估。 研究模型的风险行为、对抗测试和安全边界。

第五，评估方法。 比较自动指标、人类评估、模型裁判和程序化验证。

第六，工程实践。 建立从评估目标设计到测试执行、误差分析和持续监控的完整流程。

1.3 本篇的研究边界

本篇主要研究 AI 模型本身的能力和行为。

Agent 的任务规划、工具执行、多 Agent 协作和系统级可靠性，虽然也需要评估，但属于更高层级的问题。

因此，需要区分：

• Model Evaluation：模型能力与输出评估；
• Agent Evaluation：Agent 的任务执行能力评估；
• System Evaluation：完整系统的性能、可靠性和治理评估。

三者之间存在联系，但不能相互替代。

二、什么是模型评估？

2.1 模型评估的定义

模型评估（Model Evaluation）是指在明确的任务、数据和实验条件下，使用定量或定性方法测量模型表现，并据此分析其能力、局限与适用范围的过程。

可以将一次评估表示为：

$$E=f(M,D,T,P,G)$$

其中：

• $M$：被评估模型；
• $D$：评估数据；
• $T$：任务定义；
• $P$：评估协议；
• $G$：评分方法；
• $E$：评估结果。

这一表达式是概念性表示，并非通用的数学评价公式。

它强调一个重要事实：

模型分数不是模型脱离条件后天然具有的属性，而是特定评估设置下的测量结果。

2.2 一个简单示例

假设我们需要评估模型的数学能力。

可以设计以下测试：

任务：
解决小学数学应用题。
评估数据：
1000 道未参与训练的数学题。
模型输入：
每道题的题目。
模型输出：
最终答案。
评价指标：
答案正确率。
评估协议：
统一提示词、输出限制和评分规则。

假设模型正确回答 850 道题：

$$\mathrm{Accuracy}=\frac{850}{1000}=85\mathrm{\%}$$

我们可以得出：

在该测试集和评估协议下，模型的答案正确率为 85%。

但不能直接得出：

模型能够正确解决 85% 的所有数学问题。

因为测试集只覆盖了特定范围的题目。

2.3 评估的三个核心问题

模型评估需要分别回答：

能力问题：Can it do it?

模型是否能够完成某类任务？

质量问题：How well does it do it?

模型完成任务的正确性、完整性和稳定性如何？

适用性问题：Is it suitable?

模型是否适合特定应用场景，包括成本、延迟、安全性和可靠性要求？

这三个问题构成了模型评估的基本逻辑。

三、Evaluation、Benchmark、Dataset 和 Metric 有什么区别？

这些术语经常同时出现，但它们并不相同。

3.1 Evaluation

Evaluation 是完整的评估活动。

它包括：

• 明确评估目标；
• 选择测试任务；
• 准备测试数据；
• 配置模型；
• 执行测试；
• 计算指标；
• 分析结果。

3.2 Benchmark

Benchmark（基准测试）通常是一套标准化的任务、数据和评价方法，用于测量或比较模型表现。

例如：

• MMLU；
• GSM8K；
• HumanEval；
• GPQA；
• SWE-bench。

Benchmark 通常具有相对明确的测试任务和评分规则。

但不同 Benchmark 的标准化程度和可靠性并不完全相同。

3.3 Evaluation Dataset

Evaluation Dataset（评估数据集）是用于测试模型的样本集合。

例如：

问题 1 → 标准答案
问题 2 → 标准答案
问题 3 → 标准答案
……

评估数据也可以包含：

• 参考文本；
• 偏好标签；
• 图片；
• 音频；
• 代码测试；
• 任务约束；
• 评分标准。

3.4 Metric

Metric（评价指标）是用于量化模型表现的测量方式。

例如：

• Accuracy；
• Precision；
• Recall；
• F1 Score；
• Exact Match；
• Pass@k；
• Win Rate；
• Latency；
• Cost。

3.5 Evaluation Protocol

Evaluation Protocol（评估协议）规定如何执行测试。

例如：

• 使用什么提示词；
• 是否允许 Few-shot Examples；
• 是否允许工具调用；
• 使用什么 Temperature；
• 最多生成多少 Token；
• 是否允许多次尝试；
• 如何解析答案；
• 如何处理无效输出。

3.6 五者之间的关系

Evaluation
完整评估活动
      │
      ├── Task
      │    评估什么
      │
      ├── Dataset
      │    使用什么数据
      │
      ├── Protocol
      │    如何执行
      │
      ├── Metric
      │    如何评分
      │
      └── Analysis
           如何解释结果

Benchmark 可以将其中多个部分组织为相对标准化的测试体系。

3.7 概念比较

概念	核心问题	示例
Evaluation	如何评价模型？	一次完整测试
Benchmark	使用什么标准化测试？	MMLU
Dataset	用哪些样本测试？	一组考试题
Metric	如何计算表现？	Accuracy
Protocol	按什么规则测试？	Zero-shot、固定参数

四、模型能力应该如何分类？

模型能力不是单一维度。

一个模型可能擅长语言表达，但不擅长数学推理。

也可能擅长代码生成，却不擅长复杂指令遵循。

因此，需要建立多维度能力评估体系。

4.1 基础能力

基础能力主要包括：

• 语言理解；
• 文本生成；
• 知识运用；
• 信息提取；
• 分类；
• 总结；
• 翻译。

4.2 复杂认知任务表现

主要包括：

• 数学推理；
• 逻辑推理；
• 多步骤问题求解；
• 代码生成；
• 代码理解；
• 复杂约束处理。

4.3 指令与交互能力

主要包括：

• 指令遵循；
• 格式遵循；
• 多轮对话；
• 上下文利用；
• 工具调用格式；
• 任务约束遵循。

4.4 多模态能力

主要包括：

• 图像理解；
• 文档理解；
• 音频理解；
• 视频理解；
• 跨模态推理；
• 多模态生成。

4.5 可靠性

主要包括：

• 事实准确性；
• 输出稳定性；
• 不确定性表达；
• 鲁棒性；
• 错误恢复；
• 对分布变化的适应能力。

4.6 安全性

主要包括：

• 有害请求处理；
• 隐私保护；
• 敏感信息处理；
• 对抗输入抵抗能力；
• 安全约束遵循。

4.7 工程性能

主要包括：

• 推理延迟；
• Token 吞吐量；
• 并发能力；
• 显存需求；
• 单次请求成本。

4.8 综合能力结构

AI Model Evaluation
        │
        ├── 基础能力
        │
        ├── 复杂任务能力
        │
        ├── 指令与交互能力
        │
        ├── 多模态能力
        │
        ├── 可靠性
        │
        ├── 安全性
        │
        └── 工程性能

这种分类并非唯一标准，但可以帮助建立较完整的评估视角。

五、什么是 Benchmark？

5.1 Benchmark 的作用

Benchmark 通过相对统一的任务和评分规则，使不同模型能够在可比较的条件下接受测试。

例如，两个模型都回答同一组问题。

如果测试协议一致，就可以比较它们的表现。

5.2 Benchmark 的主要类型

类型	评估内容	代表性 Benchmark
综合知识	多学科知识与问题回答	MMLU
高难知识	专业领域问题	GPQA
数学	数学应用题与问题求解	GSM8K、MATH
代码	程序生成与测试	HumanEval
软件工程	真实代码仓库问题	SWE-bench
指令遵循	明确约束遵循	IFEval
事实性	事实回答与误解	TruthfulQA
多模态	图像与文本任务	MMMU
长上下文	长文本信息利用	LongBench

这些 Benchmark 的任务定义、数据构成和评价方式不同。

不能将它们的原始分数直接相加。

5.3 Benchmark 为什么有价值？

Benchmark 可以用于：

• 比较不同模型；
• 跟踪模型版本变化；
• 发现能力短板；
• 研究训练方法效果；
• 为模型选择提供依据。

5.4 Benchmark 的局限

公开 Benchmark 可能存在：

• 测试题目泄漏；
• 训练数据污染；
• 题目分布狭窄；
• 评价指标不完整；
• 提示词敏感；
• 排行榜过拟合。

因此，Benchmark 是重要证据，但不是模型能力的完整证明。

六、如何评估知识能力？

6.1 知识能力的含义

知识能力评估通常关注模型能否正确回答涉及事实、概念和专业知识的问题。

例如：

DNA 的主要功能是什么？

什么是机会成本？

Transformer 中的 Self-Attention 有什么作用？

6.2 MMLU

MMLU（Massive Multitask Language Understanding）是具有代表性的综合知识与问题回答基准。[1]

它覆盖多个学科领域，通常采用多项选择题形式。

6.3 MMLU 测量什么？

MMLU 主要测量模型在特定学科选择题上的表现。

它可以反映一定范围内的知识运用和问题求解能力。

但高分不意味着模型能够在所有现实场景中可靠使用这些知识。

6.4 GPQA

GPQA（Graduate-Level Google-Proof Q&A）包含具有较高专业难度的问题。[2]

其设计目标之一是降低通过简单信息检索直接获得答案的可能性。

但 GPQA 仍然是特定形式的问答测试。

6.5 知识评估的关键问题

知识评估需要考虑：

• 问题是否存在唯一正确答案；
• 是否涉及时间敏感事实；
• 是否允许检索；
• 是否包含专业术语；
• 是否存在歧义；
• 是否具有训练数据污染风险。

6.6 知识能力与知识更新

模型参数中的知识通常来自训练过程。

对于不断变化的信息，单纯评估参数化知识并不能反映模型结合外部检索后的实际表现。

因此，需要区分：

Closed-book Evaluation：不允许访问外部资料。

Open-book Evaluation：允许使用检索或其他外部信息。

两者测量的能力不同。

七、如何评估数学与推理能力？

7.1 数学评估

数学任务通常具有相对明确的答案。

因此，可以使用自动评分方法。

例如：

$$\mathrm{Accuracy}=\frac{\text{正确答案数量}}{\text{测试题总数}}$$

7.2 GSM8K

GSM8K 是一个数学应用题数据集，主要用于测试多步骤数学问题求解能力。[3]

7.3 MATH

MATH 包含不同难度的数学问题，常用于研究模型的数学问题求解表现。[4]

7.4 最终答案与推理过程

假设模型回答：

问题：
计算某个数学表达式。
模型过程：
步骤一……
步骤二……
步骤三……
最终答案：
42

评估时可以分别考虑：

• 最终答案是否正确；
• 中间步骤是否合理；
• 是否存在计算错误；
• 是否遵循题目约束。

7.5 Outcome Evaluation

结果评价主要检查最终答案。

对于数学、代码测试等任务，结果评价通常具有较高可操作性。

7.6 Process Evaluation

过程评价尝试检查中间步骤。

但过程评价往往需要额外标注、规则或评价模型。

7.7 Pass@k

对于允许模型生成多个候选答案的任务，可以使用 Pass@k。

它通常表示在 $k$ 个候选中至少有一个成功的概率或估计值。

需要注意，Pass@k 的具体计算依赖采样与估计协议。

不能将它简单理解为单次回答正确率。

7.8 推理能力评估的局限

模型可能：

• 记忆题目答案；
• 利用题目模式；
• 生成看似合理但错误的过程；
• 对数字变化敏感；
• 在题目改写后表现下降。

因此，需要使用不同难度、不同形式和未见过的问题进行测试。

八、如何评估代码能力？

8.1 代码能力包含什么？

代码能力不只是生成语法正确的程序。

它还包括：

• 理解需求；
• 生成代码；
• 修改代码；
• 发现错误；
• 调试；
• 理解已有项目；
• 通过测试；
• 满足性能和安全要求。

8.2 HumanEval

HumanEval 是具有代表性的代码生成评估数据集。[5]

它通过编程问题和测试用例评价生成代码的功能正确性。

8.3 代码评估为什么适合程序化验证？

对于部分代码任务，可以直接执行测试。

例如：

输入：
编写一个函数。
模型输出：
Python 函数。
验证：
运行单元测试。
结果：
通过 / 未通过。

这种方式比单纯评价代码是否“看起来合理”更直接。

8.4 SWE-bench

SWE-bench 主要研究模型处理真实软件仓库问题的能力。[6]

例如：

• 理解 Issue；
• 定位代码；
• 修改文件；
• 生成补丁；
• 通过相关测试。

8.5 代码评估的局限

通过测试并不意味着代码完全正确。

原因包括：

• 测试覆盖率不足；
• 隐藏边界情况；
• 性能问题；
• 安全漏洞；
• 可维护性不足。

8.6 代码能力与软件开发能力

模型能够生成函数，不等于它能够独立完成完整软件项目。

完整软件开发还涉及：

• 需求分析；
• 系统设计；
• 项目管理；
• 依赖管理；
• 测试；
• 部署；
• 运维。

这些任务可能需要 Agent 和外部工具系统。

九、如何评估指令遵循能力？

9.1 Instruction Following

指令遵循是指模型根据用户要求执行任务，并满足明确约束的能力。

例如：

用中文回答，不超过 100 字，分成三个要点。

模型需要同时满足：

• 中文；
• 字数限制；
• 三个要点；
• 内容正确。

9.2 为什么指令遵循需要独立评估？

一个模型可能具备较强知识能力，但不能稳定遵循复杂格式要求。

例如：

用户要求：
只输出 JSON。
模型输出：
好的，以下是 JSON：
{...}

虽然模型生成了 JSON，但额外说明可能违反输出约束。

9.3 IFEval

IFEval 是用于评价可验证指令遵循能力的基准之一。[7]

它关注模型能否满足明确、可检查的指令约束。

9.4 指令遵循的评价维度

可以包括：

• 格式正确性；
• 长度约束；
• 语言约束；
• 关键词约束；
• 内容完整性；
• 多条件遵循；
• 禁止内容约束。

9.5 复杂指令的评估

例如：

用中文总结这篇文章，分为四个部分，每部分不超过 80 字，不要使用表格，最后提出两个问题。

这类任务需要同时检查多个条件。

可以设计：

$$\mathrm{Score}=\frac{\text{满足的约束数量}}{\text{总约束数量}}$$

但这种简单比例没有考虑不同约束的重要性。

实际评估可能需要加权评分或设置关键约束的一票否决条件。

十、如何评估事实性与幻觉？

10.1 什么是事实性？

事实性（Factuality）关注模型输出是否符合可验证的事实。

例如：

某位科学家在哪一年获得某项奖项？

模型回答是否正确，需要通过可靠资料验证。

10.2 什么是幻觉？

在生成式 AI 研究中，幻觉（Hallucination）通常指模型生成缺乏事实依据、与给定来源不一致或不符合任务事实要求的内容。

但不同研究对幻觉的定义和分类可能不同。

10.3 幻觉的主要类型

事实性幻觉

模型生成与现实事实不符的内容。

来源不一致

模型回答与提供的文档内容不一致。

虚构引用

模型生成不存在或无法核实的论文、链接或文献。

无依据推断

模型在缺乏证据的情况下给出确定性结论。

10.4 TruthfulQA

TruthfulQA 是用于研究语言模型是否会生成常见错误观念或不真实回答的基准。[8]

它并不覆盖所有事实性问题。

10.5 事实性评估方法

可以使用：

• 标准答案比较；
• 可靠资料核验；
• 信息检索；
• 人类专家审查；
• 自动事实核验；
• 模型辅助评价。

10.6 Groundedness

Groundedness（依据一致性）关注回答是否得到给定来源支持。

例如：

提供文档：
某项目于 2025 年启动。
模型回答：
该项目于 2024 年启动。

即使模型回答语言流畅，也与来源不一致。

10.7 Faithfulness

Faithfulness 在不同研究中具有不同含义。

在文档问答和摘要场景中，它通常关注生成内容是否忠实于输入来源。

因此，需要在具体评估方案中明确其定义。

10.8 幻觉率如何计算？

可以设计：

$$\mathrm{HallucinationRate}=\frac{\text{存在幻觉的回答数量}}{\text{被评估回答总数}}$$

但这一指标依赖明确的幻觉判定标准。

如果一段回答包含十个事实陈述，其中只有一个错误，是否算作整个回答发生幻觉？

不同评分规则可能得出不同结果。

因此，需要说明评价粒度：

• 回答级；
• 句子级；
• 事实陈述级。

十一、如何评估鲁棒性？

11.1 Robustness

鲁棒性（Robustness）是指模型在输入扰动、条件变化或分布变化下，维持适当表现的能力。

11.2 输入扰动

例如：

原始问题：

什么是机器学习？

改写问题：

请解释一下机器学习的含义。

模型应该在语义相近的输入下保持合理表现。

11.3 格式变化

同一个问题可以采用不同形式：

• 自然语言；
• 表格；
• JSON；
• Markdown；
• 多轮对话。

模型可能对输入格式敏感。

11.4 分布变化

训练数据与实际使用数据可能存在差异。

例如：

• 训练数据以英文为主；
• 实际任务以中文为主。

或者：

• 训练数据以简短问题为主；
• 实际任务包含长文档。

11.5 对抗输入

对抗输入（Adversarial Input）是指经过特定设计、试图诱导模型产生错误行为的输入。

模型可能受到：

• 误导性问题；
• 复杂干扰信息；
• 指令冲突；
• Prompt Injection；
• 恶意格式构造。

等因素影响。

11.6 鲁棒性评估方法

可以对同一任务构造多个变体。

例如：

原始任务
    │
    ├── 改写表达
    ├── 调整顺序
    ├── 添加干扰
    ├── 改变格式
    └── 增加上下文
          │
          ▼
       模型测试
          │
          ▼
       表现差异

11.7 鲁棒性与准确率

一个模型可能在标准测试集上具有较高准确率，但在输入稍作变化后表现明显下降。

因此，标准准确率与鲁棒性应分别评价。

十二、如何评估模型的一致性与稳定性？

12.1 Consistency

一致性（Consistency）关注模型在相同或相关条件下是否产生相互协调的结果。

例如，同一个事实问题以不同方式提问时，模型是否给出一致答案。

12.2 Repeatability

重复性（Repeatability）关注相同测试条件下，重复执行是否得到相近结果。

12.3 为什么同一个问题可能得到不同答案？

原因可能包括：

• 随机采样；
• Temperature；
• Top-p；
• 服务端实现；
• 模型版本变化；
• 上下文差异。

12.4 稳定性评估

可以针对同一个问题重复测试：

$$N=10$$

统计：

• 正确回答次数；
• 输出格式合规次数；
• 结果差异；
• 失败类型。

12.5 一个示例

假设模型执行同一任务 10 次：

指标	结果
总次数	10
正确结果	8
格式合规	9
完全满足要求	7

这说明单次成功并不能完整反映模型稳定性。

12.6 稳定性与确定性

确定性输出并不意味着输出正确。

一个模型可能每次都稳定生成相同的错误答案。

因此，需要同时评价正确性和稳定性。

十三、如何评估模型的不确定性？

13.1 不确定性为什么重要？

模型可能面对自己无法可靠回答的问题。

例如：

某家企业明天会发布什么尚未公开的产品？

合理的模型行为可能是说明信息不足。

而不是编造确定答案。

13.2 Confidence

Confidence（置信程度）可以通过不同方式表示。

例如：

• 输出概率；
• 模型自报置信度；
• 多次采样一致性；
• 外部校准模型。

但这些方法并不等价。

13.3 Calibration

Calibration（校准）关注模型给出的置信程度与实际正确率是否匹配。[12]

例如：

如果模型对 100 个问题都给出约 80% 的正确置信度，那么理想情况下，其中大约 80 个应该正确。

13.4 Expected Calibration Error

ECE（Expected Calibration Error）是一种常见校准指标。

它通常将预测划分为若干置信度区间，比较每个区间的平均置信度与实际准确率。

可以表示为：

$$\mathrm{ECE}=\sum _{m=1}^M\frac{|B_m|}{n}|\mathrm{acc}(B_m)-\mathrm{conf}(B_m)|$$

其中：

• $B_m$：第 $m$ 个置信度区间；
• $n$：总样本数量；
• $\mathrm{acc}$：区间实际准确率；
• $\mathrm{conf}$：区间平均置信度。

13.5 模型自报置信度是否可靠？

不一定。

模型在自然语言中回答“我有 95% 的把握”，并不意味着这一数值已经经过校准。

因此，不能直接将自然语言自信程度当作真实正确概率。

13.6 Abstention

Abstention（拒答或弃答）是指模型在信息不足或风险较高时选择不提供确定答案。

需要注意，合理弃答与不必要拒绝是不同问题。

评估时应同时关注：

• 应该回答时是否回答；
• 不应该猜测时是否克制；
• 拒答是否有充分理由。

十四、如何评估多模态能力？

14.1 多模态评估的特殊性

多模态模型可能同时处理文本、图片、音频和视频。

不同模态具有不同的数据结构和错误类型。

因此，不能完全使用文本模型的评估方法。

14.2 图像理解

图像理解评估可以包括：

• 物体识别；
• 场景理解；
• 空间关系；
• 图表理解；
• 图片文字识别；
• 视觉问答。

14.3 MMMU

MMMU 是面向多学科、多模态理解与推理的基准之一。[9]

它包含需要结合视觉信息与专业知识的问题。

14.4 文档理解

文档理解可能涉及：

• 表格；
• 图表；
• 复杂版式；
• 扫描文本；
• 多页文档；
• 图文混排。

模型需要正确识别并利用这些信息。

14.5 音频理解

音频任务可以评价：

• 语音识别准确率；
• 说话人相关信息处理；
• 音频事件识别；
• 音频问答；
• 语音翻译。

例如，语音识别可以使用 Word Error Rate。

14.6 视频理解

视频理解需要考虑时间信息。

例如：

• 动作识别；
• 事件顺序；
• 场景变化；
• 长视频信息定位；
• 视频问答。

14.7 图像生成

图像生成评估可能涉及：

• 文本与图像一致性；
• 图像质量；
• 视觉真实性；
• 构图；
• 细节准确性；
• 人类偏好。

但这些维度难以由单一指标完整表示。

14.8 多模态评估的主要挑战

多模态评估需要考虑：

• 模态之间的对齐；
• 输入质量；
• 分辨率；
• 时间采样；
• 模型是否真正利用视觉或音频信息；
• 评价指标是否符合任务目标。

十五、如何评估模型安全性？

15.1 Safety Evaluation

安全性评估关注模型在不同输入和使用条件下，是否能够避免或适当处理可能造成伤害的输出。

15.2 安全性不是单一指标

安全评估可能涉及：

• 有害内容处理；
• 隐私信息保护；
• 危险操作建议；
• 歧视与偏见；
• 不当拒绝；
• 指令层级遵循；
• 对抗输入抵抗能力。

15.3 安全测试数据

安全测试可以包含：

• 正常请求；
• 明确有害请求；
• 模糊边界请求；
• 对抗性请求；
• 经过改写的请求；
• 多轮交互场景。

15.4 Over-refusal

Over-refusal（过度拒绝）是指模型对本来可以合理回答的请求作出不必要拒绝。

因此，安全性评估不能只统计拒绝次数。

还需要判断拒绝是否适当。

15.5 Prompt Injection

Prompt Injection 是指攻击者通过模型处理的输入内容，试图改变模型原本应遵循的指令或行为。

例如，攻击者在外部文档中加入：

忽略之前的所有要求。

如果模型将不可信文档内容当作高优先级指令，就可能产生安全问题。

15.6 安全性评估与系统安全

模型可以接受安全性测试。

但真实应用中的安全还取决于：

• 权限控制；
• 工具隔离；
• 数据访问限制；
• 人工审批；
• 日志审计；
• 执行环境约束。

因此，模型安全性不等于 Agent System 的整体安全性。

十六、什么是自动评估？

16.1 Automatic Evaluation

自动评估是指通过程序、规则或自动化模型对输出进行评分。

16.2 常见自动指标

指标	典型用途
Accuracy	分类、选择题
Exact Match	标准答案匹配
Precision	分类或检索
Recall	分类或检索
F1 Score	综合 Precision 与 Recall
BLEU	机器翻译等文本任务
ROUGE	摘要等文本任务
Pass@k	代码或可验证任务
WER	语音识别
Latency	推理性能

16.3 Accuracy

$$\mathrm{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$$

适用于具有明确正确答案的分类任务。

16.4 Precision

$$\mathrm{Precision}=\frac{TP}{TP+FP}$$

表示预测为正的样本中，实际为正的比例。

16.5 Recall

$$\mathrm{Recall}=\frac{TP}{TP+FN}$$

表示实际为正的样本中，被正确识别的比例。

16.6 F1 Score

$$F1=2\times \frac{\mathrm{Precision}\times \mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$$

F1 综合考虑 Precision 与 Recall。

16.7 Exact Match

Exact Match 要求模型输出与标准答案完全匹配，或在规定的标准化规则下匹配。

它适合部分具有明确答案的任务。

但对于开放式生成任务，可能过于严格。

16.8 自动指标的局限

自动指标可能无法完整评价：

• 事实正确性；
• 语言自然度；
• 推理合理性；
• 创造性；
• 用户满意度；
• 任务实际价值。

因此，开放式任务通常需要其他评估方法辅助。

十七、什么是人类评估？

17.1 Human Evaluation

人类评估是指由人工评价者根据明确标准，对模型输出进行判断。

17.2 人类评估适合什么任务？

例如：

• 写作质量；
• 回答有用性；
• 创造性；
• 语言自然度；
• 复杂事实判断；
• 专业任务质量。

17.3 评分量表

可以采用 1—5 分评分。

例如：

分数	含义
1	明显不满足要求
2	存在较严重问题
3	基本满足要求
4	质量较好
5	完全或高度满足要求

但必须定义具体评分标准。

否则，不同评价者可能对同一分数有不同理解。

17.4 Pairwise Comparison

成对比较让评价者比较两个回答。

例如：

同一个问题
    │
    ├── 模型 A 回答
    │
    └── 模型 B 回答
          │
          ▼
      人类评价者
          │
          ▼
    A 更好 / B 更好 / 平局

17.5 Win Rate

可以使用胜率表示比较结果。

但必须说明：

• 平局如何处理；
• 比较样本如何抽取；
• 是否采用盲评；
• 是否控制回答顺序；
• 是否存在评价者偏差。

17.6 人类评估的局限

人类评估可能受到：

• 主观偏好；
• 专业知识差异；
• 疲劳；
• 评分标准不一致；
• 样本数量限制。

等因素影响。

因此，重要评估通常需要设计评价者培训、重复标注和一致性检查。

十八、什么是 LLM-as-a-Judge？

18.1 基本定义

LLM-as-a-Judge 是指使用语言模型评价其他模型或系统生成结果的方法。[10]

例如：

待评估问题
    │
    ▼
模型生成回答
    │
    ▼
Judge Model
    │
    ▼
评分与评价意见

18.2 为什么使用模型裁判？

开放式生成任务很难完全依靠规则评分。

人工评估又可能成本较高。

因此，可以利用语言模型辅助评价。

18.3 典型评价维度

例如：

• 正确性；
• 完整性；
• 相关性；
• 清晰度；
• 指令遵循；
• 依据一致性。

18.4 Pointwise Evaluation

Pointwise Evaluation 对单个回答评分。

例如：

问题
回答
评分标准
    │
    ▼
Judge
    │
    ▼
1—5 分

18.5 Pairwise Evaluation

Pairwise Evaluation 比较两个回答。

例如：

问题
回答 A
回答 B
    │
    ▼
Judge
    │
    ▼
A / B / Tie

18.6 模型裁判有哪些偏差？

LLM-as-a-Judge 可能存在：

位置偏差

模型可能偏好先出现或后出现的回答。

长度偏差

模型可能偏好更长的回答，即使内容质量没有更好。

风格偏差

模型可能偏好某种表达方式。

自我偏好

模型可能偏好与自身输出风格相似的回答。

知识限制

裁判模型自身也可能无法判断复杂事实。

18.7 如何提高模型裁判的可靠性？

可以采用：

• 明确评分 Rubric；
• 随机化回答顺序；
• 使用多个评价模型；
• 引入标准答案；
• 对部分样本进行人工复核；
• 统计评价一致性；
• 对关键任务使用程序化验证。

18.8 模型裁判不等于客观真值

LLM-as-a-Judge 是一种评价工具。

它可以提高评估效率，但其判断本身仍需要验证。

尤其在高风险或高度专业化任务中，不应将模型裁判的分数直接视为事实正确性的证明。

十九、什么是 Evaluation Rubric？

19.1 Rubric 的定义

Evaluation Rubric（评分量规）是一套明确的评价标准，用于规定不同质量等级对应什么表现。

19.2 为什么需要 Rubric？

例如，评价一篇 AI 生成的研究报告。

如果只要求：

请评价这篇报告的质量。

不同评价者可能使用完全不同的标准。

但如果提供明确 Rubric：

• 事实准确性；
• 论证完整性；
• 结构清晰度；
• 引用可靠性；
• 结论合理性。

评价就更容易保持一致。

19.3 一个示例

假设评价研究报告，采用五个维度。

维度	权重	评价重点
事实准确性	30%	是否存在事实错误
论证质量	25%	论据是否支持结论
结构完整性	20%	是否覆盖必要内容
引用可靠性	15%	来源是否真实、相关
表达清晰度	10%	是否容易理解

总分可以表示为：

$$\mathrm{Score}=\sum _{i=1}^n{w}_i{s}_i$$

其中：

• $w_i$：第 $i$ 个维度的权重；
• $s_i$：该维度的评分。

19.4 加权评分的局限

如果一篇报告存在严重事实错误，即使其他维度分数较高，也可能不适合发布。

因此，实际评估可以设置关键门槛。

例如：

事实准确性低于 3 分，则整体不通过。

这属于 Gate-based Evaluation。

19.5 Rubric 应该如何设计？

好的 Rubric 通常需要：

• 评价维度明确；
• 标准可操作；
• 分数等级有具体描述；
• 尽量避免维度重复；
• 与实际任务目标一致；
• 能够支持错误分析。

二十、模型评估为什么会出现偏差？

20.1 数据污染

Data Contamination 是指评估数据或高度相似的内容进入训练过程，导致评估结果不能准确反映模型对未见任务的泛化表现。

20.2 Benchmark Overfitting

如果开发者反复针对某个 Benchmark 调整模型，模型可能越来越适应该测试。

但实际任务表现未必同步改善。

20.3 Prompt Sensitivity

同一个模型使用不同提示词，可能产生不同结果。

例如：

• Zero-shot；
• Few-shot；
• Chain-of-Thought Prompting；
• 不同语言；
• 不同输出格式。

因此，评估协议需要明确提示词配置。

20.4 Sampling Variance

当模型使用随机采样时，不同运行可能产生不同结果。

单次测试可能无法准确估计稳定表现。

20.5 Dataset Bias

评估数据可能偏向某些语言、文化背景、知识领域或任务形式。

20.6 Metric Misalignment

评价指标可能与真实任务目标不一致。

例如：

• 模型生成的摘要与参考摘要措辞不同；
• ROUGE 分数较低；
• 但摘要实际上准确且完整。

因此，指标分数与任务质量可能不完全一致。

20.7 Selection Bias

如果只展示模型表现最好的测试结果，就可能产生选择偏差。

20.8 评估偏差的核心问题

模型评估的目标不是寻找能够让模型获得最高分数的测试方法。

而是尽可能准确地测量模型在目标任务上的真实表现。

二十一、如何设计可信的评估实验？

21.1 明确评估假设

例如：

模型 B 在中文长文档摘要任务上的事实准确性高于模型 A。

这一假设比“模型 B 更强”更具体，也更容易验证。

21.2 控制实验变量

比较两个模型时，需要尽可能控制：

• 测试数据；
• 提示词；
• 工具权限；
• 输出限制；
• 评分规则；
• 重试次数。

但不同模型可能需要使用各自正确的 Chat Template。

因此，控制变量不意味着忽略模型的接口差异。

21.3 记录模型版本

模型可能更新。

因此，应记录：

• 模型名称；
• 具体版本；
• API 配置；
• 测试日期；
• 推理参数。

21.4 样本数量

样本数量会影响评估结果的不确定性。

例如，在二项结果且样本近似独立的条件下，正确率估计的标准误差可以近似表示为：

$$\mathrm{SE}=\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$$

其中：

• $\hat{p}$：样本正确率；
• $n$：样本数量。

21.5 一个计算示例

假设：

$$\hat{p}=0.8$$$$n=100$$

则：

$$\mathrm{SE}=\sqrt{\frac{0.8\times 0.2}{100}}=0.04$$

标准误差约为 4 个百分点。

如果样本数量增加到 1000：

$$\mathrm{SE}\approx 0.0126$$

约为 1.26 个百分点。

这说明，在其他条件相同的情况下，增加样本数量通常能够降低抽样误差。

但如果测试数据本身存在系统性偏差，增加样本数量也不能自动消除偏差。

21.6 统计显著性

两个模型分数存在差异，并不意味着差异一定具有统计意义。

对于同一批测试样本上的模型比较，可以使用适当的配对统计方法或 Bootstrap 等方法估计不确定性。

21.7 误差分析

除了总体分数，还需要分析错误类型。

例如：

模型错误
    │
    ├── 事实错误
    ├── 指令遗漏
    ├── 格式错误
    ├── 推理错误
    ├── 工具选择错误
    └── 无效拒绝

错误分类可以帮助确定下一步改进方向。

二十二、如何建立完整的模型评估体系？

一个完整的模型评估体系，不应该只包含单次 Benchmark 测试。

它需要支持模型选择、训练改进和持续运行。[11]

22.1 第一层：基础能力评估

使用标准 Benchmark 测量：

• 综合知识；
• 数学；
• 代码；
• 指令遵循；
• 多模态能力。

22.2 第二层：任务能力评估

根据实际应用设计任务。

例如，一个研究报告生成系统需要评价：

• 资料理解；
• 信息提取；
• 事实准确性；
• 引用质量；
• 论证能力；
• 结构化输出。

22.3 第三层：可靠性评估

测试：

• 输入扰动；
• 多次运行；
• 长上下文；
• 信息不足；
• 对抗输入；
• 错误恢复。

22.4 第四层：安全性评估

测试：

• 有害请求；
• 隐私风险；
• Prompt Injection；
• 过度拒绝；
• 约束遵循。

22.5 第五层：工程性能评估

测试：

• 延迟；
• 吞吐量；
• 显存；
• 并发；
• 成本。

22.6 第六层：真实使用评估

在符合隐私与安全要求的条件下，观察实际使用中的：

• 任务成功率；
• 用户反馈；
• 失败类型；
• 质量变化；
• 模型版本回归。

22.7 分层评估架构

Model Evaluation System
          │
          ├── 基础能力评估
          │
          ├── 任务能力评估
          │
          ├── 可靠性评估
          │
          ├── 安全性评估
          │
          ├── 工程性能评估
          │
          └── 真实使用评估

这六个层次共同构成较完整的评估体系。

二十三、如何评估一个用于研究报告生成的模型？

为了将前面的理论转化为实践，可以设计一个具体案例。

23.1 项目背景

假设需要为一个 AI 研究系统选择模型。

该模型主要负责：

• 阅读资料；
• 提取事实；
• 分析问题；
• 整理研究结论；
• 撰写研究报告。

23.2 评估目标

需要判断模型是否能够：

1. 准确理解研究任务。
2. 从资料中提取正确事实。
3. 形成有依据的分析。
4. 按要求组织报告结构。
5. 避免虚构引用。
6. 在长文档条件下保持稳定表现。

23.3 评估数据集

可以构建：

数据类别	示例任务
信息提取	从文章中提取关键事实
文档总结	总结研究资料
多文档比较	比较两份报告
证据分析	判断结论是否得到支持
引用核验	检查引用是否真实
报告写作	根据资料生成完整报告
长上下文	从长文档中定位信息

23.4 评价维度

维度	评价问题
Factual Accuracy	事实是否正确？
Groundedness	内容是否得到来源支持？
Completeness	是否覆盖关键问题？
Reasoning Quality	论证是否合理？
Instruction Following	是否遵循写作要求？
Citation Quality	引用是否准确？
Structure	结构是否清晰？
Stability	多次执行是否稳定？

23.5 评价方法

不同维度采用不同方法。

例如：

事实准确性

使用可靠资料和人工核验。

格式遵循

使用程序化规则检查。

引用质量

检查来源是否存在、引用是否支持相关陈述。

论证质量

使用专家评价或经过校准的模型裁判辅助判断。

稳定性

重复执行相同任务。

23.6 综合评分

可以建立加权评分体系。

例如：

维度	权重
事实准确性	25%
来源一致性	20%
分析质量	20%
完整性	15%
指令遵循	10%
结构表达	10%

但实际部署前，还应设置关键质量门槛。

例如：

• 不允许虚构引用；
• 关键事实必须通过核验；
• 输出必须满足指定格式。

23.7 为什么不能只看总分？

假设：

模型	综合评分	引用准确率
A	90	70%
B	86	98%

如果研究系统高度依赖引用准确性，模型 B 可能更适合实际使用。

因此：

模型选择应该根据任务约束和风险要求，而不是单纯选择综合评分最高的模型。

二十四、如何建立模型评估的工程流程？

24.1 第一步：定义任务

明确模型需要完成什么。

例如：

根据三份研究资料，生成一篇具有可核验引用的分析报告。

24.2 第二步：定义成功标准

例如：

• 事实准确；
• 引用真实；
• 结构完整；
• 不遗漏关键问题；
• 满足格式要求。

24.3 第三步：构建测试数据

准备具有代表性的任务样本。

数据应尽量覆盖：

• 常规情况；
• 边界情况；
• 高难情况；
• 异常情况。

24.4 第四步：选择评分方法

根据任务选择：

• 规则；
• 标准答案；
• 程序化验证；
• 人类评价；
• 模型裁判。

24.5 第五步：固定评估协议

记录：

• 模型版本；
• Prompt；
• Temperature；
• 输出限制；
• 工具权限；
• 测试日期。

24.6 第六步：执行测试

批量运行测试样本。

保存：

• 输入；
• 模型输出；
• 评分；
• 执行时间；
• Token 使用量；
• 错误信息。

24.7 第七步：统计结果

计算：

• 总体表现；
• 分任务表现；
• 失败率；
• 置信区间；
• 成本；
• 延迟。

24.8 第八步：误差分析

将失败样本分类。

识别主要问题来源。

24.9 第九步：改进模型或系统

根据错误类型采取不同措施。

例如：

错误类型	可能的改进方式
事实错误	检索、验证、训练
格式错误	Structured Outputs、SFT
任务遗漏	Prompt、任务拆分
长上下文失败	检索、上下文管理
推理错误	更强模型、验证机制
高延迟	模型路由、推理优化
高成本	缓存、批处理、模型选择

24.10 第十步：回归测试

每次修改模型或系统后，重新运行关键测试。

确保新版本没有损害原有能力。

24.11 完整流程

定义任务
    │
    ▼
确定成功标准
    │
    ▼
构建评估数据
    │
    ▼
选择评分方法
    │
    ▼
固定评估协议
    │
    ▼
执行测试
    │
    ▼
统计结果
    │
    ▼
误差分析
    │
    ▼
模型或系统改进
    │
    ▼
回归测试
    │
    └────────► 持续迭代

二十五、模型评估与 Agent 评估有什么区别？

25.1 Model Evaluation

模型评估主要关注模型本身。

例如：

• 是否能够正确回答问题；
• 是否遵循指令；
• 是否生成正确代码；
• 是否产生幻觉；
• 是否满足安全要求。

25.2 Agent Evaluation

Agent 评估主要关注一个具备行动能力的任务执行主体。

例如：

• 是否正确规划任务；
• 是否选择合适工具；
• 是否完成目标；
• 是否正确处理工具错误；
• 是否能够恢复失败；
• 是否遵守权限。

25.3 System Evaluation

系统评估关注完整 Agent System。

例如：

• 多 Agent 协作效率；
• 工作流完成率；
• 系统可靠性；
• 资源利用率；
• 故障恢复；
• 安全治理。

25.4 三者之间的关系

Model Evaluation
      │
      ▼
评估模型认知与生成能力
      │
      ▼
Agent Evaluation
      │
      ▼
评估任务执行与工具使用
      │
      ▼
System Evaluation
      │
      ▼
评估完整系统运行表现

25.5 为什么不能用模型分数替代 Agent 评估？

假设模型 A 的推理能力高于模型 B。

但在实际 Agent 系统中：

• 模型 A 的工具调用格式不稳定；
• 模型 B 的工具调用更可靠。

最终任务成功率可能是模型 B 更高。

因此，模型能力与 Agent 任务成功率之间并不存在简单的一一对应关系。

二十六、模型评估有哪些常见误解？

26.1 误解一：Benchmark 分数越高，模型越好

Benchmark 只测量特定任务和条件下的表现。

模型是否更好，需要结合实际应用目标判断。

26.2 误解二：一个综合排行榜可以代表所有能力

不同能力之间可能存在明显差异。

综合排名无法完整反映每个任务维度。

26.3 误解三：模型回答流畅，就意味着回答正确

语言流畅性与事实准确性是不同维度。

26.4 误解四：模型能够解释推理过程，就说明推理一定正确

生成的推理文本可能包含错误或不完整信息。

26.5 误解五：LLM-as-a-Judge 可以完全替代人工评价

模型裁判可能存在偏差，也可能缺乏专业知识。

26.6 误解六：测试样本越多，评估一定越可靠

样本数量重要，但数据代表性、评分标准和实验协议同样重要。

26.7 误解七：模型在训练集上表现很好，就意味着能够泛化

训练集表现不能直接代表未见数据上的表现。

26.8 误解八：模型安全性可以通过单一拒绝率衡量

安全性还需要考虑适当回答、过度拒绝、隐私和对抗风险。

26.9 误解九：模型能力评估可以替代系统测试

模型表现良好，不意味着 Agent Runtime、工具系统和工作流也能够可靠运行。

二十七、核心结论

模型评估是理解 AI 模型能力与局限的重要方法，也是模型训练、选择和部署的基础。

通过本篇研究，可以建立以下认识。

第一，模型评估必须在明确的任务、数据和实验条件下进行。 模型分数不是脱离评估条件的绝对属性。

第二，Evaluation、Benchmark、Dataset、Metric 和 Protocol 是不同概念。 它们共同构成完整评估体系。

第三，模型能力具有多维度特征。 知识、推理、代码、指令遵循、多模态、可靠性和安全性需要分别评价。

第四，Benchmark 可以提供标准化比较，但不能完整代表真实应用表现。

第五，知识能力评估需要区分参数化知识与外部检索能力。

第六，数学和代码任务可以利用可验证结果进行自动评分。 但通过测试不等于完全正确。

第七，指令遵循能力需要独立评价。 模型具备知识并不意味着能够稳定满足复杂约束。

第八，事实性和幻觉需要结合可靠证据进行评价。 流畅表达不能证明内容真实。

第九，鲁棒性和稳定性反映模型在不同条件下的表现。 单次正确不能证明长期可靠。

第十，模型自报置信度不一定等于真实正确概率。 不确定性需要通过适当方法校准。

第十一，多模态模型需要针对不同模态建立专门的评价方法。

第十二，安全性评估需要同时关注不当输出与不必要拒绝。

第十三，自动指标、人类评价和 LLM-as-a-Judge 各有优势与局限。 复杂任务通常需要组合使用。

第十四，Evaluation Rubric 可以提高评价标准的一致性和可解释性。

第十五，数据污染、提示词敏感和指标偏差可能影响评估可信度。

第十六，可信的评估实验需要控制变量、记录版本、估计不确定性并开展误差分析。

第十七，模型评估应当覆盖基础能力、实际任务、可靠性、安全性和工程性能。

第十八，模型评估、Agent 评估和系统评估属于不同层级。 不能直接使用模型 Benchmark 分数替代 Agent 任务成功率。

从整个 AI 技术体系看，模型评估建立了模型能力与实际应用需求之间的证据连接。

模型训练决定模型如何获得能力，模型推理决定能力如何被调用，而模型评估则帮助判断这些能力是否真正满足任务要求。

因此，模型评估的最终目的不是获得更高的排行榜分数，而是形成对模型能力、风险和适用范围的可信判断。

二十八、参考文献与延伸阅读

28.1 综合知识与推理评估

[1] Hendrycks, D., et al. (2020). Measuring Massive Multitask Language Understanding.
提出 MMLU 综合知识评估基准。
论文：Measuring Massive Multitask Language Understanding

[2] Rein, D., et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark.
提出 GPQA 高难度专业知识问答基准。
论文：GPQA

[3] Cobbe, K., et al. (2021). Training Verifiers to Solve Math Word Problems.
介绍 GSM8K 数学应用题数据集。
论文：Training Verifiers to Solve Math Word Problems

[4] Hendrycks, D., et al. (2021). Measuring Mathematical Problem Solving With the MATH Dataset.
介绍 MATH 数学问题求解基准。
论文：Measuring Mathematical Problem Solving With the MATH Dataset

28.2 代码与软件工程评估

[5] Chen, M., et al. (2021). Evaluating Large Language Models Trained on Code.
介绍 HumanEval 代码生成评估方法。
论文：Evaluating Large Language Models Trained on Code

[6] Jimenez, C. E., et al. (2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
提出面向真实软件仓库问题的评估基准。
论文：SWE-bench

28.3 指令遵循与事实性

[7] Zhou, J., et al. (2023). Instruction-Following Evaluation for Large Language Models.
介绍 IFEval 指令遵循评估方法。
论文：Instruction-Following Evaluation for Large Language Models

[8] Lin, S., Hilton, J., & Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods.
研究语言模型的事实性表现。
论文：TruthfulQA

28.4 多模态评估

[9] Yue, X., et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI.
介绍多学科多模态理解与推理基准。
论文：MMMU

28.5 模型裁判与评估方法

[10] Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.
研究使用语言模型作为评价者的方法与局限。
论文：Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

[11] Liang, P., et al. (2022). Holistic Evaluation of Language Models.
提出 HELM 语言模型综合评估框架。
论文：Holistic Evaluation of Language Models

[12] Guo, C., et al. (2017). On Calibration of Modern Neural Networks.
研究神经网络预测置信度的校准问题。
论文：On Calibration of Modern Neural Networks

28.6 官方评估工具与框架

[13] EleutherAI. Language Model Evaluation Harness.
开源语言模型评估框架。
项目：Language Model Evaluation Harness

[14] Stanford CRFM. HELM.
语言模型综合评估平台。
项目：HELM

[15] Hugging Face. Evaluate.
提供模型评估相关工具与指标。
官方文档：Hugging Face Evaluate

二十九、关联研究

关联文档	研究内容
M1 · AI 模型是什么？它由什么构成？	模型基础
M2 · 神经网络如何学习和处理信息？	神经网络学习机制
M3 · Transformer 如何处理和生成信息？	Transformer 架构
M4 · 大语言模型是如何构建的？	LLM 架构与能力
M5 · AI 模型如何理解和处理不同模态？	多模态模型
M6 · AI 模型如何通过训练获得能力？	模型训练
M7 · AI 模型如何生成输出？	模型推理
E6 · 如何选择和切换不同模型？	Model Routing
E8 · 如何优化模型调用的成本与性能？	Inference Optimization
K7 · 如何评估知识检索与回答质量？	Retrieval Evaluation
A2 · Agent 如何获得认知与推理能力？	Agent Model
02 · Agent → 03 · 如何测试和评估 Agent 的能力？	Agent Testing
H3 · 如何评估 Agent System 的能力与执行质量？	System Evaluation
H10 · 如何测试和验证 Agent System 的行为？	Testing & Validation