Skip to content

K1 · AI 模型的知识从哪里来? - Parametric Knowledge ​

所属知识库:Agent 全栈技术地图
所属领域:01 · AI
所属章节:04 · AI 如何获取和利用外部知识? - Knowledge & Retrieval
文档类型:技术原理与工程实践研究
版本:v1.0
更新日期:2026 年 10 月 27 日
核心问题:模型为什么能回答训练中出现过的事实?所谓“知识存在参数中”究竟是什么意思?预训练、后训练、上下文与检索分别如何影响回答?参数知识如何被探测、验证、更新,有哪些局限?工程系统应何时依赖参数知识、何时接入外部知识?

专题导读 ​

AI 模型为什么能够回答历史、科学、技术等领域的问题?这些知识从哪里来,又以什么形式存在于模型之中?

本篇围绕 Parametric Knowledge(模型参数知识)展开研究,从大语言模型的预训练与后训练过程出发,解释模型如何通过学习大量数据中的统计规律、语义关系和事实关联,形成能够支持知识问答与信息处理的内部能力。

进一步研究知识在神经网络中的分布式表示、事实关联的形成与提取机制,以及提示方式、上下文和生成过程如何影响模型对已有知识的表达。在此基础上,系统分析参数知识在准确性、时效性、覆盖范围、可追溯性和更新能力方面的局限,并比较上下文注入、外部检索、RAG、模型微调和知识编辑等不同知识更新方式。

最后结合知识评估方法与 Agent 的实际应用场景,讨论如何判断模型是否掌握某项知识、何时可以依赖模型内部知识,以及何时需要通过检索、数据库或外部工具获取可靠信息,为后续 Embedding、向量数据库、信息检索和 RAG 等专题建立基础。

一、研究定位与核心结论 ​

现代大语言模型能够回答历史、科学、地理、编程等问题,并不意味着模型内部有一张能够逐条读取的“事实表”。模型训练的直接目标通常是降低某种预测或生成损失;事实、语言规律、概念关系和解决问题的能力,是模型在学习数据分布过程中形成的不同类型的可用表征。本篇讨论的参数知识(Parametric Knowledge),特指模型参数在训练后所支持的、可在适当输入条件下表现出来的信息与关联能力。它不是对模型全部能力的同义替换,更不是准确、可追溯、可即时更新的数据库。

本篇的主线是:知识来源 → 训练写入 → 分布式表示 → 提示触发与生成 → 知识测量 → 失效与更新 → 外部知识协同。与 M6 模型训练、M7 模型推理的区别是:这里不完整重讲优化算法和解码算法,而是研究训练后的模型“知道什么、如何表现为知道、什么时候不能信、怎样与外部证据结合”。与 K2—K7 的区别是:这里只解释为何需要外部知识以及它与参数知识的接口,不展开向量检索、RAG 管线或知识库工程的全部细节。

一个贯穿全文的判断原则是:模型能说出某个答案,不等于该答案可靠;模型没有说出某个答案,也不证明参数中完全不存在相关信息。 提示方式、任务格式、语言、上下文、解码设置和对齐训练都可能改变知识的可观察表现。[1][2]

二、先区分五个容易混淆的概念 ​

概念含义典型位置能否直接作为事实证据
训练数据训练阶段接触的文本、代码、图像等样本训练语料与数据管线原始材料可核验,但数据本身也可能错误
参数知识参数化模型在训练后表现出的事实关联和知识能力权重及其计算机制不应直接视为独立证据
上下文知识本次请求中直接提供的文档、提示、对话或工具结果当前输入/上下文窗口需检查来源、时效与可信度
外部知识可独立于模型参数维护的文档、数据库、网页等文件系统、检索服务、数据库可建立来源链,但并非天然准确
运行状态/记忆应用层保存的会话状态、用户偏好、任务记录等Agent Runtime/存储层依数据来源与验证机制而定

此外,“知识”至少包括事实性知识(如实体关系)、概念性知识(如分类与解释)、程序性能力(如按步骤完成任务)和语言/世界规律。不同研究使用的 knowledge 定义并不完全相同。知识探测论文往往聚焦可标准化评分的事实关系,而实际 Agent 的任务能力范围远大于事实问答。[1]

参数知识 ≠ 模型权重文件里的可读文档。 权重是高维数值张量。模型没有一个公开的、稳定的 get_fact(subject, relation) 内部数据库接口。虽然某些事实关联可以通过实验定位到特定计算路径,但不能推导出“一个事实固定存放在一个神经元”。[3]

三、知识最初从哪里来? ​

3.1 预训练数据与目标 ​

大语言模型常通过海量文本与代码等数据训练;多模态模型还可能利用图像、音频、视频及其配对数据。数据中反复出现的词汇共现、语法结构、概念解释、事件叙述和实体关系,为模型提供学习信号。以自回归语言模型为例,训练目标可简写为:

L(θ)=−∑t=1Tlog⁡pθ(xt∣x<t)

这里 xt 是当前位置的目标 token,x<t 是此前的 token,θ 是模型参数。优化过程调整参数,使模型更可能预测训练数据中实际出现的后续 token。这个目标不直接要求模型建立一套经人工审定的事实数据库,也不保证它学到的每个事实都为真。

举例:语料中反复出现“巴黎是法国首都”,模型可能学会在适当语境下把“法国首都”与“巴黎”关联起来。但同样的训练机制也可能吸收过时说法、虚构情节、网络谣言、偏见以及互相矛盾的陈述。模型学习的是数据中的可预测规律,而非对外部世界进行逐条真实性认证。

3.2 数据频率不是唯一决定因素 ​

事实是否被学到,与出现频率有关,但也受到上下文多样性、语料质量、模型容量、训练配方、分词方式、语义关联和知识冲突等因素影响。频繁出现不保证可稳定召回;低频事实也可能因模式泛化而被正确回答。不能用“出现次数”单独估算知识可靠性。

3.3 后训练改变什么? ​

监督微调、偏好优化及其他后训练方法会影响模型的指令遵循、回答风格、拒答行为、置信表达、工具使用策略与知识的可访问性。后训练也可能引入新信息,但不能把“微调后更会回答”简单等同于“底层事实存储增加了同样多”。有时模型原本已具备相关信息,只是后训练使它更容易在问答格式中表达;也可能因为训练数据偏差而覆盖或干扰旧能力。对知识改变的判断需要使用前后对照测试,而非仅凭单个例子。

3.4 训练、上下文和工具的不同作用 ​

训练改变持久化参数;上下文在一次推理期间提供条件信息,通常不会修改模型权重;检索工具访问独立数据源,将结果送入上下文或由运行时继续处理。应用写入长期记忆数据库也不等于模型权重更新。这是后续 Agent 架构中必须严格分开的四种机制。

四、事实是如何体现在神经网络里的? ​

4.1 分布式表示而非“知识表” ​

Transformer 将输入 token 转换为向量表示,经注意力层和前馈网络等模块逐层变换,最后计算下一 token 的概率分布。某个事实的可表达性往往依赖多个参数、不同层的表示及上下文触发。一个参数可能参与很多知识与能力;一个事实也可能涉及多处计算。这类分布式表征使模型能在相似语境中泛化,同时也使单个事实难以被稳定定位、删除和溯源。

在计算上,给定输入 x,模型可视为 fθ(x)。所谓“模型知道事实 k”更适合定义为一个行为命题:在一组明确的问题、提示变体和评估条件下,模型以足够高的概率输出与 k 一致的结果。它不是对参数文件内部结构的直接观测。

4.2 事实关联与知识召回 ​

Petroni 等人的 LAMA 研究使用填空式提示,探测预训练语言模型能否完成类似“[主体] 的 [关系] 是 [客体]”的事实关系补全。实验表明,一部分关系知识可以不经任务微调直接从预训练模型中诱发,但不同事实类型的可提取程度差异明显。[1]

这类实验支持“参数化模型承载某些事实关联”的说法,但有三项限制:第一,填空正确率是某种测试协议下的行为指标;第二,提示措辞和答案空间会显著影响结果;第三,正确补全并不等于具备来源证明或可靠的逻辑推导。

4.3 机制可解释性提供了什么证据? ​

ROME 研究使用因果干预追踪事实预测相关的计算,并在特定自回归 Transformer 上修改部分前馈层权重,以改变选定事实关联。其结果支持某些事实关联存在可干预的关键计算路径。[3] 但这并不证明所有模型、所有事实都存于相同层位,更不意味着生产系统可以安全地逐条改写知识而无副作用。知识定位和知识编辑是研究方向,不是对模型内部“知识表”的直接读取。

4.4 记忆化与泛化 ​

**记忆化(memorization)**可指模型对训练样本片段的高保真再现;**泛化(generalization)**是对未见过输入表现出可迁移的规律。二者并非简单对立:模型可能既记住某些罕见序列,也学习广泛可用的模式。事实回答可能来自训练样本的近似记忆、概念关联或推断,单次正确输出通常无法判定具体来源。训练数据泄漏、隐私和版权风险也因此不能仅用“模型只学统计规律”来排除。[4]

五、模型如何“取出”参数知识? ​

5.1 提示是条件,不是数据库查询 ​

模型收到问题后,将问题 token 化并通过网络计算条件概率,逐 token 生成输出。比如“法国首都是什么?”与“法国的首府城市是?”虽然指向同一事实,却可能产生不同的激活模式和输出分布。提示改写、语言切换、上下文中的干扰材料、回答格式和采样参数都可能影响答案。

因此,知识表现至少涉及三个层面:存储/表示是否形成、是否能够被当前提示激活、是否能够在输出中正确表达。将错误回答一概解释为“模型没学过”,或者将正确回答一概解释为“模型记住了原始句子”,都过度简化。

5.2 一个示意性的概率视角 ​

设问题为 q、提示模板为 p、期望答案为 a。研究中可比较 Pθ(a∣p(q)) 或规范化答案的正确率。对于多 token 答案,可计算条件序列概率 Pθ(a1,…,am∣p(q))=∏iPθ(ai∣p(q),a<i)。但在真实 API 中,某些模型不提供 token logprobs;不同分词方式、长度和提示模板会影响概率可比性。不能把原始 token 概率当作已校准的“事实为真概率”。

5.3 生成式问答的特殊风险 ​

生成式模型通常以连贯回答为优化和使用目标,而不是默认附带证据检索。若问题涉及不存在的实体、模糊日期或相互冲突的信息,模型可能补全出流畅但不真实的内容,即常说的 hallucination(幻觉)。这种现象与参数知识不足、上下文证据缺失、提示歧义、训练目标和解码策略均可能有关;不能简单归因于“温度过高”。

六、参数知识有哪些能力与边界? ​

6.1 优势 ​

参数知识的优势是调用路径短:在不需要实时外部事实的任务中,模型可直接回答一般概念、解释熟悉术语、辅助代码生成和语言转换,不必每次都检索。它还能在未见过的措辞和任务组合中利用训练形成的关联能力,提供跨领域语言理解与推理基础。

6.2 六类核心限制 ​

  1. 时效性:训练完成后的新事件不会自动写入参数;即使提供“当前日期”,也不能使模型凭空获得该日事实。
  2. 覆盖性:私有制度、内部文件、低频专业事实可能未出现在训练数据中,或未被有效学习。
  3. 真实性:训练文本含错误和冲突,模型的流畅表达不是事实校验。
  4. 可追溯性:单条生成结论通常不能可靠反推出具体训练文献或出处。
  5. 一致性:不同措辞、语言、上下文和采样设置可能产生矛盾答案。
  6. 可更新性:更新参数通常需要训练或专门编辑方法,成本、回归风险和版本治理要求较高。

特别要区分知识截止时间与可用信息截止时间:模型服务可能具有训练截止日期,但实际应用还能通过用户提供的文件、实时搜索、数据库工具和检索结果获得新信息。此时答案包含新事实,不代表模型权重已更新。

6.3 不确定性与拒答 ​

工程上应允许模型回答“没有足够证据”,但拒答能力不是只靠一句提示就能保证。对于高风险事实任务,应使用来源检查、结构化证据、交叉验证、阈值与人工审核等系统机制。模型自报“我有 95% 把握”通常不是经统计校准的置信度。

七、怎样测量模型到底知道什么? ​

7.1 定义可检验的知识任务 ​

对参数知识进行评估时,首先定义任务、事实集合、时间基准和评分规则。例如“截至 2025 年某日的国家首都”“某版本 API 的参数定义”“企业内部规定”,它们的时效性和证据要求完全不同。评测集应保留来源、事实生效日期、可能的别名、歧义标注和不可回答项。

7.2 评测协议 ​

对每条事实设计多个问题改写,控制系统指令、上下文、温度、工具可用性和模型版本。输出可以按精确匹配、实体规范化、语义等价或人工复核评分;对有争议的问题保留多种可接受答案与来源说明。除平均准确率,还应观察不同主题、语言、低频实体、时间敏感事实的分组表现。

推荐至少测量:准确率、拒答准确性、跨提示一致性、时效性、来源归属错误率、错误严重度。在无检索条件下测参数知识,在有检索条件下测端到端知识利用;二者不能混成同一个“模型知识分数”。

7.3 避免污染和误判 ​

公开基准可能进入训练语料;因此高分可能部分反映数据污染。评测还会受提示泄漏、答案别名、问题本身歧义和评判模型偏差影响。严肃评估应保留隐藏测试集、使用可复核事实来源,并报告置信区间或样本规模,而非只展示几个成功例子。

7.4 可执行的离线评估样例 ​

以下代码只演示评测器:对已保存的模型回答进行规范化与计分,不调用任何在线模型,也不宣称测量了真实模型的知识能力。它展示为什么应将“模型输出采集”与“答案评分”分离。

python
# Python 3.10+;仅标准库;可直接运行
from dataclasses import dataclass
import re
import unicodedata

@dataclass(frozen=True)
class Case:
    question: str
    accepted_answers: tuple[str, ...]
    model_answer: str

def normalize(text: str) -> str:
    text = unicodedata.normalize("NFKC", text).casefold().strip()
    return re.sub(r"[\s\W_]+", "", text, flags=re.UNICODE)

def exact_match(case: Case) -> bool:
    prediction = normalize(case.model_answer)
    return any(prediction == normalize(ans) for ans in case.accepted_answers)

def evaluate(cases: list[Case]) -> dict[str, float | int]:
    if not cases:
        raise ValueError("cases must not be empty")
    hits = sum(exact_match(case) for case in cases)
    return {"correct": hits, "total": len(cases), "accuracy": hits / len(cases)}

if __name__ == "__main__":
    cases = [
        Case("法国首都?", ("巴黎", "Paris"), "巴黎"),
        Case("2 + 2 = ?", ("4", "四"), "5"),
    ]
    result = evaluate(cases)
    assert result == {"correct": 1, "total": 2, "accuracy": 0.5}
    print(result)

边界说明:精确匹配无法自动识别“法国的首都是巴黎”与“巴黎”的语义等价,也无法验证答案在现实世界中是否正确。生产评测应使用答案抽取、别名词典、人工抽样复核和来源核验,不能将此示例当作完整的事实性评估系统。

八、知识怎样更新?五条路线的不同代价 ​

路线改变了什么适合主要限制
修改提示/上下文当前请求可用的信息与指令少量临时事实、任务规则上下文长度与遗失风险;不改参数
检索增强(RAG)可检索的外部语料与证据频繁更新文档、可追溯问答检索质量、权限、引用和生成误差
工具/数据库查询外部系统的实时或结构化结果价格、库存、订单、状态、精确数据接口可用性、权限、错误处理
微调/持续训练参数与模型行为稳定领域语言、格式、特定能力数据/计算成本、遗忘与回归风险
定向模型编辑选定参数计算路径研究性事实修改泛化、局部性与副作用需验证

不要把微调当作企业文档持续同步的默认方案。需要频繁增删、权限控制、版本追踪和可引用证据时,通常优先考虑外部知识或结构化查询。微调更适合改善模型处理某类任务的方式,但实际效果依赖数据质量、训练方法和基座模型。知识编辑研究展示了参数修改的可能性,不能替代完整的知识生命周期管理。[3][5]

8.1 典型场景:内部制度变更 ​

假设公司昨天将差旅报销上限从 800 元调整为 1000 元。直接问通用模型可能得到旧值、猜测值或无法回答。把新制度放进当前上下文能解决少量单次问题;将制度文档写入带版本和权限的知识库,配合检索、引用与失效控制,则更适合组织级长期使用。若报销上限是业务系统中的结构化字段,直接查询权威配置数据库通常比语义检索更稳妥。

这个案例说明:选择知识机制取决于数据性质、更新频率、证据要求与权限,而不只是模型“聪明不聪明”。

九、参数知识与 RAG 的关系 ​

Lewis 等人的 RAG 研究明确区分参数化模型与非参数化记忆:前者提供语言生成与学习到的关联,后者通过检索索引提供可访问的外部文本。RAG 的价值之一是让模型在生成时参考额外证据,并支持更容易更新的外部知识来源。[5]

但 RAG 不等于“把事实写入模型大脑”。典型 RAG 的知识更新发生在外部文档和索引层;模型接收检索结果后,仍需判断内容是否相关、是否相互矛盾、是否可信,并把证据正确用于回答。模型可能忽略证据、误读证据或凭参数中的旧信息覆盖新信息。因此,RAG 需要独立评估检索是否找对与生成是否忠于证据,详见 K5 与 K7。

以现行官方产品文档为例,OpenAI 的 File Search 允许模型搜索已上传文件构成的知识库;Retrieval 文档说明向量存储中的文件可以分块、嵌入、索引并执行语义搜索。这属于外部检索能力,不代表上传文件被训练进基础模型权重。[6][7] 这里引用的是产品机制示例,而非声称所有厂商的实现相同。

十、Agent 如何组合多种知识来源? ​

Agent 处理任务时,通常同时利用:① 参数知识进行语言理解、推理和任务规划;② 当前上下文读取用户指令和中间结果;③ 工具调用访问实时或结构化数据;④ 检索系统获取文档证据;⑤ Agent Memory 记录跨步骤或跨会话状态。它们在系统中由不同组件负责,必须有明确的数据与权限边界。

一个合理的执行模式可以是:

text
用户问题
   ↓
Agent 判断问题类型、时效性与证据要求
   ├─ 一般概念解释 → 参数知识辅助生成
   ├─ 内部制度问题 → 权限检查 → 文档检索 → 来源验证
   ├─ 实时订单状态 → 业务 API 查询 → 结构化校验
   └─ 复杂研究问题 → 多来源检索 → 对照证据 → 综合回答
   ↓
根据证据强度回答;证据不足则说明限制或请求确认

这里的“判断问题类型”是系统策略和 Agent 行为设计问题,并非模型必然可靠完成。对于高风险操作,应使用确定性的权限校验、工具白名单、数据隔离与人工审批。检索结果也应被视为不可信外部内容:其中可能包含恶意指令,不能把文档正文提升为系统指令。这部分的安全机制将在 A10、H2 等专题深入研究。

10.1 一个实用的知识路由决策表 ​

问题特征优先机制必要检查
稳定的通用概念模型参数知识重要结论可抽样核验
需要明确出处的研究结论检索权威文献来源、版本、引用对应关系
实时数值或业务状态权威 API/数据库鉴权、时间戳、字段校验
企业内部规范权限控制的知识检索版本、生效日期、可见范围
多步骤个人任务状态Agent Memory/状态存储用户授权、生命周期、纠错
高风险决策证据链 + 规则 + 人工复核不确定性、责任边界、审计

十一、工程实践:建立知识来源治理规则 ​

实际系统应为每个可引用知识条目记录最少以下字段:source_id、title、origin、retrieved_at、effective_at(若适用)、version、access_scope、content_hash、owner。这样才能区分“今天检索到的旧文件”和“今天生效的新政策”。对于数据库结果还应记录查询条件与响应时间;对于网页信息,应考虑网页变动和引用失效。

推荐按三个维度为问题分级:时效性(稳定/近期变化/实时)、证据要求(一般说明/必须引用/审计级)和后果风险(低/中/高)。再制定可执行的路由规则,例如“实时且高风险的问题禁止仅凭参数知识作答”“涉及内部政策必须返回有效版本和来源”“权限不足不得检索或引用受限文档”。这些规则需要在应用代码和数据访问层实现,而非只写在 Prompt 中。

十二、常见误区与纠正 ​

误区一:模型的全部知识都以可读事实存储在参数中。 参数是数值表示与计算机制;事实关联可能分布在网络中,且受提示和任务格式影响。

误区二:只要模型答对,就证明它记住了原始训练句子。 正确答案可能来自多种机制;仅凭输出不能定位训练来源。

误区三:上下文中提供新知识,就相当于训练了模型。 上下文影响当前推理,通常不会永久修改权重。

误区四:RAG 可以保证没有幻觉。 检索与生成都有错误路径,必须分别验证。

误区五:模型越大,任何事实都越准确。 模型规模只是众多变量之一,领域、时间、训练数据、后训练与提示格式都重要。

误区六:模型自信地回答意味着事实可信。 自然语言置信表达不等于校准概率或独立证据。

误区七:微调是更新知识库的最佳方法。 对频繁变化、需要权限和溯源的资料,外部数据系统往往更合适。

十三、完整案例:构建一个事实问答的最小评估闭环 ​

目标不是训练新模型,而是比较同一模型在不使用外部知识与提供可信文档证据两种条件下的行为。建议选择 40—100 条可核验事实作为起步样本(数量仅为实验设计建议,不是通用统计门槛),按稳定事实、近期变更、内部私有信息、不可回答问题四组分层。

步骤一:构建事实卡。 每张卡包括问题、标准答案、别名、权威来源、来源版本、生效日期、风险等级、是否允许回答。对内部资料只在授权环境测试。

步骤二:基线组。 禁用搜索和检索,仅向模型提问;同一事实准备 2—3 种改写。记录模型版本、温度、输入、输出、延迟与是否拒答。需要区分 API 实际是否暗中启用了检索或联网功能。

步骤三:证据组。 向模型提供一段可核验、带来源编号的材料;要求只根据材料回答并引用证据。保持其他条件尽量一致。该组测量的是“给定证据时的利用能力”,不是完整检索质量。

步骤四:检索组。 将文档放入检索系统,使用同样的问题自动召回证据。分别测量检索命中率、证据正确性、回答准确率和引用有效性。将“未检索到正确证据”和“检索到了但模型答错”分开归因。

步骤五:冲突测试。 给出一条模型可能熟悉的旧事实和一条带日期的新权威事实,观察模型是否正确选择有效版本;再测试来源不可信、证据相互冲突和无证据场景。

步骤六:输出评估报告。 至少报告各组样本量、正确数、拒答表现、错误类型和代表性失败案例。比较不同组时保持模型版本、问题集合与评判标准一致;不要把样本选择或提示变化造成的差异误认为检索带来的提升。

这一案例体现参数知识研究的工程意义:我们不是只想知道模型能回答多少道题,而是要建立何时依赖模型、何时补充证据、何时必须拒答或人工复核的可验证规则。

十四、技术选型与实践建议 ​

在设计 AI 应用时,可以先按事实稳定性 × 更新频率 × 来源要求 × 结构化程度 × 权限敏感性选择知识方案。稳定常识和低风险解释可以主要利用参数知识;需要精确字段的业务数据优先使用结构化查询;大量文档问答适合信息检索或 RAG;复杂任务可以组合多种机制。若任务主要是让模型学会某种专业表达或输出风格,才进一步考虑微调。每个选择都应通过真实任务评估,而不是按技术热度决定。

在组织级系统中,建议将“知识是否存在”与“知识是否可被访问”分别管理。权限控制必须发生在检索和数据读取之前或过程中,不能指望模型在读到敏感内容后再自行决定不泄露。需要可审计的回答应附来源 ID、版本和必要引用片段;引用只能证明系统引用了某份材料,不能自动证明材料正确。

十五、研究局限、验证状态与更新记录 ​

本篇核对了参数知识探测、知识编辑和 RAG 的代表性原始研究,并检查了截至研究日可访问的 OpenAI File Search / Retrieval 官方文档。经典研究的实验对象、模型架构和年代各不相同,不能直接推断 2026 年所有闭源或开放权重模型的内部知识分布。模型机制可解释性、长期知识更新、训练数据溯源和最新模型的事实性表现仍需专题化跟踪。

文中离线评测代码属于可运行示例,其核心断言应由本地 Python 执行验证;未调用在线模型,也未运行 GPU 训练、模型编辑或真实 RAG 对照实验。涉及特定服务的 API 参数与产品行为,请在实际开发当天复查官方文档。本篇结论是基于文献与机制的研究综合,而非对某一当前模型的实测评级。

研究状态:Reviewing(待审核)。 主要待补充:不同模型规模和训练阶段的知识变化实证;针对最新模型的统一基准实测;不同语言和多模态知识的专项研究;知识更新的长期回归实验。

十六、与其他专题的知识边界 ​

  • M6 · Pre-training & Post-training:研究训练方法和参数优化细节;K1 只解释它们对知识形成的作用。
  • M7 · Inference & Decoding:研究 token 生成与采样算法;K1 只解释知识如何在输出行为中显现。
  • E2 · Prompt Engineering:研究输入设计;K1 强调提示如何影响知识测量与提取。
  • E3 · Context Window:研究上下文容量与管理;K1 区分临时上下文与持久参数。
  • K2 · Embeddings:研究向量表示与语义空间,不等同于模型参数中的全部知识。
  • K3 · Vector Databases / K4 · Information Retrieval:研究外部数据索引、查询与排序。
  • K5 · RAG / K6 · Knowledge Base / K7 · Retrieval Evaluation:研究外部知识的应用架构、治理与评价。
  • A5 · Memory / A6 · Knowledge:研究 Agent 级长期状态与知识能力的组织方式。

十七、参考文献与资料 ​

[1] Petroni, F., et al. (2019). Language Models as Knowledge Bases? EMNLP. 研究机构原始介绍;LAMA 项目仓库。用途:参数知识的事实关系探测及其限制。

[2] Jiang, Z., et al. (2020). How Can We Know What Language Models Know? TACL / arXiv:1911.12543. 论文。用途:提示与知识探测方法的敏感性。该文作为经典背景资料列出,本文未独立复核全部实验细节。

[3] Meng, K., et al. (2022). Locating and Editing Factual Associations in GPT. NeurIPS. 正式论文页。用途:事实关联的因果追踪与定向参数编辑。

[4] Carlini, N., et al. (2021). Extracting Training Data from Large Language Models. USENIX Security. 论文。用途:训练数据记忆化与隐私风险;此处仅引用其研究主题,不推断所有模型具有相同风险水平。

[5] Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. 论文。用途:参数化与非参数化知识协同的经典定义。

[6] OpenAI. File Search — API Documentation. 官方文档。2026-10-27 检索。用途:外部文件检索能力的当前实现示例。

[7] OpenAI. Retrieval — API Documentation. 官方文档。2026-10-27 检索。用途:向量存储、语义检索与文件索引机制示例。

[8] Mallen, A., et al. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL. 论文。用途:不同知识来源的可靠性比较;列为延伸阅读,本文未逐项复核其定量结论。


本篇核心判断: 参数知识是训练形成的可利用表征与关联能力,而不是可追溯的事实数据库。模型输出的正确性需要独立验证;在时效、来源、权限或风险要求较高的任务中,应将模型能力与外部知识、确定性查询和系统级验证机制结合使用。