04 · AI 如何获取和利用外部知识？ - Knowledge & Retrieval

所属知识库：Agent 全栈技术地图
所属领域：01 · AI
所属章节：04 · AI 如何获取和利用外部知识？ - Knowledge & Retrieval
文档类型：章节导读
版本：v1.0
更新日期：2026 年 10 月 27 日
核心问题：AI 模型的知识从哪里来？模型在训练中获得的知识与外部知识有什么区别？计算机如何表示、存储和检索知识？Embedding、向量数据库、信息检索、RAG 和知识库之间是什么关系？如何让 AI 模型有效利用外部信息，并评估知识检索与回答的质量？

主要介绍本章节的研究定位、知识体系、七篇专题之间的技术关系，以及完成学习后应该建立的认知。具体技术原理与工程实现将在 K1-K7 的独立研究中展开。

一、章节概述

知识是人工智能理解信息、回答问题和完成复杂任务的重要基础。

现代 AI 模型通过大规模训练学习语言、概念、事实及其统计关联，形成能够支持文本生成、信息分析和问题回答的内部知识与能力。然而，模型在训练过程中获得的知识并不能覆盖所有实际应用需求。对于不断变化的现实信息、企业内部文档、专业领域资料以及需要明确证据支持的问题，仅依靠模型参数中的知识通常是不够的。

例如，当我们要求 AI 分析一份最新发布的研究报告、查找某个项目的历史资料，或者回答企业内部业务流程相关的问题时，模型可能并没有在训练阶段接触过这些信息。即使模型能够生成看似合理的回答，也不代表它掌握了准确、完整或最新的事实。

因此，实际 AI 应用通常需要建立一种机制，使模型能够在处理任务时获取、检索和利用外部信息。

这就涉及一组相互关联的技术：知识表示（Knowledge Representation）、Embedding、信息检索（Information Retrieval）、向量数据库（Vector Databases）、检索增强生成（Retrieval-Augmented Generation，RAG）、知识库（Knowledge Base），以及检索与回答质量评估（Retrieval Evaluation）。

这些技术分别解决不同的问题。有的负责将信息转化为适合计算机处理的表示，有的负责组织和存储数据，有的负责从大量资料中寻找相关内容，还有的负责将检索结果提供给模型，使其能够结合外部信息完成回答或任务。

对于 Agent 技术体系而言，外部知识尤其重要。

Agent 在执行任务时，不仅需要理解用户指令，还可能需要查阅文档、检索资料、访问数据库、获取最新信息，并根据获得的证据进行分析、规划和行动。外部知识的质量、检索方式和更新机制，会直接影响 Agent 的任务表现与可靠性。

本章节将按照「模型内部知识 → 信息表示 → 数据存储 → 信息检索 → 检索增强生成 → 知识库构建 → 质量评估」的顺序，研究 AI 获取和利用知识的主要技术机制，为后续 Agent 的 Knowledge、Memory、Tools，以及 Agent System 的知识服务架构建立基础。

二、本章节研究什么？

本章节包含七个相互关联的研究主题。

编号	研究主题	核心研究问题
K1	模型参数知识（Parametric Knowledge）	AI 模型的知识从哪里来？训练过程中形成的知识以什么方式存在？模型内部知识有哪些局限？
K2	向量嵌入（Embeddings）	什么是 Embedding？文本等信息如何被表示为向量？向量之间的距离和相似度代表什么？
K3	向量数据库（Vector Databases）	什么是向量数据库？它如何存储、索引和查询向量？与传统数据库有什么区别？
K4	信息检索（Information Retrieval）	AI 如何从外部资料中寻找相关信息？关键词检索、语义检索、混合检索与重排序如何工作？
K5	检索增强生成（Retrieval-Augmented Generation）	什么是 RAG？如何将外部信息检索与模型生成结合起来？RAG 系统由哪些环节构成？
K6	AI 知识库（Knowledge Base）	如何构建可供 AI 使用的知识库？如何完成资料采集、解析、组织、索引、更新与管理？
K7	检索与回答质量评估（Retrieval Evaluation）	如何判断检索结果是否相关、完整和准确？如何评价 AI 是否正确利用了外部知识？

这七个主题并不是七种相互独立的技术，而是从不同角度研究同一个问题：如何让 AI 系统获得、组织、检索、利用和验证外部知识。

其中，K1 主要解释模型自身的知识来源与局限；K2-K4 研究外部信息如何表示、存储和检索；K5 研究检索结果如何参与模型生成；K6 研究如何将这些技术组织为可维护的知识系统；K7 则研究整个知识获取与利用过程的实际效果。

需要注意，七篇文章的排列是一条便于学习的认知路径，并不意味着所有 AI 知识系统都必须使用 Embedding、向量数据库或 RAG。例如，某些知识检索任务可以通过关键词索引、关系数据库或结构化查询完成。

三、如何理解本章节的技术逻辑？

理解 AI 如何获取和利用知识，需要首先区分两种不同的知识来源。

第一种是模型内部知识（Parametric Knowledge）。模型通过训练调整参数，学习数据中的规律和关联。推理时，模型可以利用这些参数中形成的知识与能力生成回答，但这些知识并不等同于一个可以直接查询、逐条核验的事实数据库。

第二种是外部知识（External Knowledge）。这些知识以文档、网页、数据库记录、文件、结构化数据等形式存在于模型参数之外。AI 系统可以通过检索、查询或工具访问，在任务执行过程中获取相关信息。

两种知识来源可以相互补充。模型利用自身的语言理解与推理能力处理问题，外部知识则提供任务所需的事实、背景和证据。

对于基于检索的知识利用系统，其基本技术流程可以概括为：

                  外部知识来源
                       │
          ┌────────────┼────────────┐
          │            │            │
        文档          网页         数据库
          │            │            │
          └────────────┼────────────┘
                       │
                       ▼
                数据采集与解析
                       │
                       ▼
                知识组织与处理
                       │
             ┌─────────┴─────────┐
             │                   │
             ▼                   ▼
         文本索引             向量表示
             │                   │
             ▼                   ▼
         关键词检索           语义检索
             │                   │
             └─────────┬─────────┘
                       │
                       ▼
                检索与结果排序
                       │
                       ▼
                获取相关知识内容
                       │
                       ▼
                提供给 AI 模型
                       │
                       ▼
                生成回答或执行任务
                       │
                       ▼
                质量评估与反馈

这是一种典型的检索增强知识利用流程，并非所有系统的固定架构。实际应用还可能包含元数据过滤、权限检查、查询改写、知识图谱、结构化数据库查询、缓存及多轮检索等环节。

从研究角度看，这个过程可以分为五个层次。

第一，知识从哪里来？ 需要区分模型训练中获得的内部知识与外部信息来源，理解两者的特点、适用范围和局限。

第二，知识如何表示和组织？ 需要研究文本、文档和其他信息如何转化为可计算、可存储、可检索的数据形式，以及 Embedding 和索引结构发挥什么作用。

第三，知识如何被找到？ 需要理解信息检索的基本机制，包括关键词匹配、语义相似度、检索排序和相关性判断。

第四，知识如何被 AI 利用？ 需要研究 RAG 等技术如何将检索结果与模型输入结合，以及模型如何依据外部资料完成回答、分析和任务处理。

第五，知识系统如何被构建、管理和评估？ 需要研究知识库的数据生命周期、更新机制、权限管理、检索质量与回答可靠性。

这五个层次共同构成本章节的核心技术逻辑。

四、为什么需要研究知识与检索技术？

在实际开发中，直接调用一个能力较强的 AI 模型，已经可以完成许多知识问答、文本分析和内容生成任务。

但当 AI 需要处理特定领域、持续变化或具有明确来源要求的信息时，仅依赖模型自身能力会面临一些问题。

首先是知识覆盖与时效性问题。模型的训练数据存在覆盖范围和时间限制，无法保证掌握某个组织的全部内部资料，也无法保证所有事实都反映最新变化。

其次是信息准确性与可追溯性问题。模型可能生成不准确的事实，或者无法可靠说明某个结论的具体依据。对于研究报告、企业知识问答和专业分析等场景，能够定位原始资料并验证结论往往十分重要。

再次是知识管理与更新问题。实际业务中的文档、制度、产品信息和研究资料会不断变化。如果每次更新都依赖重新训练模型，通常既不经济，也不适合快速迭代的应用需求。外部知识系统则可以通过数据更新、索引维护和检索机制，使 AI 在使用时获取相应资料。

最后是复杂任务中的知识利用问题。一个 Agent 可能需要在任务执行过程中多次查阅不同来源，比较资料、发现信息缺口，并根据新的检索结果调整后续行动。此时，知识获取不再只是一次简单的问答，而是整个任务执行流程中的重要组成部分。

因此，学习知识与检索技术，不只是为了掌握如何搭建一个 RAG 应用，更是为了理解如何为 AI 和 Agent 建立可靠的信息获取与利用能力。

同时需要认识到，外部检索并不能自动消除模型错误。如果检索结果不相关、资料本身存在错误、上下文组织不合理，或者模型没有正确利用证据，最终回答仍然可能不准确。

这也是本章节需要同时研究知识表示、检索机制、系统构建和质量评估的原因。

五、完成本章节后应该掌握什么？

完成 K1-K7 的研究后，应当建立以下技术认知。

理解知识来源。 能够解释模型内部知识如何形成，区分参数知识与外部知识，认识模型知识覆盖、时效性和事实可靠性的局限。

理解知识表示。 能够说明 Embedding 的基本原理，理解信息如何被映射到向量空间，以及向量相似度与语义相关性之间的关系和限制。

理解知识存储。 能够区分向量数据库、关系数据库和全文检索系统的基本职责，理解向量索引、相似度搜索和元数据过滤等机制。

理解信息检索。 能够解释关键词检索、语义检索、混合检索和重排序的基本工作方式，并根据任务特点分析不同检索方案的适用条件。

理解 RAG 技术。 能够说明检索增强生成的基本架构，理解查询处理、检索、上下文构建、模型生成和结果验证之间的关系。

建立知识库工程认知。 能够理解 AI 知识库从数据采集、文档解析、知识组织、索引构建到更新维护的完整生命周期，并认识数据质量、权限和版本管理的重要性。

理解质量评估。 能够区分检索质量与最终回答质量，理解如何通过相关性、召回率、排序指标、证据支持程度和任务成功率等方法评价系统效果。

建立系统应用认知。 能够将知识与检索技术应用到 Agent 的 Knowledge、Memory 和 Tools 设计中，并理解其在 Agent System 知识服务、数据管理和任务执行中的作用。

本章节的最终目标，是形成一套完整的知识利用技术认知框架：

理解知识从哪里来、如何表示和存储、如何被检索、如何参与模型生成，以及如何判断整个过程是否可靠。

六、章节目录

K1 · AI 模型的知识从哪里来？

Parametric Knowledge｜模型参数知识

研究 AI 模型的知识来源、训练过程中的知识形成机制，以及参数知识的表达方式与局限。重点区分模型参数中学习到的信息、当前上下文中的信息和外部知识来源，并讨论知识时效性、事实准确性及知识更新等问题。

K2 · 什么是 Embedding？

Embeddings｜向量嵌入

研究 Embedding 的基本概念、向量表示原理及其在语义理解和信息检索中的作用。重点理解文本等信息如何被映射到向量空间、相似度如何计算，以及不同 Embedding 模型和向量表示方法的特点与局限。

K3 · 什么是向量数据库？

Vector Databases｜向量数据库

研究向量数据库的基本组成、数据组织方式、向量索引与近似最近邻搜索机制。重点理解向量如何被存储和查询，以及向量数据库与关系数据库、全文检索系统之间的区别和联系，并进一步讨论索引选择、元数据过滤和工程应用。

K4 · AI 如何检索外部信息？

Information Retrieval｜信息检索

研究信息检索的基本原理与技术体系，包括倒排索引、关键词检索、语义检索、混合检索和结果重排序。重点理解用户查询如何转化为检索请求、系统如何从大量候选信息中找到相关内容，以及不同检索策略如何影响检索质量。

K5 · 什么是 RAG？它如何工作？

Retrieval-Augmented Generation｜检索增强生成

研究 RAG 的基本概念、系统架构与运行机制，重点解释外部知识如何通过检索进入模型上下文，以及检索结果如何影响模型生成。进一步研究查询处理、文档分块、上下文构建、引用溯源、多轮检索和常见 RAG 架构，并讨论其工程问题与能力边界。

K6 · 如何构建 AI 知识库？

Knowledge Base｜AI 知识库

研究面向 AI 应用的知识库如何设计、构建和维护。重点包括知识来源管理、数据采集、文档解析、数据清洗、内容组织、索引构建、增量更新、权限控制、版本管理和知识生命周期，并分析不同类型知识库的技术架构与应用场景。

K7 · 如何评估知识检索与回答质量？

Retrieval Evaluation｜检索与回答质量评估

研究知识检索系统与检索增强生成系统的质量评估方法，重点区分检索阶段的相关性、召回率和排序质量，以及生成阶段的事实准确性、证据支持程度、完整性与回答质量。进一步讨论评测数据集、人工评价、自动化评估和端到端测试，建立知识系统持续优化的基本方法。

七、关联章节

前置研究

02 · AI 模型是如何构建和工作的？ - Model Architecture

本章节中的 M4 · Large Language Models、M6 · Pre-training & Post-training 和 M7 · Inference & Decoding，有助于理解模型参数知识的形成方式，以及模型如何利用输入上下文生成回答。

03 · 如何使用和管理 AI 模型？ - Model Engineering

其中 E1 · Model API、E2 · Prompt Engineering 和 E3 · Context Window，与知识检索的工程实现密切相关。模型 API 提供调用接口，Prompt Engineering 影响外部资料如何进入模型输入，Context Window 则决定检索内容如何受到上下文容量与管理策略的约束。

后续研究

02 · Agent → A5 · Memory

研究 Agent 如何保存、组织、检索和使用跨任务、跨会话的信息。知识检索技术可以作为 Agent 记忆系统的重要实现基础，但 Agent Memory 还涉及状态、时间、记忆形成与更新策略等问题。

02 · Agent → A6 · Knowledge

研究 Agent 如何获取和利用任务所需的外部知识，以及如何将知识来源、检索能力和上下文构建整合为 Agent 的内部能力组件。

02 · Agent → A7 · Tools

研究 Agent 如何通过工具访问搜索引擎、数据库、文件系统和其他外部信息来源。知识检索可以通过工具调用实现，但工具调用本身还涉及执行控制、权限和错误处理等机制。

03 · Agent System → L2 · Platform Services

研究 Agent System 如何提供可复用的基础软件服务，其中可以包括数据库、存储、检索、缓存和知识服务等基础能力。

03 · Agent System → H9 · Data Governance

研究系统如何管理数据来源、访问权限、生命周期和治理策略，为知识系统的可靠运行提供数据管理基础。

研究边界

本章节主要研究 AI 获取和利用知识所依赖的基础技术，以及这些技术如何构成知识检索与知识库系统。

Agent 如何主动决定何时检索、如何规划多步知识获取，以及如何在长期任务中使用记忆，将在后续 Agent 专题中进一步研究。

多个 Agent 如何共享知识、协同检索和管理统一知识服务，则属于 Agent System 的系统架构与工程治理研究范围。

通过这样的划分，可以将基础知识技术、Agent 的知识利用能力和 Agent System 的知识服务架构联系起来，同时避免不同章节之间出现不必要的重复。

八、参考文献与延伸阅读

以下资料为本章节提供基础理论和技术研究入口。具体技术实现、现行框架版本与工程实践，将在 K1-K7 的独立专题中依据实际研究日期进一步核验。

[1] Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. https://arxiv.org/abs/2005.11401

RAG 的代表性研究，提出将参数化生成模型与外部非参数化知识检索相结合，为理解检索增强生成提供基础。

[2] Karpukhin, V., et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP. https://arxiv.org/abs/2004.04906

密集向量检索的重要研究，介绍如何通过双编码器学习查询与文本段落的向量表示，并用于开放域问答检索。

[3] Robertson, S., & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval.

介绍概率相关性模型与 BM25，为理解关键词检索、文档相关性评分及传统信息检索方法提供理论基础。

[4] Johnson, J., Douze, M., & Jégou, H. (2019). Billion-scale Similarity Search with GPUs. IEEE Transactions on Big Data. https://arxiv.org/abs/1702.08734

研究大规模向量相似度搜索的技术方法，是理解向量索引、近似搜索和向量检索系统的重要参考。

[5] Malkov, Y. A., & Yashunin, D. A. (2018). Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE Transactions on Pattern Analysis and Machine Intelligence. https://arxiv.org/abs/1603.09320

提出 HNSW 近似最近邻搜索方法，为理解现代向量检索系统中的图索引机制提供基础。

[6] Gao, Y., et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997

系统梳理 RAG 的主要技术环节、架构分类、增强方法与评估问题，可作为后续研究 RAG 系统设计的参考。

[7] Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press. https://nlp.stanford.edu/IR-book/

信息检索领域的经典教材，涵盖文本处理、索引、检索模型、排序与评价等基础知识，为 K3、K4 和 K7 提供理论基础。

章节研究目标： 建立从模型内部知识到外部知识获取、表示、存储、检索、生成与评估的完整技术认识，理解 AI 如何将外部信息转化为可用于回答问题和执行任务的知识能力，并为后续 Agent 和 Agent System 的知识架构研究奠定基础。