Skip to content

05 · AI 具备哪些能力,又存在哪些局限? - Capabilities & Limitations ​

所属知识库:Agent 全栈技术地图
所属领域:01 · AI
所属章节:01 · 什么是 AI?如何发展? - Fundamentals
文档类型:基础理论与能力评估研究
版本:v1.0
更新日期:2026 年 10 月 27 日
核心问题:AI 具备哪些能力?这些能力是如何形成的?如何判断模型是否真正能够完成任务?AI 存在哪些技术局限?开发者应如何根据能力与风险设计实际应用?

专题导读 ​

前四篇分别研究了 AI 的定义、技术分类、发展历史和生成式 AI。这一篇将从实际能力和工程应用的角度,回答一个更关键的问题:截至 2026 年 10 月,AI 究竟能够完成哪些任务?哪些能力已经具有较高实用价值,哪些仍然存在明显限制?

本文将区分模型能力、任务表现和系统能力,并重点讨论可靠性、事实准确性、复杂推理、长上下文、工具执行、安全及评估方法,为后续 Agent 和 Agent System 研究建立判断基础。

一、研究概述 ​

人工智能经过长期发展,已经能够执行多种过去主要依赖人类完成的信息处理任务。

现代 AI 模型可以识别图像、处理自然语言、生成文本和代码、分析数据,并在一定条件下解决复杂问题。部分模型还可以通过外部工具访问软件系统、获取信息或参与多步骤任务。

但 AI 能够执行某项任务,并不意味着它能够在所有条件下稳定完成该任务。

例如,一个语言模型可能在数学基准测试中取得较高成绩,却在某个实际业务计算中产生错误;一个 Coding Agent 可能成功修改代码,却遗漏某些边界条件;一个多模态模型可能正确描述图片中的主要物体,却无法可靠识别其中的细小文字或空间关系。

因此,研究 AI 能力时,不能只关注模型能够展示哪些功能,还需要分析这些功能在不同条件下的准确性、稳定性和适用范围。

本文将 AI 能力研究划分为三个层次。

第一层是模型能力(Model Capabilities)。 研究模型本身能够处理哪些信息、执行哪些计算任务,以及能够产生什么形式的输出。

第二层是任务表现(Task Performance)。 研究模型在特定任务、数据和评价条件下,能够达到什么样的质量水平。

第三层是系统能力(System Capabilities)。 研究模型与外部知识、工具、运行环境和软件机制结合后,整个系统能够完成哪些任务。

这三个层次相互关联,但不能混为一谈。

1.1 为什么需要区分能力与局限? ​

AI 模型的实际表现受到多个因素影响。

例如:

  • 模型架构和参数;
  • 训练数据和训练方法;
  • 输入内容与上下文;
  • 推理阶段的计算资源;
  • 外部知识和工具;
  • 任务复杂度;
  • 评价标准;
  • 执行环境。

因此,不能仅根据模型名称或参数规模判断其实际能力。

更准确的研究方式,是围绕具体任务建立评价条件,并通过测试验证模型表现。

1.2 本文的研究范围 ​

本文主要讨论现代机器学习模型,尤其是深度学习、基础模型、大语言模型和多模态模型的能力与局限。

传统符号 AI、搜索算法和强化学习系统也具有各自的能力边界,但本文不会逐一展开其全部技术细节。

对于 Agent 相关内容,本文主要讨论模型能力如何影响 Agent 的实际表现。

Agent 的执行机制、系统可靠性和安全治理将在后续章节进一步研究。

二、AI 的能力应该如何分类? ​

人工智能的能力可以从信息处理和任务执行的角度进行分类。

为了建立统一的研究框架,本文将其概括为七个主要方向。

能力类型核心问题典型任务
感知能力(Perception)AI 如何识别和处理外部信息?图像识别、语音识别、目标检测
语言能力(Language)AI 如何处理自然语言?问答、翻译、摘要、信息提取
知识处理能力(Knowledge Processing)AI 如何表示、组织和利用知识?知识问答、文档分析、检索辅助
推理能力(Reasoning)AI 如何处理逻辑关系和复杂问题?数学推理、代码分析、问题求解
生成能力(Generation)AI 如何产生新的内容?文本、图像、音频、视频和代码生成
规划与决策能力(Planning & Decision-Making)AI 如何选择行动以实现目标?路径规划、策略选择、任务分解
行动与交互能力(Action & Interaction)AI 如何与外部环境交互?工具调用、计算机操作、机器人控制

这七类能力是一种便于研究的分类方法,并不是相互独立的技术模块。

例如,一个能够通过视觉操作网页的 Agent,可能同时使用感知、语言理解、推理、规划和行动能力。

因此,复杂 AI 应用通常需要多种能力协同工作。

三、感知能力:AI 如何理解外部信息? ​

感知能力是人工智能的重要研究方向,主要研究如何从图像、声音、视频和其他数据中提取有用信息。

3.1 计算机视觉 ​

计算机视觉(Computer Vision)研究如何让计算系统处理和分析视觉信息。

典型任务包括:

  • 图像分类;
  • 目标检测;
  • 图像分割;
  • 光学字符识别;
  • 图像描述;
  • 视频理解。

例如,一个视觉模型可以识别图片中的车辆、行人和建筑物。

现代多模态模型还可以根据图像内容回答自然语言问题。

3.2 语音与音频处理 ​

AI 可以通过语音识别、语音合成和音频理解等技术处理声音信息。

例如:

text
用户语音
   │
   ▼
语音识别
   │
   ▼
文本或语义表示
   │
   ▼
语言模型处理
   │
   ▼
生成回答
   │
   ▼
语音合成
   │
   ▼
语音输出

实际系统也可能使用端到端的语音模型,而不必经过完整的文本中间表示。

3.3 感知能力的主要局限 ​

感知模型可能受到输入质量和环境变化影响。

例如,图像中的遮挡、低分辨率、复杂光照和特殊视角,都可能影响识别结果。

多模态模型还可能在细节识别、空间关系和复杂场景理解方面出现错误。

因此,感知能力不能仅根据少量示例判断,需要在不同环境和数据条件下进行测试。

四、语言能力:AI 如何处理自然语言? ​

自然语言处理(Natural Language Processing,NLP)是人工智能的重要研究方向。

现代大语言模型显著扩展了 AI 的语言处理能力。

4.1 语言理解与信息提取 ​

AI 可以根据文本执行分类、信息提取、实体识别和语义分析等任务。

例如,从一份合同中提取合同主体、金额、日期和主要义务。

4.2 问答与知识解释 ​

语言模型可以根据输入问题生成解释、总结或回答。

例如,解释某项技术概念、比较不同方案或整理研究资料。

但语言表达能力与事实准确性并不完全一致。

模型可以生成结构清晰、表达流畅的回答,同时包含错误信息。

4.3 翻译与文本转换 ​

AI 可以执行翻译、摘要、改写和文本格式转换。

例如,将技术论文摘要翻译为中文,或将会议记录整理为行动清单。

这些任务通常具有较高实用价值,但仍可能出现术语误译、信息遗漏和语义偏差。

4.4 语言能力的主要局限 ​

语言模型的输出依赖训练数据、上下文和生成机制。

模型可能错误理解用户意图,遗漏重要条件,或者对含糊问题作出未经验证的假设。

因此,在高精度任务中,需要通过结构化输入、输出验证和人工审核提高可靠性。

五、知识处理能力:AI 如何获取和利用知识? ​

AI 模型可以利用训练过程中获得的信息处理知识相关任务。

但模型的参数知识与外部知识库并不是同一种机制。

5.1 参数知识 ​

参数知识(Parametric Knowledge)是模型通过训练形成、隐含在模型参数中的统计信息和能力。

例如,语言模型可能能够解释常见的科学概念或历史事件。

但模型参数并不是一个可以直接逐条检索的传统数据库。

5.2 外部知识 ​

AI 系统可以通过搜索引擎、数据库、文档库和其他外部资源获取信息。

例如,一个研究系统可以先检索相关论文,再利用语言模型分析和总结。

这种方式能够补充模型参数知识的不足。

5.3 RAG ​

检索增强生成(Retrieval-Augmented Generation,RAG)是一类将信息检索与生成模型结合的方法。

其基本过程可以表示为:

text
用户问题
   │
   ▼
检索相关资料
   │
   ▼
将资料加入模型上下文
   │
   ▼
语言模型生成回答
   │
   ▼
输出结果与来源

Lewis 等人在 2020 年提出的 RAG 研究,是这一方向的重要基础文献。[1]

5.4 知识处理的主要局限 ​

即使模型能够访问外部知识,也不意味着它一定能够正确使用这些知识。

可能出现的问题包括:

  • 检索结果不相关;
  • 信息来源不可靠;
  • 模型误读文档;
  • 引用与结论不匹配;
  • 多个来源相互矛盾;
  • 模型忽略关键证据。

因此,知识处理能力需要同时评价检索质量、证据使用和最终回答质量。

六、推理能力:AI 能够解决复杂问题吗? ​

推理能力是现代 AI 研究中的重要方向。

它涉及逻辑关系处理、数学问题求解、代码分析、条件判断和多步骤问题解决等任务。

6.1 什么是推理能力? ​

推理(Reasoning)通常指根据已有信息、条件或规则,推导结论或解决问题的过程。

例如:

text
已知:
A 大于 B。
B 大于 C。

推导:
A 大于 C。

对于复杂任务,推理可能涉及多个中间步骤、条件约束和计算过程。

6.2 大语言模型的推理能力 ​

现代大语言模型可以处理多种推理任务。

例如:

  • 数学问题;
  • 逻辑判断;
  • 代码分析;
  • 多步骤问题求解;
  • 方案比较;
  • 任务分解。

但不同模型在这些任务上的表现差异较大。

模型能够生成看似合理的推理过程,并不保证最终结论正确。

6.3 推理模型的发展 ​

2024 年以来,推理模型和推理阶段计算成为重要研究方向。

相关方法尝试通过增加推理阶段的计算资源、改进训练方法和引入验证机制,提高复杂任务表现。

例如,OpenAI 在 2024 年发布的推理模型研究,以及 DeepSeek-R1 在 2025 年公开的研究,都涉及利用训练与推理机制改善复杂问题求解能力。[2][3]

不过,推理模型仍然可能出现计算错误、逻辑错误和不符合任务条件的输出。

6.4 推理能力的主要局限 ​

推理任务的难度受到问题结构、信息完整性和所需步骤数量等因素影响。

模型可能在熟悉的问题类型上表现较好,但在新的问题组合、复杂约束或长步骤任务中出现错误。

因此,不能简单根据单一数学或逻辑基准测试成绩判断模型的通用推理能力。

七、生成能力:AI 能够创造哪些内容? ​

生成能力是现代生成式 AI 的重要特征。

AI 可以根据输入条件生成文本、图像、音频、视频和代码等内容。

7.1 文本生成 ​

语言模型可以生成文章、报告、邮件、故事和其他文本内容。

7.2 图像生成 ​

图像生成模型可以根据文本描述或参考图像生成视觉内容。

7.3 音频与视频生成 ​

生成模型可以执行语音合成、音乐生成、视频生成和其他多媒体任务。

7.4 代码生成 ​

语言模型可以根据需求生成程序代码。

代码生成能力也可以与测试工具和执行环境结合,支持软件开发任务。

7.5 生成能力的主要局限 ​

生成内容可能存在事实错误、结构问题、细节不一致和不符合约束等情况。

例如,生成的代码可能存在逻辑错误或安全漏洞。

生成的图像可能出现空间关系不合理、文字错误或局部细节异常。

因此,生成质量需要根据具体任务建立评价标准。

八、规划与决策能力:AI 能否制定并执行计划? ​

规划与决策是人工智能的重要研究方向。

它们并不是大语言模型出现后才产生的能力。

早期符号人工智能、搜索算法和强化学习研究,都涉及规划与决策问题。

8.1 规划能力 ​

规划(Planning)通常指根据目标、当前状态和可用行动,确定实现目标的行动序列。

例如,一个路径规划系统需要根据地图和目标位置选择路线。

8.2 决策能力 ​

决策(Decision-Making)通常指根据当前信息、目标和约束,从多个候选行动中选择适当行动。

例如,一个机器人需要根据环境状态决定是否继续移动或改变路线。

8.3 大语言模型与规划 ​

现代语言模型可以根据自然语言任务生成执行计划。

例如:

text
任务:
完成一份行业研究报告。

        ↓

模型生成计划:

1. 确定研究范围
2. 收集资料
3. 分析数据
4. 整理结论
5. 撰写报告

但生成计划并不等于计划一定可执行。

模型可能遗漏依赖条件、低估任务复杂度或选择不合适的行动顺序。

8.4 规划与决策的主要局限 ​

复杂任务通常涉及动态环境、不完整信息和多个相互依赖的条件。

模型可能无法准确预测行动后果,也可能在执行过程中偏离原始目标。

因此,实际 Agent 系统通常需要结合环境反馈、状态管理和任务验证机制。

九、行动与交互能力:AI 能否操作外部环境? ​

现代 AI 系统可以通过工具接口、计算机操作和机器人控制等方式与外部环境交互。

但模型本身的输出能力与系统实际执行能力需要区分。

9.1 工具调用 ​

语言模型可以根据任务生成工具调用请求。

例如:

text
用户:
查询今天的天气。

        ↓

模型选择天气工具

        ↓

外部程序执行查询

        ↓

返回天气数据

        ↓

模型生成回答

实际工具调用由外部程序执行,而不是模型参数直接操作外部世界。

9.2 Computer Use ​

Computer Use 使 AI 系统能够通过图形界面与软件交互。

例如,识别网页、点击按钮、输入文本和操作应用程序。

这一能力扩展了 AI 与现有软件环境交互的方式。

9.3 机器人与物理环境 ​

机器人系统可以结合感知、规划、控制和学习方法,在物理环境中执行动作。

例如,机器人抓取物体、移动到指定位置或执行工业操作。

但机器人能力高度依赖硬件、传感器、控制算法和环境条件。

9.4 行动能力的主要局限 ​

外部行动通常具有比文本生成更直接的实际后果。

例如,错误的文件操作可能导致数据丢失,错误的网页操作可能提交不正确的信息。

因此,AI 系统需要根据操作风险设置权限、确认和执行约束。

十、为什么 AI 能力强,不代表任务一定能完成? ​

这是理解现代 AI 与 Agent 技术之间关系的重要问题。

模型能力和系统任务完成能力并不是同一概念。

10.1 模型能力 ​

模型能力主要反映模型在某类信息处理任务上的表现。

例如,模型能否正确回答问题、生成代码或识别图像。

10.2 任务表现 ​

任务表现反映模型在特定评价条件下的实际结果。

例如,模型在某个代码测试集上的通过率。

10.3 系统能力 ​

系统能力反映模型与工具、数据和运行环境结合后,整个系统能否完成任务。

例如,一个 Coding Agent 需要修改代码、执行测试并提交结果。

即使模型生成的代码基本正确,如果系统无法访问文件或测试环境,任务仍然可能失败。

10.4 三者的关系 ​

text
模型能力
   │
   ▼
特定任务中的表现
   │
   ▼
结合工具与执行环境
   │
   ▼
系统任务完成能力

这是一种概念上的分析结构,而不是严格的线性计算关系。

系统能力可能受到模型、工具、环境、权限和执行机制的共同影响。

因此,评价 AI 应用不能只看模型基准测试成绩。

十一、AI 的主要技术局限有哪些? ​

现代 AI 的局限可以从模型、数据、推理、系统和社会风险等多个维度研究。

11.1 幻觉与事实错误 ​

语言模型可能生成看似合理但实际错误的内容。

例如,虚构论文、错误引用或不准确的数据。

这类问题通常被称为幻觉(Hallucination)。

11.2 泛化能力有限 ​

模型可能在训练数据分布附近表现较好,但在新的环境、任务组合或异常输入中表现下降。

这种问题与机器学习中的泛化和分布外数据有关。

11.3 长上下文处理问题 ​

现代模型可以处理较长的输入内容,但上下文窗口较大并不意味着模型能够稳定利用其中的所有信息。

Liu 等人在《Lost in the Middle》中研究了语言模型在长上下文中使用信息时可能出现的位置敏感性问题。[4]

11.4 复杂任务中的错误累积 ​

多步骤任务可能涉及连续的判断和操作。

如果某一步出现错误,后续步骤可能受到影响。

因此,复杂任务通常需要检查点、验证和错误恢复机制。

11.5 对输入和提示方式敏感 ​

模型输出可能受到提示词、上下文组织和输入格式影响。

即使任务本身没有变化,不同表达方式也可能导致不同结果。

11.6 缺乏可靠的事实验证机制 ​

语言模型可以生成答案,但其内部生成过程并不天然保证事实真实性。

对于需要严格事实依据的任务,需要结合外部证据和验证方法。

11.7 安全与隐私风险 ​

AI 系统可能面临敏感信息泄露、提示注入、工具滥用和其他安全问题。

当模型能够调用外部工具时,风险可能进一步扩大。

11.8 计算资源与成本限制 ​

大型模型的训练和推理通常需要较多计算资源。

实际应用需要考虑延迟、吞吐量、Token 成本和部署条件。

十二、如何科学评估 AI 的能力? ​

AI 能力评估(AI Evaluation)是判断模型和系统表现的重要方法。

评价方法需要根据任务类型和应用环境设计。

12.1 基准测试(Benchmarks) ​

基准测试通过标准化任务和数据集评价模型表现。

例如,语言理解、数学推理、代码生成和多模态任务都具有相应的评价基准。

但基准测试只能反映模型在特定条件下的表现。

12.2 准确性与任务质量 ​

对于分类任务,可以使用准确率、精确率、召回率等指标。

对于生成任务,则可能需要评价内容质量、事实准确性、相关性和约束符合程度。

12.3 可靠性与稳定性 ​

可靠性评估关注模型在不同输入、重复执行和环境变化下的表现。

例如,同一个任务多次执行,结果是否一致。

12.4 鲁棒性与泛化 ​

鲁棒性(Robustness)关注模型面对输入扰动、噪声和异常情况时的表现。

泛化(Generalization)关注模型在未见数据和新任务条件下的表现。

12.5 安全性 ​

安全评估关注模型是否产生有害输出、泄露敏感信息或违反使用约束。

对于 Agent 系统,还需要评价工具调用和实际操作的安全性。

12.6 成本与性能 ​

工程应用还需要评价:

  • 响应延迟;
  • 吞吐量;
  • Token 消耗;
  • 计算成本;
  • 资源占用;
  • 可扩展性。

12.7 模型评估与系统评估 ​

模型评估主要关注模型本身的能力。

系统评估则关注模型与工具、数据和运行环境结合后的整体表现。

例如:

评价对象主要评价问题
语言模型回答是否准确?
RAG 系统检索是否相关?回答是否有证据支持?
Coding Agent代码修改是否正确?测试是否通过?
Computer Use Agent操作是否完成?是否违反约束?
多 Agent 系统协作是否有效?最终任务是否完成?

因此,AI 应用的评估需要根据系统结构选择不同指标。

十三、2026 年 AI 能力发展到了什么程度? ​

截至 2026 年 10 月,AI 模型已经在多种语言、视觉、编程和推理任务中表现出较强能力。

斯坦福《AI Index Report 2026》对人工智能技术能力、研究进展和产业应用进行了系统整理。[5]

但 AI 能力的发展并不是所有任务同步提升。

不同模型在数学、编程、视觉、长上下文和工具使用等任务上的表现可能存在明显差异。

因此,不能将某个模型在特定基准测试中的成绩直接理解为通用智能水平。

13.1 已具有较高实用价值的能力 ​

在适当条件下,现代 AI 已经能够有效支持:

  • 文本生成与编辑;
  • 翻译与摘要;
  • 文档信息提取;
  • 常见编程辅助;
  • 图像理解与生成;
  • 语音识别与合成;
  • 知识检索辅助;
  • 部分结构化分析任务。

这些能力已经能够被集成到实际软件产品中。

13.2 仍然需要重点验证的能力 ​

对于以下任务,通常需要更加严格的测试和监督:

  • 高精度事实研究;
  • 复杂数学与逻辑推理;
  • 长时间自主任务执行;
  • 高风险外部操作;
  • 复杂软件工程任务;
  • 涉及敏感数据的处理;
  • 医疗、法律、金融等高风险决策支持。

这些任务并不是 AI 完全无法参与,而是其实际应用需要更严格的可靠性与风险控制。

13.3 不能将模型能力等同于通用人工智能 ​

人工通用智能(Artificial General Intelligence,AGI)通常用于讨论具有广泛任务适应能力的人工智能。

但 AGI 的定义、评价标准和实现条件尚未形成完全统一的共识。

因此,不能仅根据模型能够完成多种任务,就直接认定其已经达到某种明确的 AGI 水平。

更严谨的做法,是分别评价模型在具体任务中的能力和局限。

十四、开发者应该如何根据 AI 能力设计应用? ​

理解 AI 的能力边界,是设计可靠 AI 应用的重要前提。

14.1 明确任务目标 ​

首先需要定义系统究竟要完成什么任务。

例如,是生成文章草稿,还是生成经过事实验证的正式研究报告。

两者对准确性和验证机制的要求不同。

14.2 区分模型能力与软件能力 ​

模型可以负责语言理解、内容生成和部分推理任务。

软件系统则负责数据管理、工具执行、权限控制和状态维护。

不能将所有任务责任都交给模型。

14.3 为关键结果设置验证机制 ​

对于事实、计算、代码和结构化数据等任务,应根据需要设置验证方法。

例如:

  • 事实来源核查;
  • 数学计算验证;
  • 代码测试;
  • JSON Schema 验证;
  • 人工审核。

14.4 根据风险限制行动权限 ​

对于可能产生实际后果的操作,需要根据风险设置权限和确认机制。

例如,允许 Agent 读取文件,不代表应当允许其自动删除文件。

14.5 使用真实任务进行评估 ​

通用基准测试可以用于初步比较模型。

但实际应用还需要建立与业务场景相关的测试集。

例如,一个研究 Agent 应当评价资料真实性、引用准确性、分析质量和报告完整性。

14.6 持续监控与改进 ​

AI 应用上线后,需要持续观察其表现。

模型版本变化、输入数据变化和外部环境变化,都可能影响系统结果。

因此,评估不应该只在开发阶段进行。

十五、AI 能力与 Agent 技术体系的关系 ​

本知识库将 Agent 技术体系划分为 AI、Agent、Agent System 和 Agent Platform 四个研究领域。

理解 AI 能力与局限,有助于进一步明确这些领域的职责。

15.1 AI:提供智能计算能力 ​

AI 模型可以提供感知、语言处理、推理、生成和其他能力。

但模型本身不一定负责完整任务的执行。

15.2 Agent:组织目标驱动的行动 ​

Agent 可以根据目标和环境状态,利用模型、规则和工具选择行动。

其能力不仅取决于模型,还取决于行动机制和任务设计。

15.3 Agent System:保障任务执行 ​

Agent System 负责将 Agent 与工具、数据、运行环境和其他软件组件组织为完整系统。

系统需要处理状态、权限、可靠性和错误恢复等问题。

15.4 Agent Platform:统一管理和治理 ​

Agent Platform 可以提供 Agent 创建、配置、运行、监控和生命周期管理能力。

平台的价值在于支持多个 Agent 应用的复用与治理。

因此,四者之间可以建立以下研究关系:

text
AI
提供智能计算能力
   │
   ▼
Agent
组织目标驱动的行动
   │
   ▼
Agent System
提供任务执行与系统机制
   │
   ▼
Agent Platform
提供统一管理与治理能力

这是一种研究和工程组织框架,并不意味着所有 Agent 都必须使用深度学习模型,也不意味着所有 Agent System 都需要独立平台。

十六、核心结论 ​

人工智能已经具备多种重要的信息处理与任务辅助能力。

现代 AI 可以执行感知、语言处理、知识处理、推理、生成、规划和行动相关任务。

但 AI 能够完成某类任务,并不意味着它能够在所有条件下稳定、准确和安全地完成任务。

理解 AI 能力,需要建立以下认识。

第一,AI 能力是多维度的。 感知、语言、推理、生成、规划和行动能力不能简单合并为单一指标。

第二,模型能力、任务表现和系统能力需要区分。 模型在基准测试中表现较好,不代表完整应用一定能够成功执行任务。

第三,AI 的输出不天然保证真实性和正确性。 对于事实、计算和复杂推理任务,需要适当的验证机制。

第四,模型能力受到数据、训练方法、上下文和计算资源等因素影响。 不同模型在不同任务上的表现可能存在明显差异。

第五,外部知识和工具能够扩展 AI 应用能力,但同时引入新的系统风险。

第六,复杂任务执行需要可靠的软件工程机制。 状态管理、权限控制、错误恢复和运行监控是 Agent System 的重要组成部分。

第七,AI 能力评估必须结合具体任务。 通用基准测试、真实业务测试和系统评估应当相互补充。

第八,AI 技术的发展并不意味着其局限已经消失。 对于高风险、长时间和高可靠性任务,仍然需要严格的测试、监督和治理。

对于 Agent 技术研究而言,理解 AI 能力与局限,是设计 Agent、选择模型、组织工具和构建可靠 Agent System 的重要基础。

十七、参考文献与延伸阅读 ​

17.1 AI 能力与知识处理 ​

[1] Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33.
提出检索增强生成(RAG)的重要研究。
论文:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

17.2 推理模型 ​

[2] OpenAI. (2024). Learning to Reason with LLMs.
介绍推理模型与强化学习在复杂问题求解中的应用研究。
官方研究介绍:Learning to Reason with LLMs

[3] DeepSeek-AI, et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.
研究如何通过强化学习发展大语言模型的推理能力。
论文:DeepSeek-R1

17.3 模型局限与评估 ​

[4] Liu, N. F., et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics, 12.
研究语言模型在长上下文中使用信息时可能出现的位置敏感性问题。
论文:Lost in the Middle

[5] Stanford Institute for Human-Centered Artificial Intelligence. (2026). AI Index Report 2026.
提供人工智能技术能力、研究进展、产业发展和社会影响等方面的年度研究资料。
官方报告:Stanford AI Index

[6] Lin, S., Hilton, J., & Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. Proceedings of ACL 2022.
研究语言模型在事实性问题上的真实性表现。
论文:TruthfulQA

[7] Hendrycks, D., et al. (2021). Measuring Massive Multitask Language Understanding.
提出 MMLU 基准,用于评价语言模型在多个知识领域中的表现。
论文:Measuring Massive Multitask Language Understanding

[8] Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? International Conference on Learning Representations (ICLR).
提出软件工程任务基准,用于评价模型解决真实代码问题的能力。
论文:SWE-bench

17.4 AI 风险与治理 ​

[9] National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0).
提供人工智能风险识别、评估和治理的框架。
官方资料:NIST AI Risk Management Framework

[10] OWASP. Top 10 for Large Language Model Applications.
整理大语言模型应用中的主要安全风险。
官方项目:OWASP Top 10 for LLM Applications

17.5 综合参考资料 ​

[11] Russell, S. J., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.
人工智能经典教材,系统介绍感知、推理、规划、学习和决策等研究方向。
官方教材网站:Artificial Intelligence: A Modern Approach

[12] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
深度学习经典教材,介绍神经网络、训练方法和模型泛化等基础问题。
官方在线教材:Deep Learning Book

十八、关联研究 ​

关联文档研究内容
01 · 什么是人工智能?AI 的定义、研究对象与技术边界
02 · AI、ML 与深度学习AI 技术路线之间的关系
03 · AI 主要发展阶段AI 能力发展的历史背景
04 · 生成式人工智能生成式 AI 的技术原理与应用
M1 · AI 模型是什么?它由什么构成?模型结构与基本组成
M4 · 大语言模型是如何构建的?大语言模型的能力来源
M5 · AI 模型如何理解和处理不同模态?多模态能力
M7 · AI 模型如何生成输出?推理与解码
M8 · 如何评估 AI 模型的能力与局限?模型评估方法
K5 · 什么是 RAG?它如何工作?外部知识检索与生成
A7 · Agent 如何调用工具并执行操作?工具使用与行动能力
A9 · Agent 如何推理、规划和决定行动?Agent 推理与规划
H3 · 如何评估 Agent System 的能力与执行质量?系统评估
H7 · 如何保障 Agent System 的可靠性与故障恢复?系统可靠性