M1 · AI 模型是什么?它由什么构成? - Model Fundamentals
所属知识库:Agent 全栈技术地图
所属领域:01 · AI
所属章节:02 · AI 模型是如何构建和工作的? - Model Architecture
文档类型:基础理论与模型结构研究
版本:v1.1
更新日期:2026 年 10 月 27 日
核心问题:AI 模型是什么?它由哪些部分构成?模型架构、参数和算法之间有什么区别?模型如何学习数据中的规律、处理输入并产生输出?一个 AI 模型如何从数学结构转变为能够实际运行的软件组件?
专题导读
这篇文章的目标是建立对 AI 模型的整体技术认知。重点解释模型、算法、参数、架构、训练和推理之间的关系,以及一个现代 AI 模型从数据到实际应用需要经历哪些环节。重点强化模型的数学本质、内部组成、计算机制和完整构建流程,并明确模型本体、输入输出组件与运行系统之间的边界。训练、推理和评估的深入原理留给 M2—M8 专题研究。
一、研究概述
人工智能模型(AI Model)是现代人工智能技术体系中的核心计算组件。
无论是图像识别、自然语言处理、内容生成、代码编写,还是复杂问题求解,许多现代 AI 应用都依赖模型完成相应的信息处理任务。
例如,一个图像分类模型可以根据输入图像预测物体类别;一个语言模型可以根据文本上下文生成后续内容;一个多模态模型可以结合图像和文字回答问题。
这些模型的任务不同、架构不同、训练方法也不同,但它们都涉及一个共同的技术问题:
如何通过特定的计算结构和参数,将输入信息转换为符合任务目标的输出?
理解 AI 模型,需要区分几个相互关联的概念。
模型(Model)是执行特定计算的数学或计算对象。模型架构(Architecture)定义其计算结构,模型参数(Parameters)决定具体计算行为,训练(Training)通过数据和优化方法调整参数,而推理(Inference)则是在运行阶段使用模型处理输入。
对于现代深度学习模型,这些概念构成了理解其内部工作机制的基础。
但一个真正能够投入使用的 AI 应用,通常还需要模型之外的其他软件组件,例如数据预处理、推理引擎、API 服务和业务逻辑。
因此,本篇将从三个层次研究 AI 模型:
第一,模型的数学本质。 理解模型如何通过参数化函数表示数据中的规律,以及学习、表示和泛化之间的关系。
第二,模型的内部组成。 理解架构、参数、计算结构和输入输出表示如何共同决定模型行为。
第三,模型的构建与运行。 理解模型如何通过训练获得能力,并通过软件环境完成实际推理任务。
本篇主要建立整体技术认知。神经网络、Transformer、预训练、推理与模型评估的具体技术原理,将在后续 M2—M8 中分别深入研究。
二、什么是 AI 模型?
2.1 AI 模型的基本定义
在机器学习语境中,AI 模型通常指一种通过数学结构描述数据关系,并能够利用训练过程确定或调整其参数的计算模型。
一个常见的抽象表达是:
其中:
:模型输入; :模型输出; :模型采用的计算结构; :模型参数。
例如,一个图像分类模型可以接收图片作为输入,输出不同类别对应的预测分数。
一个语言模型可以接收 Token 序列,输出下一个 Token 的概率分布。
在实际应用中,模型的输入和输出可能具有复杂的数据结构,不一定是单个数值。
例如,输入可以是矩阵、张量或多个模态的数据组合,输出也可以是向量、概率分布或其他结构化结果。
需要注意,这个表达式主要适用于参数化机器学习模型,并不能覆盖所有人工智能方法。
传统符号人工智能也可以通过规则、搜索和逻辑推理实现智能行为,而不一定需要通过梯度下降训练神经网络参数。
因此,本文将以现代机器学习模型,尤其是深度学习模型作为主要研究对象。
2.2 模型的本质:一种可计算的映射关系
从数学角度看,许多 AI 模型可以被理解为一种输入到输出的映射。
例如:
输入:
一张猫的图片
↓
图像分类模型
↓
输出:
猫的预测概率为 0.97模型通过内部计算,将原始输入转换为任务所需的结果。
但与人工编写固定判断规则不同,机器学习模型的部分计算行为由训练过程确定。
例如,开发者不需要逐条规定猫的耳朵、眼睛和毛发应该如何组合,而可以通过大量训练样本,让模型学习有助于识别猫的特征。
这种方式使模型能够处理许多难以完整编写规则的任务。
2.3 什么是函数近似?
函数近似(Function Approximation)是理解机器学习模型的重要概念。
现实世界中,许多任务的输入与输出之间存在复杂关系。
例如,根据房屋面积、地理位置、建筑年代和其他因素预测房价。
我们可能无法直接写出一个能够准确描述所有情况的数学公式。
机器学习可以通过数据训练一个参数化函数,使其近似这种关系。
假设真实关系为:
模型尝试学习:
其中,
训练的目标,是使模型输出尽可能符合任务要求。
需要注意,现实任务中不一定存在一个确定且无噪声的真实函数。
对于包含随机性或不确定性的任务,模型可能需要学习条件概率分布:
例如,语言模型通常不是为一个输入确定唯一正确的下一个词,而是估计不同后续 Token 的概率。
因此,函数近似和概率建模是理解现代机器学习模型的两个重要视角。
2.4 什么是表示学习?
表示学习(Representation Learning)研究如何让模型从数据中学习有利于任务处理的内部表示。
例如,一张图片在计算机中最初可能只是一组像素数值。
这些像素本身并没有直接标注物体类别、空间关系或语义信息。
深度神经网络可以通过多层计算,将原始数据转换为不同层次的内部表示。
原始图像
│
▼
像素数值
│
▼
低层特征表示
│
▼
中间特征表示
│
▼
高层特征表示
│
▼
任务输出在某些视觉模型中,较浅层可能学习边缘、纹理等局部特征,较深层可能形成与物体结构和类别相关的表示。
但这只是帮助理解的典型示例,不代表所有神经网络都按照相同方式组织特征。
表示学习的重要意义,是减少部分任务对人工特征设计的依赖。
模型可以通过训练形成适合当前任务的数据表示。
2.5 什么是泛化能力?
泛化(Generalization)是机器学习的重要目标。
模型不仅需要在训练数据上表现良好,还需要能够处理训练过程中没有直接见过的新输入。
例如,一个图像分类模型使用大量猫和狗的图片训练。
如果模型只能识别训练集中的图片,而无法识别新的猫狗照片,那么它的实际应用价值就十分有限。
因此,模型训练需要关注:
模型是否学习到了能够适用于新数据的规律,而不仅是记住训练样本。
泛化能力受到模型架构、训练数据、训练方法和任务分布等因素影响。
当模型过度适应训练数据中的细节或噪声时,可能出现过拟合(Overfitting)。
相反,如果模型无法充分学习任务中的有效规律,则可能出现欠拟合(Underfitting)。
泛化能力是评价 AI 模型是否真正具有实用价值的重要维度。
三、AI 模型有哪些主要类型?
人工智能包含多种不同技术路线。
从模型的知识表示和计算机制出发,可以建立以下基本分类。
| 模型类型 | 核心机制 | 代表方法 | 典型任务 |
|---|---|---|---|
| 规则与符号模型 | 使用符号、逻辑和规则处理信息 | 专家系统、逻辑推理系统 | 规则判断、知识推理 |
| 概率模型 | 利用概率关系描述数据和不确定性 | 贝叶斯网络、隐马尔可夫模型 | 概率推断、序列分析 |
| 传统机器学习模型 | 通过数据学习预测关系 | 决策树、SVM、随机森林 | 分类、回归 |
| 深度学习模型 | 利用多层神经网络学习复杂表示 | CNN、RNN、Transformer | 视觉、语言、生成 |
| 强化学习模型 | 通过环境反馈学习策略或价值 | Q-learning、策略网络 | 决策、控制、规划 |
这一分类并不是严格互斥的。
例如,强化学习系统可以使用深度神经网络表示策略,概率模型也可以结合神经网络实现。
3.1 规则与符号模型
规则模型主要依赖明确的知识表示和推理规则。
例如:
规则:
如果温度高于 30℃,则标记为高温。
输入:
当前温度为 35℃。
输出:
高温这类系统的判断过程通常具有较明确的逻辑结构。
但当问题涉及大量复杂、不确定或难以形式化的情况时,人工维护规则可能十分困难。
3.2 概率模型
概率模型通过概率分布描述数据之间的关系和不确定性。
例如,贝叶斯网络可以利用变量之间的条件依赖关系进行概率推断。
概率方法是机器学习的重要理论基础之一,也广泛存在于现代生成模型中。
3.3 传统机器学习模型
传统机器学习模型通过训练数据学习预测规律。
例如,决策树可以根据训练数据学习不同特征对应的判断条件。
支持向量机则通过优化方法学习分类边界。
这类模型通常适合结构化数据和特定预测任务。
3.4 深度学习模型
深度学习模型通过多层神经网络处理数据。
其重要特点,是能够通过训练学习复杂的数据表示。
现代图像识别、语音处理和大语言模型等技术,广泛使用深度学习方法。
3.5 强化学习模型
强化学习(Reinforcement Learning)研究智能体如何通过与环境交互,根据奖励信号学习行动策略。
它与监督学习等方法的主要区别,在于训练信号和任务形式。
强化学习系统可以使用表格方法、函数近似或深度神经网络。
因此,强化学习更适合作为一种学习范式理解,而不是与所有模型架构并列的独立结构类型。
四、AI 模型由什么构成?
对于现代参数化机器学习模型,可以从模型本体、输入输出处理和运行环境三个层次理解其组成。
4.1 第一层:模型本体
模型本体(Model Core)主要包括:
- 模型架构;
- 模型参数;
- 模型计算结构。
这三个部分共同定义模型如何执行计算。
模型架构(Architecture)
模型架构定义模型内部的计算组件及其连接方式。
例如,一个简单的神经网络可以由输入层、隐藏层和输出层组成。
输入数据
│
▼
输入层
│
▼
隐藏层 1
│
▼
隐藏层 2
│
▼
输出层
│
▼
计算结果不同架构采用不同的计算结构。
例如:
- CNN 通过卷积结构处理具有空间局部性的信号;
- RNN 通过循环结构处理序列信息;
- Transformer 通过注意力机制处理序列中不同位置之间的关系。
模型架构决定了模型能够如何组织计算。
模型参数(Parameters)
模型参数是模型内部用于确定计算行为的数值。
在神经网络中,常见参数包括权重(Weights)和偏置(Biases)。
例如:
其中:
:权重; :偏置; :输入; :输出。
训练过程可以调整
对于大型神经网络,参数可能以高维张量的形式存储。
模型计算结构(Computational Structure)
模型内部通常需要执行大量数学运算。
例如:
- 矩阵乘法;
- 向量运算;
- 非线性激活;
- 归一化;
- 卷积;
- 注意力计算。
这些计算按照模型架构组织,并使用模型参数完成具体运算。
在深度学习框架中,计算过程可以通过计算图(Computational Graph)表示。
计算图描述不同计算操作之间的数据依赖关系。
4.2 第二层:输入输出处理
模型本体通常不能直接处理所有原始信息。
实际应用需要通过输入输出组件,将外部数据转换为适合模型计算的形式。
例如:
文本输入
原始文本
│
▼
Tokenizer
│
▼
Token ID
│
▼
Embedding
│
▼
模型内部表示其中,Tokenizer 通常是模型处理流水线中的配套组件,而 Embedding 层可能属于神经网络本体的一部分。
图像输入
图像通常需要经过缩放、归一化或其他预处理,再转换为模型能够处理的张量。
音频输入
音频可能通过采样序列、频谱或其他表示进入模型。
模型输出后,也可能需要通过解码、后处理或格式转换,形成用户能够理解的结果。
4.3 第三层:模型运行环境
模型运行还需要软件和计算资源支持。
常见组成包括:
- 模型配置;
- 模型加载程序;
- 深度学习框架;
- 推理引擎;
- CPU、GPU 或其他计算设备;
- 内存与存储资源。
例如,一个模型的参数可能存储在文件中,但只有在相应软件环境中加载并执行计算,才能完成实际推理任务。
4.4 三个层次之间的关系
外部输入
│
▼
输入处理组件
│
▼
模型本体
│
├── 模型架构
├── 模型参数
└── 计算结构
│
▼
输出处理组件
│
▼
最终结果
以上过程由运行环境提供计算支持需要注意,模型本体与配套组件之间的具体边界,可能因模型类型和软件实现方式不同而有所变化。
例如,某些多模态模型将特征编码器直接作为模型的一部分,而另一些系统可能通过独立组件处理输入。
因此,研究模型结构时,应当结合具体模型的实现方式判断其组成。
五、模型架构、参数和算法有什么区别?
这三个概念在 AI 技术讨论中经常同时出现,但分别描述不同的内容。
5.1 模型架构决定计算结构
模型架构回答:
模型内部有哪些计算组件?这些组件如何连接?
例如,Transformer 定义了一类使用注意力机制和相关计算结构的神经网络架构。
5.2 模型参数决定具体计算行为
模型参数回答:
在既定计算结构中,具体使用哪些数值进行计算?
例如,两个模型可以采用相同的架构,但具有不同的参数。
因此,它们可能产生不同的输出。
5.3 算法决定计算或优化过程
算法(Algorithm)描述完成某项计算任务的方法或步骤。
例如:
- 前向传播;
- 反向传播;
- 梯度下降;
- Adam 优化;
- Beam Search;
- 随机采样。
其中,部分算法用于训练,部分算法用于推理或输出生成。
因此,算法并不等同于模型架构。
5.4 三者之间的关系
可以通过以下结构理解:
模型架构
定义计算结构
│
▼
模型参数
确定具体计算数值
│
▼
模型计算
执行相应数学运算
│
▼
模型输出训练算法可以用于确定模型参数。
推理算法则负责在运行阶段执行模型计算或组织输出生成。
模型架构与参数共同定义模型的具体计算函数,算法则描述如何训练、执行或使用这个函数。
六、AI 模型如何处理信息?
现代 AI 模型处理信息的过程,可以概括为输入表示、内部计算和输出处理三个环节。
6.1 输入表示
模型通常需要将外部信息转换为数值表示。
例如,一段文本可能经过 Tokenization,转换为 Token ID,再通过 Embedding 层获得向量表示。
对于图像和音频,模型也需要使用相应的数据表示方式。
6.2 内部计算
模型根据架构和参数执行计算。
例如,一个神经网络层可以表示为:
其中:
:输入向量; :权重矩阵; :偏置; :激活函数; :输出表示。
多个计算层组合后,可以形成复杂的非线性映射。
6.3 输出处理
模型内部计算完成后,会产生相应的输出。
例如:
| 任务 | 模型原始输出或中间结果 | 应用输出 |
|---|---|---|
| 图像分类 | 类别分数 | 类别名称 |
| 回归预测 | 数值 | 预测结果 |
| 文本生成 | Token 分数或概率分布 | 自然语言文本 |
| 图像生成 | 图像张量或潜变量 | 图片 |
| 语音识别 | Token 序列或相关表示 | 转写文本 |
模型的原始输出不一定等于用户最终看到的结果。
例如,语言模型通常需要通过解码策略选择后续 Token,再将 Token 序列转换为文本。
6.4 一个完整示例:语言模型如何处理输入?
假设用户输入:
请解释什么是人工智能。
模型处理过程可以简化为:
用户输入文本
│
▼
Tokenizer
将文本转换为 Token ID
│
▼
Embedding
将 Token 转换为向量表示
│
▼
Transformer 网络
执行多层计算
│
▼
输出层
计算候选 Token 分数
│
▼
解码策略
选择后续 Token
│
▼
重复生成
形成完整 Token 序列
│
▼
文本解码
│
▼
最终回答这一示例描述的是典型自回归 Transformer 语言模型的生成过程。
不同模型可能采用不同的输入表示、架构和输出机制。
七、AI 模型如何获得能力?
现代机器学习模型通常通过训练获得或改善任务能力。
训练的基本目标,是根据数据和训练目标调整模型参数,使模型能够在特定任务上取得更好的表现。
7.1 训练数据
训练数据是模型学习的重要信息来源。
例如:
- 图像分类模型使用图像及类别标签;
- 语言模型使用文本序列;
- 语音模型使用音频数据;
- 多模态模型可能使用图像、文本和其他模态的数据。
训练数据的规模、质量和分布会影响模型能力。
7.2 训练目标
训练目标定义模型需要学习什么。
例如,自回归语言模型可以通过预测下一个 Token 进行训练。
图像分类模型则可以通过预测正确类别进行训练。
不同训练目标会影响模型学习到的能力。
7.3 损失函数
损失函数(Loss Function)用于衡量模型输出与训练目标之间的差异。
例如,回归任务可以使用均方误差:
其中:
:目标值; :模型预测值; :样本数量。
实际模型使用的损失函数取决于任务和训练方法。
7.4 参数优化
训练算法通过优化损失函数调整模型参数。
梯度下降是神经网络训练中的重要方法。
其基本形式为:
其中:
:当前参数; :学习率; :损失函数对参数的梯度。
在实际训练中,开发者通常使用更复杂的优化算法。
7.5 训练的基本过程
训练数据
│
▼
输入模型
│
▼
模型计算
│
▼
计算损失
│
▼
计算梯度
│
▼
更新参数
│
▼
重复训练
│
▼
训练后的模型这一过程解释了模型如何通过数据和优化逐步调整其计算行为。
但模型训练并不意味着它能够自动获得所有类型的智能能力。
模型最终能够完成哪些任务,仍然受到架构、数据、训练目标和其他条件影响。
八、训练与推理有什么区别?
训练(Training)与推理(Inference)是现代机器学习模型生命周期中的两个重要阶段。
8.1 训练:形成和调整模型能力
训练阶段主要通过数据和优化方法调整模型参数。
这一过程通常包括:
- 前向计算;
- 损失计算;
- 梯度计算;
- 参数更新。
对于大型深度学习模型,训练可能需要大量计算资源。
8.2 推理:使用模型处理新输入
推理阶段主要使用训练后的模型处理新的输入。
例如,一个语言模型接收用户问题,并生成回答。
通常情况下,推理过程不会修改模型的训练参数。
但某些特殊方法可能在运行阶段调整部分参数或状态,因此这一描述并不是绝对规则。
8.3 训练与推理比较
| 比较维度 | 训练 | 推理 |
|---|---|---|
| 核心目标 | 学习或调整模型参数 | 使用模型处理输入 |
| 主要输入 | 训练数据与训练信号 | 新的任务输入 |
| 参数更新 | 通常会发生 | 通常不会发生 |
| 主要计算 | 前向计算、梯度计算、优化 | 前向计算与输出生成 |
| 主要关注 | 训练质量、收敛、泛化 | 输出质量、延迟、吞吐量 |
| 典型资源 | 训练集群或计算设备 | 推理服务器或本地设备 |
对于现代大语言模型,还需要区分预训练和后训练。
预训练通常用于获得较为通用的能力,后训练则可以进一步改善模型在特定任务或行为目标上的表现。
具体机制将在 M6 中深入研究。
九、一个 AI 模型是如何构建出来的?
一个现代 AI 模型从设计到实际使用,通常需要经历多个环节。
9.1 确定任务目标
首先明确模型需要完成什么任务。
例如:
- 图像分类;
- 文本生成;
- 语音识别;
- 代码生成;
- 多模态理解。
任务目标决定了后续架构、数据和评估方法的选择。
9.2 设计或选择模型架构
根据任务需求选择合适的计算结构。
例如,现代语言模型通常采用 Transformer 相关架构。
但不同任务也可能使用 CNN、RNN 或其他模型架构。
9.3 准备训练数据
数据准备可能包括:
- 数据收集;
- 数据清洗;
- 数据去重;
- 数据标注;
- 数据预处理;
- 数据集划分。
数据质量和覆盖范围会影响模型训练效果。
9.4 定义训练目标与损失函数
开发者需要确定模型优化什么,以及如何衡量训练误差。
不同任务使用不同的训练目标和损失函数。
9.5 执行模型训练
训练系统根据数据和训练目标调整模型参数。
大型模型可能需要分布式训练和专门的计算基础设施。
9.6 评估模型表现
模型训练过程中及训练完成后,需要通过验证和测试判断其表现。
例如:
- 任务准确性;
- 泛化能力;
- 可靠性;
- 安全性;
- 运行效率。
9.7 保存模型
训练完成后,需要保存模型参数及相关配置。
这些内容可以组织为模型文件或模型仓库。
9.8 部署与运行
模型可以部署在本地设备、服务器或云计算环境中。
部署系统负责加载模型并执行推理。
9.9 持续评估与改进
模型投入使用后,开发者可以根据实际表现进行进一步评估、调整或重新训练。
整个流程可以概括为:
任务定义
│
▼
模型架构设计
│
▼
训练数据准备
│
▼
训练目标设计
│
▼
模型训练
│
▼
模型评估
│
▼
模型保存
│
▼
模型部署
│
▼
实际推理
│
▼
持续评估与改进需要注意,模型研发通常是迭代过程。
例如,评估结果可能促使开发者重新设计训练数据、修改模型架构或调整训练方法。
十、AI 模型在计算机中如何存在和运行?
从软件工程角度看,一个能够实际运行的 AI 模型通常涉及多个文件和软件组件。
10.1 模型权重文件
模型权重文件用于保存训练得到的参数。
例如,深度学习模型可能使用 PyTorch 权重文件或 Safetensors 等格式。
权重文件本身通常不能独立完成推理。
10.2 模型配置文件
模型配置描述模型的架构和相关设置。
例如:
{
"model_type": "transformer",
"hidden_size": 4096,
"num_hidden_layers": 32,
"num_attention_heads": 32
}这是说明配置形式的示例,不对应某个特定模型。
10.3 输入输出组件
语言模型通常需要与其训练方式匹配的 Tokenizer。
图像和音频模型也可能需要相应的预处理组件。
输出阶段还可能需要解码器或其他后处理机制。
10.4 模型运行代码
模型运行需要软件框架或推理引擎执行计算。
例如:
- PyTorch;
- JAX;
- TensorFlow;
- ONNX Runtime;
- 专用模型推理引擎。
10.5 计算资源
模型运行需要相应的硬件资源。
例如:
- CPU;
- GPU;
- 其他 AI 加速设备;
- 内存;
- 存储。
不同模型的计算需求存在明显差异。
10.6 一个模型仓库可能包含什么?
以一个典型语言模型为例,其文件结构可能类似:
model/
│
├── config.json
│
├── model.safetensors
│
├── tokenizer.json
│
├── tokenizer_config.json
│
└── generation_config.json这些文件分别承担不同作用。
| 文件 | 主要作用 |
|---|---|
| config.json | 描述模型架构和配置 |
| model.safetensors | 保存模型参数 |
| tokenizer.json | 保存分词器相关数据 |
| tokenizer_config.json | 保存分词器配置 |
| generation_config.json | 保存默认生成配置 |
这只是常见示例。
实际模型可能采用分片权重、不同文件格式或其他目录结构。
因此,一个模型通常不仅是一组参数,还需要与其结构和运行方式匹配的软件组件。
十一、模型、模型服务和 AI 应用有什么区别?
在实际开发中,模型、模型服务和 AI 应用属于不同的软件层次。
11.1 模型本体(Model)
模型本体主要负责执行特定计算。
例如,一个语言模型可以根据输入 Token 计算后续 Token 的概率分布。
11.2 模型服务(Model Service)
模型服务负责将模型封装为可以被其他程序调用的服务。
例如:
- 加载模型;
- 接收请求;
- 执行推理;
- 管理计算资源;
- 返回结果。
模型服务通常通过 API 提供能力。
11.3 AI 应用(AI Application)
AI 应用面向具体用户需求。
例如,一个 AI 写作应用可能包含:
- 用户界面;
- 文档管理;
- 模型调用;
- 历史记录;
- 用户权限;
- 内容导出。
11.4 三者之间的关系
AI Application
面向用户的应用
│
▼
Model Service
模型调用与推理服务
│
▼
AI Model
模型结构与参数这是一种常见的系统架构,但不是唯一形式。
例如,移动设备可以直接在本地运行模型,而不通过远程 API 服务。
因此,模型服务是一种常见的工程封装方式,并不是模型运行的必要条件。
十二、不同 AI 模型之间有什么差异?
现代 AI 模型可以从多个维度进行比较。
12.1 架构差异
不同模型可能采用 CNN、RNN、Transformer 或其他计算结构。
架构差异会影响模型处理信息的方式。
12.2 参数规模差异
模型参数量可以从较小规模到数十亿、数千亿甚至更多。
但参数规模并不直接等于模型能力。
对于混合专家模型(Mixture of Experts,MoE),还需要区分总参数量和单次计算激活的参数量。
12.3 训练方法差异
不同模型可能使用不同的训练目标、数据和后训练方法。
这些差异会影响模型能力和行为。
12.4 模态差异
模型可以根据支持的数据类型进行区分。
例如:
- 文本模型;
- 图像模型;
- 语音模型;
- 多模态模型。
12.5 能力差异
不同模型在语言理解、数学推理、代码生成和视觉处理等任务上的表现可能不同。
因此,需要根据具体任务评价模型能力。
12.6 运行性能差异
模型可能在以下方面存在差异:
- 推理延迟;
- 吞吐量;
- 内存占用;
- 计算资源需求;
- 部署成本。
12.7 模型差异比较
| 比较维度 | 主要问题 |
|---|---|
| 架构 | 模型采用什么计算结构? |
| 参数 | 模型具有怎样的参数规模和组织方式? |
| 训练 | 模型通过什么数据和方法获得能力? |
| 模态 | 模型能够处理哪些信息形式? |
| 能力 | 模型能够完成哪些任务? |
| 性能 | 模型运行需要多少时间和计算资源? |
| 成本 | 模型训练、部署和调用需要多少资源? |
对于实际应用,模型选择需要综合考虑这些因素,而不是只关注单一指标。
十三、AI 模型与 Agent 有什么关系?
在现代 LLM Agent 中,AI 模型通常负责提供语言理解、信息分析、内容生成和部分推理能力。
但模型本身不等同于 Agent。
13.1 模型提供智能计算能力
例如,一个语言模型可以根据用户输入生成任务计划。
用户:
帮我研究一家公司的业务情况。
↓
语言模型
↓
输出:
建议的研究步骤在这个过程中,模型主要负责处理输入并生成结果。
13.2 Agent 组织任务执行
Agent 可以进一步结合模型、工具和执行机制完成任务。
例如:
用户任务
│
▼
Agent
│
├── 调用模型理解任务
├── 选择搜索工具
├── 获取外部资料
├── 调用模型分析资料
├── 检查任务进度
└── 输出研究报告模型在其中承担智能计算任务。
Agent 的其他组件则负责工具调用、状态管理、权限控制和执行流程。
13.3 一个 Agent 可以使用多个模型吗?
可以。
例如,一个 Agent 可以根据任务需求调用不同模型:
| 任务 | 可能使用的模型 |
|---|---|
| 理解用户需求 | 语言模型 |
| 分析图像 | 视觉语言模型 |
| 生成代码 | 代码能力较强的语言模型 |
| 语音识别 | 语音模型 |
| 生成图片 | 图像生成模型 |
这种机制通常涉及模型路由(Model Routing)。
13.4 为什么理解模型结构对 Agent 开发很重要?
Agent 的实际表现受到模型能力、上下文限制、工具支持和推理性能等因素影响。
例如,一个需要处理大量文档的 Agent,可能需要考虑模型的上下文窗口和长文本处理能力。
一个需要频繁调用工具的 Agent,则需要考虑模型的工具调用表现、响应延迟和成本。
因此,理解模型的内部机制和运行特征,有助于设计更加合理的 Agent。
但模型能力较强,并不意味着整个 Agent 一定可靠。
完整任务执行仍然依赖工具、运行环境、状态管理和验证机制。
十四、核心结论
AI 模型是现代人工智能技术体系中的核心计算组件。
对于现代机器学习模型而言,其主要作用是通过特定计算结构和训练得到的参数,将输入信息转换为符合任务目标的输出。
理解 AI 模型,需要建立以下认识。
第一,AI 模型可以被理解为一种计算模型。 对于许多机器学习任务,模型通过参数化函数近似数据中的关系,或学习相应的概率分布。
第二,函数近似、表示学习和泛化是理解现代机器学习模型的重要概念。 模型不仅需要处理训练样本,还需要能够适应新的输入。
第三,模型架构、参数和算法是不同的概念。 架构定义计算结构,参数确定具体计算行为,算法描述训练、执行或使用模型的方法。
第四,模型本体、输入输出组件和运行环境需要区分。 一个能够实际运行的 AI 模型通常需要多个软件组件共同支持。
第五,模型通过训练获得或改善能力。 数据、训练目标、损失函数和优化算法共同影响模型的最终表现。
第六,训练与推理是不同阶段。 训练主要用于调整模型参数,推理主要用于使用模型处理新的输入。
第七,模型从设计到实际使用需要完整的工程流程。 这一过程通常涉及架构设计、数据准备、训练、评估、保存和部署。
第八,模型本体、模型服务和 AI 应用属于不同的软件层次。 模型负责计算,模型服务提供调用能力,AI 应用面向具体用户需求。
第九,不同 AI 模型之间的差异是多维度的。 架构、参数规模、训练方法、模态、能力、性能和成本都需要综合考虑。
第十,AI 模型是现代 Agent 的重要能力基础,但并不等同于 Agent。 Agent 还需要目标驱动的行动机制,以及工具、状态和执行环境等支持。
本篇建立了 AI 模型的基本技术框架。后续研究将进一步进入神经网络内部,解释模型如何通过多层计算、反向传播和参数优化学习复杂的数据表示。
十五、参考文献与延伸阅读
15.1 机器学习与模型基础
[1] Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
系统介绍概率模型、机器学习、函数近似和模型泛化等基础理论。
出版社:Pattern Recognition and Machine Learning
[2] Murphy, K. P. (2022). Probabilistic Machine Learning: An Introduction. MIT Press.
系统介绍概率机器学习、模型表示、推断与学习方法。
官方资料:Probabilistic Machine Learning
[3] Russell, S. J., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.
人工智能经典教材,涵盖搜索、逻辑推理、概率模型、机器学习和决策等研究方向。
官方教材网站:Artificial Intelligence: A Modern Approach
15.2 神经网络与表示学习
[4] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
系统介绍神经网络、表示学习、优化算法和模型训练方法。
官方在线教材:Deep Learning Book
[5] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436–444.
深度学习领域的重要综述。
论文:Deep Learning
[6] Bengio, Y., Courville, A., & Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798–1828.
系统讨论表示学习的基本思想与技术方向。
论文:Representation Learning
15.3 Transformer 与基础模型
[7] Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.
提出 Transformer 架构。
论文:Attention Is All You Need
[8] Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models.
系统讨论基础模型的概念、能力和风险。
论文:On the Opportunities and Risks of Foundation Models
15.4 模型训练与工程实现
[9] Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR).
提出 Adam 优化算法。
论文:Adam: A Method for Stochastic Optimization
[10] PyTorch. Official Documentation.
提供深度学习模型构建、训练和推理的工程文档。
官方文档:PyTorch Documentation
[11] Hugging Face. Transformers Documentation.
提供 Transformer 模型配置、加载、训练和推理的工程文档。
官方文档:Transformers Documentation
十六、关联研究
| 关联文档 | 研究内容 |
|---|---|
| 01 · 什么是人工智能? | AI 的定义与技术边界 |
| 02 · AI、ML 与深度学习 | AI、机器学习与深度学习的关系 |
| 04 · 什么是生成式人工智能? | 生成模型的基本原理 |
| 05 · AI 具备哪些能力,又存在哪些局限? | AI 的能力与应用边界 |
| M2 · 神经网络如何学习和处理信息? | 神经网络结构、前向传播与反向传播 |
| M3 · Transformer 如何处理和生成信息? | Transformer 架构与注意力机制 |
| M4 · 大语言模型是如何构建的? | 大语言模型的内部结构 |
| M5 · AI 模型如何理解和处理不同模态? | 多模态模型 |
| M6 · AI 模型如何通过训练获得能力? | 预训练与后训练 |
| M7 · AI 模型如何生成输出? | 推理与解码 |
| M8 · 如何评估 AI 模型的能力与局限? | 模型评估 |
| E1 · 如何通过 API 调用 AI 模型? | 模型 API 与服务 |
| E6 · 如何选择和切换不同模型? | 模型路由 |
| E7 · 如何部署和运行开源模型? | 模型部署 |
| A2 · Agent 如何获得认知与推理能力? | Agent 的模型组件 |