Skip to content

M1 · AI 模型是什么?它由什么构成? - Model Fundamentals ​

所属知识库:Agent 全栈技术地图
所属领域:01 · AI
所属章节:02 · AI 模型是如何构建和工作的? - Model Architecture
文档类型:基础理论与模型结构研究
版本:v1.1
更新日期:2026 年 10 月 27 日
核心问题:AI 模型是什么?它由哪些部分构成?模型架构、参数和算法之间有什么区别?模型如何学习数据中的规律、处理输入并产生输出?一个 AI 模型如何从数学结构转变为能够实际运行的软件组件?

专题导读 ​

这篇文章的目标是建立对 AI 模型的整体技术认知。重点解释模型、算法、参数、架构、训练和推理之间的关系,以及一个现代 AI 模型从数据到实际应用需要经历哪些环节。重点强化模型的数学本质、内部组成、计算机制和完整构建流程,并明确模型本体、输入输出组件与运行系统之间的边界。训练、推理和评估的深入原理留给 M2—M8 专题研究。

一、研究概述 ​

人工智能模型(AI Model)是现代人工智能技术体系中的核心计算组件。

无论是图像识别、自然语言处理、内容生成、代码编写,还是复杂问题求解,许多现代 AI 应用都依赖模型完成相应的信息处理任务。

例如,一个图像分类模型可以根据输入图像预测物体类别;一个语言模型可以根据文本上下文生成后续内容;一个多模态模型可以结合图像和文字回答问题。

这些模型的任务不同、架构不同、训练方法也不同,但它们都涉及一个共同的技术问题:

如何通过特定的计算结构和参数,将输入信息转换为符合任务目标的输出?

理解 AI 模型,需要区分几个相互关联的概念。

模型(Model)是执行特定计算的数学或计算对象。模型架构(Architecture)定义其计算结构,模型参数(Parameters)决定具体计算行为,训练(Training)通过数据和优化方法调整参数,而推理(Inference)则是在运行阶段使用模型处理输入。

对于现代深度学习模型,这些概念构成了理解其内部工作机制的基础。

但一个真正能够投入使用的 AI 应用,通常还需要模型之外的其他软件组件,例如数据预处理、推理引擎、API 服务和业务逻辑。

因此,本篇将从三个层次研究 AI 模型:

第一,模型的数学本质。 理解模型如何通过参数化函数表示数据中的规律,以及学习、表示和泛化之间的关系。

第二,模型的内部组成。 理解架构、参数、计算结构和输入输出表示如何共同决定模型行为。

第三,模型的构建与运行。 理解模型如何通过训练获得能力,并通过软件环境完成实际推理任务。

本篇主要建立整体技术认知。神经网络、Transformer、预训练、推理与模型评估的具体技术原理,将在后续 M2—M8 中分别深入研究。

二、什么是 AI 模型? ​

2.1 AI 模型的基本定义 ​

在机器学习语境中,AI 模型通常指一种通过数学结构描述数据关系,并能够利用训练过程确定或调整其参数的计算模型。

一个常见的抽象表达是:

y=fθ(x)

其中:

  • x:模型输入;
  • y:模型输出;
  • f:模型采用的计算结构;
  • θ:模型参数。

例如,一个图像分类模型可以接收图片作为输入,输出不同类别对应的预测分数。

一个语言模型可以接收 Token 序列,输出下一个 Token 的概率分布。

在实际应用中,模型的输入和输出可能具有复杂的数据结构,不一定是单个数值。

例如,输入可以是矩阵、张量或多个模态的数据组合,输出也可以是向量、概率分布或其他结构化结果。

需要注意,这个表达式主要适用于参数化机器学习模型,并不能覆盖所有人工智能方法。

传统符号人工智能也可以通过规则、搜索和逻辑推理实现智能行为,而不一定需要通过梯度下降训练神经网络参数。

因此,本文将以现代机器学习模型,尤其是深度学习模型作为主要研究对象。

2.2 模型的本质:一种可计算的映射关系 ​

从数学角度看,许多 AI 模型可以被理解为一种输入到输出的映射。

例如:

text
输入:
一张猫的图片

        ↓

图像分类模型

        ↓

输出:
猫的预测概率为 0.97

模型通过内部计算,将原始输入转换为任务所需的结果。

但与人工编写固定判断规则不同,机器学习模型的部分计算行为由训练过程确定。

例如,开发者不需要逐条规定猫的耳朵、眼睛和毛发应该如何组合,而可以通过大量训练样本,让模型学习有助于识别猫的特征。

这种方式使模型能够处理许多难以完整编写规则的任务。

2.3 什么是函数近似? ​

函数近似(Function Approximation)是理解机器学习模型的重要概念。

现实世界中,许多任务的输入与输出之间存在复杂关系。

例如,根据房屋面积、地理位置、建筑年代和其他因素预测房价。

我们可能无法直接写出一个能够准确描述所有情况的数学公式。

机器学习可以通过数据训练一个参数化函数,使其近似这种关系。

假设真实关系为:

y=f∗(x)

模型尝试学习:

y^=fθ(x)

其中,f∗ 表示未知的目标关系,fθ 表示模型学习得到的近似函数。

训练的目标,是使模型输出尽可能符合任务要求。

需要注意,现实任务中不一定存在一个确定且无噪声的真实函数。

对于包含随机性或不确定性的任务,模型可能需要学习条件概率分布:

pθ(y∣x)

例如,语言模型通常不是为一个输入确定唯一正确的下一个词,而是估计不同后续 Token 的概率。

因此,函数近似和概率建模是理解现代机器学习模型的两个重要视角。

2.4 什么是表示学习? ​

表示学习(Representation Learning)研究如何让模型从数据中学习有利于任务处理的内部表示。

例如,一张图片在计算机中最初可能只是一组像素数值。

这些像素本身并没有直接标注物体类别、空间关系或语义信息。

深度神经网络可以通过多层计算,将原始数据转换为不同层次的内部表示。

text
原始图像
   │
   ▼
像素数值
   │
   ▼
低层特征表示
   │
   ▼
中间特征表示
   │
   ▼
高层特征表示
   │
   ▼
任务输出

在某些视觉模型中,较浅层可能学习边缘、纹理等局部特征,较深层可能形成与物体结构和类别相关的表示。

但这只是帮助理解的典型示例,不代表所有神经网络都按照相同方式组织特征。

表示学习的重要意义,是减少部分任务对人工特征设计的依赖。

模型可以通过训练形成适合当前任务的数据表示。

2.5 什么是泛化能力? ​

泛化(Generalization)是机器学习的重要目标。

模型不仅需要在训练数据上表现良好,还需要能够处理训练过程中没有直接见过的新输入。

例如,一个图像分类模型使用大量猫和狗的图片训练。

如果模型只能识别训练集中的图片,而无法识别新的猫狗照片,那么它的实际应用价值就十分有限。

因此,模型训练需要关注:

模型是否学习到了能够适用于新数据的规律,而不仅是记住训练样本。

泛化能力受到模型架构、训练数据、训练方法和任务分布等因素影响。

当模型过度适应训练数据中的细节或噪声时,可能出现过拟合(Overfitting)。

相反,如果模型无法充分学习任务中的有效规律,则可能出现欠拟合(Underfitting)。

泛化能力是评价 AI 模型是否真正具有实用价值的重要维度。

三、AI 模型有哪些主要类型? ​

人工智能包含多种不同技术路线。

从模型的知识表示和计算机制出发,可以建立以下基本分类。

模型类型核心机制代表方法典型任务
规则与符号模型使用符号、逻辑和规则处理信息专家系统、逻辑推理系统规则判断、知识推理
概率模型利用概率关系描述数据和不确定性贝叶斯网络、隐马尔可夫模型概率推断、序列分析
传统机器学习模型通过数据学习预测关系决策树、SVM、随机森林分类、回归
深度学习模型利用多层神经网络学习复杂表示CNN、RNN、Transformer视觉、语言、生成
强化学习模型通过环境反馈学习策略或价值Q-learning、策略网络决策、控制、规划

这一分类并不是严格互斥的。

例如,强化学习系统可以使用深度神经网络表示策略,概率模型也可以结合神经网络实现。

3.1 规则与符号模型 ​

规则模型主要依赖明确的知识表示和推理规则。

例如:

text
规则:
如果温度高于 30℃,则标记为高温。

输入:
当前温度为 35℃。

输出:
高温

这类系统的判断过程通常具有较明确的逻辑结构。

但当问题涉及大量复杂、不确定或难以形式化的情况时,人工维护规则可能十分困难。

3.2 概率模型 ​

概率模型通过概率分布描述数据之间的关系和不确定性。

例如,贝叶斯网络可以利用变量之间的条件依赖关系进行概率推断。

概率方法是机器学习的重要理论基础之一,也广泛存在于现代生成模型中。

3.3 传统机器学习模型 ​

传统机器学习模型通过训练数据学习预测规律。

例如,决策树可以根据训练数据学习不同特征对应的判断条件。

支持向量机则通过优化方法学习分类边界。

这类模型通常适合结构化数据和特定预测任务。

3.4 深度学习模型 ​

深度学习模型通过多层神经网络处理数据。

其重要特点,是能够通过训练学习复杂的数据表示。

现代图像识别、语音处理和大语言模型等技术,广泛使用深度学习方法。

3.5 强化学习模型 ​

强化学习(Reinforcement Learning)研究智能体如何通过与环境交互,根据奖励信号学习行动策略。

它与监督学习等方法的主要区别,在于训练信号和任务形式。

强化学习系统可以使用表格方法、函数近似或深度神经网络。

因此,强化学习更适合作为一种学习范式理解,而不是与所有模型架构并列的独立结构类型。

四、AI 模型由什么构成? ​

对于现代参数化机器学习模型,可以从模型本体、输入输出处理和运行环境三个层次理解其组成。

4.1 第一层:模型本体 ​

模型本体(Model Core)主要包括:

  • 模型架构;
  • 模型参数;
  • 模型计算结构。

这三个部分共同定义模型如何执行计算。

模型架构(Architecture) ​

模型架构定义模型内部的计算组件及其连接方式。

例如,一个简单的神经网络可以由输入层、隐藏层和输出层组成。

text
输入数据
   │
   ▼
输入层
   │
   ▼
隐藏层 1
   │
   ▼
隐藏层 2
   │
   ▼
输出层
   │
   ▼
计算结果

不同架构采用不同的计算结构。

例如:

  • CNN 通过卷积结构处理具有空间局部性的信号;
  • RNN 通过循环结构处理序列信息;
  • Transformer 通过注意力机制处理序列中不同位置之间的关系。

模型架构决定了模型能够如何组织计算。

模型参数(Parameters) ​

模型参数是模型内部用于确定计算行为的数值。

在神经网络中,常见参数包括权重(Weights)和偏置(Biases)。

例如:

y=wx+b

其中:

  • w:权重;
  • b:偏置;
  • x:输入;
  • y:输出。

训练过程可以调整 w 和 b,使模型输出更符合训练目标。

对于大型神经网络,参数可能以高维张量的形式存储。

模型计算结构(Computational Structure) ​

模型内部通常需要执行大量数学运算。

例如:

  • 矩阵乘法;
  • 向量运算;
  • 非线性激活;
  • 归一化;
  • 卷积;
  • 注意力计算。

这些计算按照模型架构组织,并使用模型参数完成具体运算。

在深度学习框架中,计算过程可以通过计算图(Computational Graph)表示。

计算图描述不同计算操作之间的数据依赖关系。

4.2 第二层:输入输出处理 ​

模型本体通常不能直接处理所有原始信息。

实际应用需要通过输入输出组件,将外部数据转换为适合模型计算的形式。

例如:

文本输入

text
原始文本
   │
   ▼
Tokenizer
   │
   ▼
Token ID
   │
   ▼
Embedding
   │
   ▼
模型内部表示

其中,Tokenizer 通常是模型处理流水线中的配套组件,而 Embedding 层可能属于神经网络本体的一部分。

图像输入

图像通常需要经过缩放、归一化或其他预处理,再转换为模型能够处理的张量。

音频输入

音频可能通过采样序列、频谱或其他表示进入模型。

模型输出后,也可能需要通过解码、后处理或格式转换,形成用户能够理解的结果。

4.3 第三层:模型运行环境 ​

模型运行还需要软件和计算资源支持。

常见组成包括:

  • 模型配置;
  • 模型加载程序;
  • 深度学习框架;
  • 推理引擎;
  • CPU、GPU 或其他计算设备;
  • 内存与存储资源。

例如,一个模型的参数可能存储在文件中,但只有在相应软件环境中加载并执行计算,才能完成实际推理任务。

4.4 三个层次之间的关系 ​

text
外部输入
   │
   ▼
输入处理组件
   │
   ▼
模型本体
   │
   ├── 模型架构
   ├── 模型参数
   └── 计算结构
   │
   ▼
输出处理组件
   │
   ▼
最终结果

以上过程由运行环境提供计算支持

需要注意,模型本体与配套组件之间的具体边界,可能因模型类型和软件实现方式不同而有所变化。

例如,某些多模态模型将特征编码器直接作为模型的一部分,而另一些系统可能通过独立组件处理输入。

因此,研究模型结构时,应当结合具体模型的实现方式判断其组成。

五、模型架构、参数和算法有什么区别? ​

这三个概念在 AI 技术讨论中经常同时出现,但分别描述不同的内容。

5.1 模型架构决定计算结构 ​

模型架构回答:

模型内部有哪些计算组件?这些组件如何连接?

例如,Transformer 定义了一类使用注意力机制和相关计算结构的神经网络架构。

5.2 模型参数决定具体计算行为 ​

模型参数回答:

在既定计算结构中,具体使用哪些数值进行计算?

例如,两个模型可以采用相同的架构,但具有不同的参数。

因此,它们可能产生不同的输出。

5.3 算法决定计算或优化过程 ​

算法(Algorithm)描述完成某项计算任务的方法或步骤。

例如:

  • 前向传播;
  • 反向传播;
  • 梯度下降;
  • Adam 优化;
  • Beam Search;
  • 随机采样。

其中,部分算法用于训练,部分算法用于推理或输出生成。

因此,算法并不等同于模型架构。

5.4 三者之间的关系 ​

可以通过以下结构理解:

text
模型架构
定义计算结构
   │
   ▼
模型参数
确定具体计算数值
   │
   ▼
模型计算
执行相应数学运算
   │
   ▼
模型输出

训练算法可以用于确定模型参数。

推理算法则负责在运行阶段执行模型计算或组织输出生成。

模型架构与参数共同定义模型的具体计算函数,算法则描述如何训练、执行或使用这个函数。

六、AI 模型如何处理信息? ​

现代 AI 模型处理信息的过程,可以概括为输入表示、内部计算和输出处理三个环节。

6.1 输入表示 ​

模型通常需要将外部信息转换为数值表示。

例如,一段文本可能经过 Tokenization,转换为 Token ID,再通过 Embedding 层获得向量表示。

对于图像和音频,模型也需要使用相应的数据表示方式。

6.2 内部计算 ​

模型根据架构和参数执行计算。

例如,一个神经网络层可以表示为:

h=σ(Wx+b)

其中:

  • x:输入向量;
  • W:权重矩阵;
  • b:偏置;
  • σ:激活函数;
  • h:输出表示。

多个计算层组合后,可以形成复杂的非线性映射。

6.3 输出处理 ​

模型内部计算完成后,会产生相应的输出。

例如:

任务模型原始输出或中间结果应用输出
图像分类类别分数类别名称
回归预测数值预测结果
文本生成Token 分数或概率分布自然语言文本
图像生成图像张量或潜变量图片
语音识别Token 序列或相关表示转写文本

模型的原始输出不一定等于用户最终看到的结果。

例如,语言模型通常需要通过解码策略选择后续 Token,再将 Token 序列转换为文本。

6.4 一个完整示例:语言模型如何处理输入? ​

假设用户输入:

请解释什么是人工智能。

模型处理过程可以简化为:

text
用户输入文本
      │
      ▼
Tokenizer
将文本转换为 Token ID
      │
      ▼
Embedding
将 Token 转换为向量表示
      │
      ▼
Transformer 网络
执行多层计算
      │
      ▼
输出层
计算候选 Token 分数
      │
      ▼
解码策略
选择后续 Token
      │
      ▼
重复生成
形成完整 Token 序列
      │
      ▼
文本解码
      │
      ▼
最终回答

这一示例描述的是典型自回归 Transformer 语言模型的生成过程。

不同模型可能采用不同的输入表示、架构和输出机制。

七、AI 模型如何获得能力? ​

现代机器学习模型通常通过训练获得或改善任务能力。

训练的基本目标,是根据数据和训练目标调整模型参数,使模型能够在特定任务上取得更好的表现。

7.1 训练数据 ​

训练数据是模型学习的重要信息来源。

例如:

  • 图像分类模型使用图像及类别标签;
  • 语言模型使用文本序列;
  • 语音模型使用音频数据;
  • 多模态模型可能使用图像、文本和其他模态的数据。

训练数据的规模、质量和分布会影响模型能力。

7.2 训练目标 ​

训练目标定义模型需要学习什么。

例如,自回归语言模型可以通过预测下一个 Token 进行训练。

图像分类模型则可以通过预测正确类别进行训练。

不同训练目标会影响模型学习到的能力。

7.3 损失函数 ​

损失函数(Loss Function)用于衡量模型输出与训练目标之间的差异。

例如,回归任务可以使用均方误差:

L=1N∑i=1N(yi−y^i)2

其中:

  • yi:目标值;
  • y^i:模型预测值;
  • N:样本数量。

实际模型使用的损失函数取决于任务和训练方法。

7.4 参数优化 ​

训练算法通过优化损失函数调整模型参数。

梯度下降是神经网络训练中的重要方法。

其基本形式为:

θt+1=θt−η∇θL

其中:

  • θt:当前参数;
  • η:学习率;
  • ∇θL:损失函数对参数的梯度。

在实际训练中,开发者通常使用更复杂的优化算法。

7.5 训练的基本过程 ​

text
训练数据
   │
   ▼
输入模型
   │
   ▼
模型计算
   │
   ▼
计算损失
   │
   ▼
计算梯度
   │
   ▼
更新参数
   │
   ▼
重复训练
   │
   ▼
训练后的模型

这一过程解释了模型如何通过数据和优化逐步调整其计算行为。

但模型训练并不意味着它能够自动获得所有类型的智能能力。

模型最终能够完成哪些任务,仍然受到架构、数据、训练目标和其他条件影响。

八、训练与推理有什么区别? ​

训练(Training)与推理(Inference)是现代机器学习模型生命周期中的两个重要阶段。

8.1 训练:形成和调整模型能力 ​

训练阶段主要通过数据和优化方法调整模型参数。

这一过程通常包括:

  • 前向计算;
  • 损失计算;
  • 梯度计算;
  • 参数更新。

对于大型深度学习模型,训练可能需要大量计算资源。

8.2 推理:使用模型处理新输入 ​

推理阶段主要使用训练后的模型处理新的输入。

例如,一个语言模型接收用户问题,并生成回答。

通常情况下,推理过程不会修改模型的训练参数。

但某些特殊方法可能在运行阶段调整部分参数或状态,因此这一描述并不是绝对规则。

8.3 训练与推理比较 ​

比较维度训练推理
核心目标学习或调整模型参数使用模型处理输入
主要输入训练数据与训练信号新的任务输入
参数更新通常会发生通常不会发生
主要计算前向计算、梯度计算、优化前向计算与输出生成
主要关注训练质量、收敛、泛化输出质量、延迟、吞吐量
典型资源训练集群或计算设备推理服务器或本地设备

对于现代大语言模型,还需要区分预训练和后训练。

预训练通常用于获得较为通用的能力,后训练则可以进一步改善模型在特定任务或行为目标上的表现。

具体机制将在 M6 中深入研究。

九、一个 AI 模型是如何构建出来的? ​

一个现代 AI 模型从设计到实际使用,通常需要经历多个环节。

9.1 确定任务目标 ​

首先明确模型需要完成什么任务。

例如:

  • 图像分类;
  • 文本生成;
  • 语音识别;
  • 代码生成;
  • 多模态理解。

任务目标决定了后续架构、数据和评估方法的选择。

9.2 设计或选择模型架构 ​

根据任务需求选择合适的计算结构。

例如,现代语言模型通常采用 Transformer 相关架构。

但不同任务也可能使用 CNN、RNN 或其他模型架构。

9.3 准备训练数据 ​

数据准备可能包括:

  • 数据收集;
  • 数据清洗;
  • 数据去重;
  • 数据标注;
  • 数据预处理;
  • 数据集划分。

数据质量和覆盖范围会影响模型训练效果。

9.4 定义训练目标与损失函数 ​

开发者需要确定模型优化什么,以及如何衡量训练误差。

不同任务使用不同的训练目标和损失函数。

9.5 执行模型训练 ​

训练系统根据数据和训练目标调整模型参数。

大型模型可能需要分布式训练和专门的计算基础设施。

9.6 评估模型表现 ​

模型训练过程中及训练完成后,需要通过验证和测试判断其表现。

例如:

  • 任务准确性;
  • 泛化能力;
  • 可靠性;
  • 安全性;
  • 运行效率。

9.7 保存模型 ​

训练完成后,需要保存模型参数及相关配置。

这些内容可以组织为模型文件或模型仓库。

9.8 部署与运行 ​

模型可以部署在本地设备、服务器或云计算环境中。

部署系统负责加载模型并执行推理。

9.9 持续评估与改进 ​

模型投入使用后,开发者可以根据实际表现进行进一步评估、调整或重新训练。

整个流程可以概括为:

text
任务定义
   │
   ▼
模型架构设计
   │
   ▼
训练数据准备
   │
   ▼
训练目标设计
   │
   ▼
模型训练
   │
   ▼
模型评估
   │
   ▼
模型保存
   │
   ▼
模型部署
   │
   ▼
实际推理
   │
   ▼
持续评估与改进

需要注意,模型研发通常是迭代过程。

例如,评估结果可能促使开发者重新设计训练数据、修改模型架构或调整训练方法。

十、AI 模型在计算机中如何存在和运行? ​

从软件工程角度看,一个能够实际运行的 AI 模型通常涉及多个文件和软件组件。

10.1 模型权重文件 ​

模型权重文件用于保存训练得到的参数。

例如,深度学习模型可能使用 PyTorch 权重文件或 Safetensors 等格式。

权重文件本身通常不能独立完成推理。

10.2 模型配置文件 ​

模型配置描述模型的架构和相关设置。

例如:

json
{
  "model_type": "transformer",
  "hidden_size": 4096,
  "num_hidden_layers": 32,
  "num_attention_heads": 32
}

这是说明配置形式的示例,不对应某个特定模型。

10.3 输入输出组件 ​

语言模型通常需要与其训练方式匹配的 Tokenizer。

图像和音频模型也可能需要相应的预处理组件。

输出阶段还可能需要解码器或其他后处理机制。

10.4 模型运行代码 ​

模型运行需要软件框架或推理引擎执行计算。

例如:

  • PyTorch;
  • JAX;
  • TensorFlow;
  • ONNX Runtime;
  • 专用模型推理引擎。

10.5 计算资源 ​

模型运行需要相应的硬件资源。

例如:

  • CPU;
  • GPU;
  • 其他 AI 加速设备;
  • 内存;
  • 存储。

不同模型的计算需求存在明显差异。

10.6 一个模型仓库可能包含什么? ​

以一个典型语言模型为例,其文件结构可能类似:

text
model/
│
├── config.json
│
├── model.safetensors
│
├── tokenizer.json
│
├── tokenizer_config.json
│
└── generation_config.json

这些文件分别承担不同作用。

文件主要作用
config.json描述模型架构和配置
model.safetensors保存模型参数
tokenizer.json保存分词器相关数据
tokenizer_config.json保存分词器配置
generation_config.json保存默认生成配置

这只是常见示例。

实际模型可能采用分片权重、不同文件格式或其他目录结构。

因此,一个模型通常不仅是一组参数,还需要与其结构和运行方式匹配的软件组件。

十一、模型、模型服务和 AI 应用有什么区别? ​

在实际开发中,模型、模型服务和 AI 应用属于不同的软件层次。

11.1 模型本体(Model) ​

模型本体主要负责执行特定计算。

例如,一个语言模型可以根据输入 Token 计算后续 Token 的概率分布。

11.2 模型服务(Model Service) ​

模型服务负责将模型封装为可以被其他程序调用的服务。

例如:

  • 加载模型;
  • 接收请求;
  • 执行推理;
  • 管理计算资源;
  • 返回结果。

模型服务通常通过 API 提供能力。

11.3 AI 应用(AI Application) ​

AI 应用面向具体用户需求。

例如,一个 AI 写作应用可能包含:

  • 用户界面;
  • 文档管理;
  • 模型调用;
  • 历史记录;
  • 用户权限;
  • 内容导出。

11.4 三者之间的关系 ​

text
AI Application
面向用户的应用
        │
        ▼
Model Service
模型调用与推理服务
        │
        ▼
AI Model
模型结构与参数

这是一种常见的系统架构,但不是唯一形式。

例如,移动设备可以直接在本地运行模型,而不通过远程 API 服务。

因此,模型服务是一种常见的工程封装方式,并不是模型运行的必要条件。

十二、不同 AI 模型之间有什么差异? ​

现代 AI 模型可以从多个维度进行比较。

12.1 架构差异 ​

不同模型可能采用 CNN、RNN、Transformer 或其他计算结构。

架构差异会影响模型处理信息的方式。

12.2 参数规模差异 ​

模型参数量可以从较小规模到数十亿、数千亿甚至更多。

但参数规模并不直接等于模型能力。

对于混合专家模型(Mixture of Experts,MoE),还需要区分总参数量和单次计算激活的参数量。

12.3 训练方法差异 ​

不同模型可能使用不同的训练目标、数据和后训练方法。

这些差异会影响模型能力和行为。

12.4 模态差异 ​

模型可以根据支持的数据类型进行区分。

例如:

  • 文本模型;
  • 图像模型;
  • 语音模型;
  • 多模态模型。

12.5 能力差异 ​

不同模型在语言理解、数学推理、代码生成和视觉处理等任务上的表现可能不同。

因此,需要根据具体任务评价模型能力。

12.6 运行性能差异 ​

模型可能在以下方面存在差异:

  • 推理延迟;
  • 吞吐量;
  • 内存占用;
  • 计算资源需求;
  • 部署成本。

12.7 模型差异比较 ​

比较维度主要问题
架构模型采用什么计算结构?
参数模型具有怎样的参数规模和组织方式?
训练模型通过什么数据和方法获得能力?
模态模型能够处理哪些信息形式?
能力模型能够完成哪些任务?
性能模型运行需要多少时间和计算资源?
成本模型训练、部署和调用需要多少资源?

对于实际应用,模型选择需要综合考虑这些因素,而不是只关注单一指标。

十三、AI 模型与 Agent 有什么关系? ​

在现代 LLM Agent 中,AI 模型通常负责提供语言理解、信息分析、内容生成和部分推理能力。

但模型本身不等同于 Agent。

13.1 模型提供智能计算能力 ​

例如,一个语言模型可以根据用户输入生成任务计划。

text
用户:
帮我研究一家公司的业务情况。

        ↓

语言模型

        ↓

输出:
建议的研究步骤

在这个过程中,模型主要负责处理输入并生成结果。

13.2 Agent 组织任务执行 ​

Agent 可以进一步结合模型、工具和执行机制完成任务。

例如:

text
用户任务
   │
   ▼
Agent
   │
   ├── 调用模型理解任务
   ├── 选择搜索工具
   ├── 获取外部资料
   ├── 调用模型分析资料
   ├── 检查任务进度
   └── 输出研究报告

模型在其中承担智能计算任务。

Agent 的其他组件则负责工具调用、状态管理、权限控制和执行流程。

13.3 一个 Agent 可以使用多个模型吗? ​

可以。

例如,一个 Agent 可以根据任务需求调用不同模型:

任务可能使用的模型
理解用户需求语言模型
分析图像视觉语言模型
生成代码代码能力较强的语言模型
语音识别语音模型
生成图片图像生成模型

这种机制通常涉及模型路由(Model Routing)。

13.4 为什么理解模型结构对 Agent 开发很重要? ​

Agent 的实际表现受到模型能力、上下文限制、工具支持和推理性能等因素影响。

例如,一个需要处理大量文档的 Agent,可能需要考虑模型的上下文窗口和长文本处理能力。

一个需要频繁调用工具的 Agent,则需要考虑模型的工具调用表现、响应延迟和成本。

因此,理解模型的内部机制和运行特征,有助于设计更加合理的 Agent。

但模型能力较强,并不意味着整个 Agent 一定可靠。

完整任务执行仍然依赖工具、运行环境、状态管理和验证机制。

十四、核心结论 ​

AI 模型是现代人工智能技术体系中的核心计算组件。

对于现代机器学习模型而言,其主要作用是通过特定计算结构和训练得到的参数,将输入信息转换为符合任务目标的输出。

理解 AI 模型,需要建立以下认识。

第一,AI 模型可以被理解为一种计算模型。 对于许多机器学习任务,模型通过参数化函数近似数据中的关系,或学习相应的概率分布。

第二,函数近似、表示学习和泛化是理解现代机器学习模型的重要概念。 模型不仅需要处理训练样本,还需要能够适应新的输入。

第三,模型架构、参数和算法是不同的概念。 架构定义计算结构,参数确定具体计算行为,算法描述训练、执行或使用模型的方法。

第四,模型本体、输入输出组件和运行环境需要区分。 一个能够实际运行的 AI 模型通常需要多个软件组件共同支持。

第五,模型通过训练获得或改善能力。 数据、训练目标、损失函数和优化算法共同影响模型的最终表现。

第六,训练与推理是不同阶段。 训练主要用于调整模型参数,推理主要用于使用模型处理新的输入。

第七,模型从设计到实际使用需要完整的工程流程。 这一过程通常涉及架构设计、数据准备、训练、评估、保存和部署。

第八,模型本体、模型服务和 AI 应用属于不同的软件层次。 模型负责计算,模型服务提供调用能力,AI 应用面向具体用户需求。

第九,不同 AI 模型之间的差异是多维度的。 架构、参数规模、训练方法、模态、能力、性能和成本都需要综合考虑。

第十,AI 模型是现代 Agent 的重要能力基础,但并不等同于 Agent。 Agent 还需要目标驱动的行动机制,以及工具、状态和执行环境等支持。

本篇建立了 AI 模型的基本技术框架。后续研究将进一步进入神经网络内部,解释模型如何通过多层计算、反向传播和参数优化学习复杂的数据表示。

十五、参考文献与延伸阅读 ​

15.1 机器学习与模型基础 ​

[1] Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
系统介绍概率模型、机器学习、函数近似和模型泛化等基础理论。
出版社:Pattern Recognition and Machine Learning

[2] Murphy, K. P. (2022). Probabilistic Machine Learning: An Introduction. MIT Press.
系统介绍概率机器学习、模型表示、推断与学习方法。
官方资料:Probabilistic Machine Learning

[3] Russell, S. J., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.
人工智能经典教材,涵盖搜索、逻辑推理、概率模型、机器学习和决策等研究方向。
官方教材网站:Artificial Intelligence: A Modern Approach

15.2 神经网络与表示学习 ​

[4] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
系统介绍神经网络、表示学习、优化算法和模型训练方法。
官方在线教材:Deep Learning Book

[5] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436–444.
深度学习领域的重要综述。
论文:Deep Learning

[6] Bengio, Y., Courville, A., & Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798–1828.
系统讨论表示学习的基本思想与技术方向。
论文:Representation Learning

15.3 Transformer 与基础模型 ​

[7] Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.
提出 Transformer 架构。
论文:Attention Is All You Need

[8] Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models.
系统讨论基础模型的概念、能力和风险。
论文:On the Opportunities and Risks of Foundation Models

15.4 模型训练与工程实现 ​

[9] Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR).
提出 Adam 优化算法。
论文:Adam: A Method for Stochastic Optimization

[10] PyTorch. Official Documentation.
提供深度学习模型构建、训练和推理的工程文档。
官方文档:PyTorch Documentation

[11] Hugging Face. Transformers Documentation.
提供 Transformer 模型配置、加载、训练和推理的工程文档。
官方文档:Transformers Documentation

十六、关联研究 ​

关联文档研究内容
01 · 什么是人工智能?AI 的定义与技术边界
02 · AI、ML 与深度学习AI、机器学习与深度学习的关系
04 · 什么是生成式人工智能?生成模型的基本原理
05 · AI 具备哪些能力,又存在哪些局限?AI 的能力与应用边界
M2 · 神经网络如何学习和处理信息?神经网络结构、前向传播与反向传播
M3 · Transformer 如何处理和生成信息?Transformer 架构与注意力机制
M4 · 大语言模型是如何构建的?大语言模型的内部结构
M5 · AI 模型如何理解和处理不同模态?多模态模型
M6 · AI 模型如何通过训练获得能力?预训练与后训练
M7 · AI 模型如何生成输出?推理与解码
M8 · 如何评估 AI 模型的能力与局限?模型评估
E1 · 如何通过 API 调用 AI 模型?模型 API 与服务
E6 · 如何选择和切换不同模型?模型路由
E7 · 如何部署和运行开源模型?模型部署
A2 · Agent 如何获得认知与推理能力?Agent 的模型组件