M5 · AI 模型如何理解和处理不同模态？ - Multimodal Models

所属知识库：Agent 全栈技术地图
所属领域：01 · AI
所属章节：02 · AI 模型是如何构建和工作的？ - Model Architecture
文档类型：模型架构与技术机制研究
版本：v1.0
更新日期：2026 年 10 月 27 日
核心问题：什么是模态与多模态模型？文本、图像、音频和视频如何转换为模型能够处理的数据表示？多模态编码器、模态对齐、跨模态注意力和信息融合分别承担什么作用？多模态模型有哪些主要架构？模型如何实现跨模态理解与生成？多模态能力存在哪些局限？

专题导读

M1—M4 已经建立了从模型基础、神经网络、Transformer 到大语言模型的技术框架。M5 将研究范围从文本扩展到图像、音频、视频和其他数据形式，重点解释：不同模态的数据如何转换为模型能够计算的表示？多模态模型如何建立不同模态之间的联系？信息融合与跨模态生成是如何实现的？

本篇重点研究多模态模型的内部架构与信息处理机制。具体训练方法留给 M6，生成过程和推理优化留给 M7。

一、研究概述

人工智能处理的信息并不只有文本。

现实世界中的信息具有多种形式。例如，一张图片包含颜色、形状和空间关系；一段音频包含声音波形、语音内容和时间变化；一段视频则同时包含视觉信息、时间顺序和可能存在的音频信息。

人类通常能够综合这些信息理解环境。

例如，观看一段视频时，我们不仅能够识别画面中的人物和物体，还可以结合人物动作、声音和前后场景理解事件。

多模态人工智能（Multimodal AI）研究的核心问题，就是如何让计算模型处理和利用不同形式的信息。

在现代 AI 技术体系中，多模态模型已经成为重要的发展方向。

例如：

• 输入图片，让模型描述图片内容；
• 输入语音，让模型识别或理解说话内容；
• 输入视频，让模型分析事件过程；
• 输入文本，让模型生成图像；
• 输入文本和音频，让模型生成语音回答；
• 同时输入文档、图片和文字问题，让模型综合分析。

这些功能背后涉及不同的数据表示、神经网络结构和训练方法。

需要特别注意，多模态模型并不是简单地将图片、文字和音频放进同一个输入框。

真正的多模态处理需要解决三个基础问题。

第一，模态表示。 不同类型的数据如何转换为神经网络能够处理的数值表示？

第二，模态关联。 模型如何建立文字、图像、声音等信息之间的对应关系？

第三，模态交互。 模型如何综合不同模态的信息完成理解、推理或生成任务？

本篇将围绕这三个问题，建立多模态模型的整体技术框架。

二、什么是模态？

2.1 模态的基本定义

模态（Modality）是指信息的某种表现形式或数据类型。

在 AI 研究中，常见模态包括：

模态	典型数据	主要信息
Text	文本、代码	语言与符号信息
Image	图片、图像	视觉与空间信息
Audio	语音、音乐、环境声音	声学与时间信息
Video	视频帧、音视频流	视觉变化与时间关系
Depth	深度图	空间距离信息
Point Cloud	点云	三维空间结构
Sensor	传感器数据	物理状态与环境变化
Action	动作或控制序列	行为与控制信息

这些模态的数据结构不同，因此处理方法也存在差异。

例如，文本通常可以表示为离散 Token 序列，而图片通常由像素数组构成。

音频通常是随时间变化的连续信号，视频则包含具有时间顺序的图像帧。

2.2 什么是单模态模型？

单模态模型（Unimodal Model）主要处理一种模态的数据。

例如：

• 文本分类模型；
• 图像分类模型；
• 语音识别模型；
• 单一传感器数据预测模型。

需要注意，单模态并不意味着模型简单。

一个只处理图像的模型，也可能具有复杂的神经网络架构和大量参数。

2.3 什么是多模态模型？

多模态模型（Multimodal Model）是能够建立两种或更多模态之间的关系，并利用这些关系完成特定任务的模型。

例如，一个图文匹配模型可以同时处理图片和文本，判断两者是否具有相应关系。

一个视觉语言模型可以接收图片和文字问题，并生成文字回答。

2.4 多模态模型不一定支持所有模态

“多模态”只表示模型能够处理多种模态，并不意味着它可以处理任何形式的数据。

例如：

• 图文模型可能只支持文本和图像；
• 语音语言模型可能主要支持文本和音频；
• 视频理解模型可能支持视频和文本；
• 视觉语言动作模型可能支持视觉输入、语言指令和动作输出。

因此，评价一个多模态模型时，需要明确其支持的输入模态、输出模态和任务类型。

三、什么是多模态理解与多模态生成？

多模态模型可以根据任务方向分为不同类型。

3.1 多模态理解

多模态理解（Multimodal Understanding）主要指模型利用一种或多种模态的信息，完成识别、分析、分类、描述或问答等任务。

例如：

输入：
一张图片 + 一个文字问题

问题：
图片中的人物正在做什么？

输出：
文字回答

模型需要利用视觉信息和语言问题完成任务。

3.2 跨模态生成

跨模态生成（Cross-modal Generation）是根据一种模态的信息生成另一种模态的数据。

例如：

文本描述
   │
   ▼
图像生成模型
   │
   ▼
生成图片

其他例子包括：

• 文本生成语音；
• 语音生成文本；
• 文本生成视频；
• 图片生成视频。

3.3 多模态联合生成

部分模型能够生成多种模态的输出。

例如，一个实时语音交互系统可能同时产生文本和语音。

一些视频生成系统也可能联合生成视频画面和音频。

3.4 输入与输出模态的组合

输入	输出	典型任务
文本	文本	语言生成
图像	文本	图像描述
图像 + 文本	文本	视觉问答
音频	文本	语音识别
文本	音频	语音合成
文本	图像	文生图
图像 + 文本	图像	图像编辑
视频 + 文本	文本	视频问答
文本	视频	视频生成
视觉 + 语言	动作	机器人控制

不同输入输出组合，可能需要完全不同的模型架构。

因此，多模态模型不是某一种固定的神经网络结构，而是一类具有跨模态处理能力的模型系统。

四、为什么不同模态需要不同的数据表示？

神经网络主要通过张量（Tensor）执行数值计算。

但现实世界中的数据具有不同结构。

例如：

文本：
"一只猫坐在窗边"

图像：
像素矩阵

音频：
连续波形

视频：
按时间排列的图像帧

这些数据不能直接以相同方式进入所有神经网络。

因此，模型通常需要先将原始数据转换为适合计算的表示。

4.1 什么是数据表示？

数据表示（Representation）是指将原始信息转换为适合模型处理的数学形式。

例如：

• 文本转换为 Token ID 和向量；
• 图像转换为像素张量或图像特征；
• 音频转换为波形张量、频谱特征或离散音频 Token；
• 视频转换为帧序列或时空特征。

4.2 什么是特征表示？

特征表示（Feature Representation）是模型对输入数据进行变换后得到的内部表示。

例如：

$$h=f_{\theta }(x)$$

其中：

• $x$：原始输入；
• $f_{\theta }$：特征提取网络；
• $h$：特征表示。

特征表示通常包含对特定任务有用的信息。

但它不一定完整保留原始输入的全部内容。

4.3 为什么需要向量表示？

向量表示使不同类型的信息能够参与神经网络计算。

例如：

$$h_{\text{text}}\in {\mathbb{R}}^d$$$$h_{\text{image}}\in {\mathbb{R}}^d$$

两个向量具有相同维度，并不意味着它们天然具有相同语义。

模型还需要通过适当的训练或映射，使这些表示能够进行有意义的比较或交互。

这就引出了多模态模型中的一个重要问题：模态对齐。

五、文本如何转换为模型能够处理的信息？

文本模态的处理机制已经在 M3、M4 中有所介绍。

这里主要研究它在多模态系统中的位置。

5.1 Tokenization

文本首先经过 Tokenizer 转换为 Token ID。

原始文本
   │
   ▼
Tokenizer
   │
   ▼
Token ID

5.2 Text Embedding

Token ID 通过 Embedding 层转换为向量。

$$e_i=E[t_i]$$

其中：

• $t_i$：Token ID；
• $E$：Embedding 矩阵；
• $e_i$：Token 向量。

5.3 Text Encoder

Text Encoder（文本编码器）可以进一步将 Token 序列转换为上下文相关的表示。

例如：

$$H_{\text{text}}=f_{\text{text}}(X_{\text{text}})$$

输出可能是一组 Token 级表示，也可能经过池化形成整个文本的表示。

5.4 文本表示在多模态模型中的作用

文本表示可以承担多种作用：

• 描述图像内容；
• 作为图像生成条件；
• 作为视觉问答的问题；
• 作为音频生成的文本内容；
• 作为机器人执行任务的语言指令。

因此，文本不仅是一种输入模态，也经常成为其他模态任务的条件信息。

六、图像如何转换为模型能够处理的信息？

图像与文本具有明显不同的数据结构。

文本通常是离散序列，而图像主要由空间排列的像素构成。

6.1 图像的基础表示

一张 RGB 图像通常可以表示为：

$$X\in {\mathbb{R}}^{H\times W\times 3}$$

其中：

• $H$：图像高度；
• $W$：图像宽度；
• $3$：RGB 三个颜色通道。

例如，一张 224×224 的 RGB 图像，可以表示为：

$$224\times 224\times 3$$

的像素张量。

但原始像素本身并不是高级语义表示。

模型需要通过神经网络提取相关特征。

6.2 CNN 图像编码

卷积神经网络（CNN）通过卷积操作提取图像特征。

典型过程可以表示为：

输入图片
   │
   ▼
卷积层
   │
   ▼
局部特征
   │
   ▼
多层卷积计算
   │
   ▼
高级视觉特征

CNN 可以学习与边缘、纹理、形状和物体结构相关的特征。

6.3 Vision Transformer

Vision Transformer（ViT）将 Transformer 应用于图像处理。[1]

其核心思想之一，是将图像划分为多个 Patch。

例如：

原始图片
   │
   ▼
划分为 Patch
   │
   ▼
Patch Embedding
   │
   ▼
Transformer Encoder
   │
   ▼
视觉特征

假设输入图像为：

$$224\times 224$$

Patch 大小为：

$$16\times 16$$

那么在不考虑额外 Token 的情况下，Patch 数量为：

$$N=\frac{224}{16}\times \frac{224}{16}=196$$

每个 Patch 被转换为向量后，便可以进入 Transformer 进行计算。

6.4 Image Encoder

Image Encoder（图像编码器）负责将图像转换为视觉特征。

例如：

$$H_{\text{image}}=f_{\text{image}}(X_{\text{image}})$$

输出可以是：

• 整张图片的全局表示；
• 多个 Patch 的表示；
• 多尺度视觉特征；
• 其他空间特征。

不同输出形式适合不同任务。

6.5 图像理解与图像生成的区别

图像理解模型通常将图像编码为特征，再完成分类、描述或问答。

图像生成模型则需要根据输入条件构造新的图像数据。

因此，图像理解与图像生成不一定使用相同的架构。

例如，图像理解可以采用 ViT，而图像生成可能采用扩散模型或自回归生成模型。

七、音频如何转换为模型能够处理的信息？

音频是一种具有连续时间结构的数据。

与图像相比，音频更强调时间变化和频率特征。

7.1 音频波形

数字音频可以表示为离散采样序列：

$$x[n]$$

其中 $n$ 表示采样位置。

例如，16 kHz 的音频采样率意味着每秒包含 16000 个采样点。

7.2 音频特征

直接处理原始波形是一种方法。

另一种常见方法，是将音频转换为时频表示。

例如：

• Spectrogram；
• Mel Spectrogram；
• Log-Mel Spectrogram。

这些表示可以反映声音在不同时间和频率上的特征。

7.3 Audio Encoder

Audio Encoder（音频编码器）负责将音频转换为内部特征表示。

例如：

$$H_{\text{audio}}=f_{\text{audio}}(X_{\text{audio}})$$

不同模型可能使用：

• CNN；
• Transformer；
• Conformer；
• 其他序列建模结构。

7.4 音频 Token

部分现代音频模型会将音频转换为离散 Token。

例如：

音频波形
   │
   ▼
音频编码器
   │
   ▼
量化或离散化
   │
   ▼
Audio Tokens

这些 Token 可以被用于音频生成或与语言模型结合。

但并不是所有音频模型都需要离散 Token。

7.5 音频任务的区别

任务	输入	输出
ASR	音频	文本
TTS	文本	音频
Audio Classification	音频	类别
Speaker Recognition	音频	说话人相关表示
Audio Captioning	音频	文字描述
Speech-to-Speech	音频	音频

不同任务可能需要不同的模型结构和训练目标。

7.6 语音信息不只有文字

语音包含的信息不只是说话内容。

还可能包括：

• 语速；
• 音调；
• 停顿；
• 说话人特征；
• 背景声音；
• 情绪相关声学线索。

因此，将语音转写为文字可能丢失部分非文本信息。

这也是端到端音频模型受到关注的重要原因之一。

八、视频如何转换为模型能够处理的信息？

视频是一种具有时间结构的视觉数据。

它不仅包含单帧图像，还包含帧与帧之间的变化关系。

8.1 视频的基础结构

一段视频可以表示为：

$$X\in {\mathbb{R}}^{T\times H\times W\times C}$$

其中：

• $T$：帧数；
• $H$：高度；
• $W$：宽度；
• $C$：颜色通道。

视频模型需要处理空间信息与时间信息。

8.2 逐帧处理

一种简单方法是先提取视频帧，再使用图像编码器处理。

视频
  │
  ▼
帧采样
  │
  ├── Frame 1
  ├── Frame 2
  ├── Frame 3
  └── Frame N
        │
        ▼
    图像编码器
        │
        ▼
    视觉特征序列

这种方式能够利用成熟的图像模型。

但如果缺少时间建模机制，模型可能难以准确理解动作和事件顺序。

8.3 时空联合建模

另一类方法直接处理视频的时空结构。

例如，使用时空注意力机制建立不同帧和不同空间位置之间的关系。

模型可以学习：

• 物体运动；
• 动作变化；
• 事件顺序；
• 场景转换；
• 长时间依赖。

8.4 视频与音频的联合处理

现实视频通常还包含音频。

例如，一个人物正在讲话的视频，同时包含：

• 人物面部动作；
• 身体动作；
• 语音内容；
• 背景环境；
• 时间同步关系。

如果模型需要完整理解视频，就可能需要联合处理视觉和音频信息。

8.5 视频处理的主要挑战

视频模型通常面临较高的计算成本。

例如，一段较长视频可能包含大量帧，每帧又包含大量视觉特征。

因此，实际系统可能采用：

• 帧采样；
• 时空压缩；
• 特征聚合；
• 分层编码；
• 长序列注意力优化。

这些方法用于控制计算成本和上下文占用。

九、什么是多模态编码器？

多模态模型通常需要将不同类型的输入转换为可计算的特征表示。

负责这一过程的网络组件称为编码器（Encoder）。

9.1 模态专用编码器

不同模态可以使用不同的编码器。

例如：

文本 ──────► Text Encoder ──────► Text Features
图像 ──────► Image Encoder ─────► Image Features
音频 ──────► Audio Encoder ─────► Audio Features
视频 ──────► Video Encoder ─────► Video Features

这些编码器分别适应不同的数据结构。

9.2 为什么需要不同编码器？

因为不同模态具有不同的统计特征和结构。

例如：

• 文本强调符号序列；
• 图像强调空间关系；
• 音频强调时间与频率；
• 视频强调时空变化。

不同编码器可以利用与数据结构相适应的计算方式。

9.3 统一编码器

并不是所有多模态模型都使用完全独立的编码器。

部分模型尝试将不同模态转换为统一 Token 表示，再使用共享的 Transformer 进行处理。

例如：

文本 Token ─────┐
                │
图像 Token ─────┼──► Shared Transformer
                │
音频 Token ─────┘

这种方法可以让不同模态共享部分计算结构。

但即使采用统一 Transformer，模型仍然可能需要不同的输入预处理或模态适配组件。

9.4 专用编码器与统一编码器的区别

维度	专用编码器	统一编码器
输入处理	各模态分别编码	尽可能统一表示
架构设计	模块化程度较高	共享计算结构较多
模态特性	便于针对模态优化	强调统一建模
跨模态交互	通常需要额外融合机制	可在共享网络中交互
主要挑战	模态对齐与模块协作	模态差异与训练复杂度

两种方式并不是绝对互斥的。

现代多模态模型可能采用混合设计。

十、什么是模态对齐？

模态对齐（Modality Alignment）是多模态学习的重要问题。

它研究如何建立不同模态表示之间的对应关系。

10.1 为什么需要模态对齐？

假设一张图片展示一只猫。

对应的文字描述是：

一只猫坐在沙发上。

图像和文本的原始数据形式完全不同。

如果模型希望判断两者是否相关，就需要建立视觉表示与语言表示之间的联系。

10.2 共享表示空间

一种常见方法，是将不同模态映射到可以比较的向量空间。

例如：

$$z_{\text{image}}=f_{\text{image}}(x_{\text{image}})$$$$z_{\text{text}}=f_{\text{text}}(x_{\text{text}})$$

然后通过相似度函数比较：

$$sim(z_{\text{image}},z_{\text{text}})$$

常见相似度包括余弦相似度。

10.3 CLIP 的基本思想

CLIP（Contrastive Language–Image Pre-training）是具有代表性的图文对齐模型。[2]

它通过图像编码器和文本编码器分别提取特征，并利用图文配对数据进行对比学习。

图片 ──► Image Encoder ──► Image Embedding
                                  │
                                  ▼
                             相似度计算
                                  ▲
                                  │
文本 ──► Text Encoder ───► Text Embedding

训练目标通常鼓励匹配的图文对具有较高相似度，不匹配的图文对具有较低相似度。

10.4 模态对齐的价值

模态对齐可以支持：

• 图文检索；
• 图像分类；
• 跨模态搜索；
• 图文匹配；
• 多模态表示学习。

例如，用户输入一段文字，系统可以根据文字表示检索相关图片。

10.5 对齐不等于完整理解

模态对齐能够建立不同模态之间的统计关联，但不意味着模型已经具备完整的视觉理解能力。

例如，模型可能能够判断图片与文字是否相关，却仍然难以准确完成复杂空间推理、计数或因果分析。

因此，需要区分：

跨模态表示对齐与复杂多模态理解能力。

十一、什么是多模态信息融合？

信息融合（Multimodal Fusion）是指将不同模态的信息结合，用于形成新的表示或完成任务。

11.1 为什么需要融合？

例如，用户输入：

请分析这张图片中的建筑风格。

模型需要同时利用：

• 图片中的视觉信息；
• 文字中的任务要求。

如果模型无法将两种信息结合，就难以完成任务。

11.2 Early Fusion

Early Fusion（早期融合）通常在较早的计算阶段组合不同模态的表示。

例如：

Text Features ──┐
                ├──► 特征组合 ──► 共享模型
Image Features ─┘

这种方法允许不同模态在后续网络中进行联合计算。

11.3 Late Fusion

Late Fusion（后期融合）通常先分别处理不同模态，再组合各自的预测结果或高级表示。

例如：

文本 ──► 文本模型 ──► 文本结果 ──┐
                               ├──► 融合决策
图像 ──► 图像模型 ──► 图像结果 ──┘

11.4 Intermediate Fusion

Intermediate Fusion（中间融合）通常在模型内部的某些阶段进行跨模态交互。

例如：

Text Encoder ─────┐
                  │
                  ▼
             Fusion Layer
                  ▲
                  │
Image Encoder ────┘
                  │
                  ▼
             后续网络

11.5 三种融合方式比较

方式	融合位置	主要特点
Early Fusion	较早阶段	较早建立跨模态联系
Intermediate Fusion	中间网络层	兼顾模态编码与交互
Late Fusion	较后阶段	模态处理相对独立

这些术语描述的是典型设计思路。

实际模型可能使用多阶段融合，不一定能够严格归入某一种类型。

十二、什么是 Cross-Attention？

Cross-Attention（交叉注意力）是一种用于不同信息序列之间交互的注意力机制。

在多模态模型中，它可以用于建立不同模态之间的信息联系。

12.1 Self-Attention 与 Cross-Attention 的区别

Self-Attention 通常在同一个序列内部计算 Q、K、V。

Cross-Attention 则可以让 Query 来自一个序列，而 Key 和 Value 来自另一个序列。

例如：

$$Q=X_{\text{text}}{W}_Q$$$$K=X_{\text{image}}{W}_K$$$$V=X_{\text{image}}{W}_V$$

然后计算：

$$Attention(Q,K,V)=softmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

这样，文本表示可以根据图像特征更新。

12.2 一个视觉问答示例

假设用户输入一张图片和问题：

图片中有几个人？

模型需要根据文字问题关注图像中的相关视觉信息。

文字问题
   │
   ▼
Text Representation
   │
   ▼
Query
   │
   ▼
Cross-Attention ◄──── Image Features
   │
   ▼
融合表示
   │
   ▼
生成回答

这是帮助理解的简化结构。

实际模型可能使用不同的视觉编码器、注意力模块和融合方法。

12.3 Cross-Attention 的作用

Cross-Attention 可以支持：

• 图文交互；
• 音文交互；
• 视频问答；
• 条件生成；
• 跨模态特征融合。

但它不是多模态融合的唯一方法。

例如，部分模型会将不同模态 Token 拼接为一个序列，再通过 Self-Attention 进行统一计算。

十三、多模态大语言模型是如何构建的？

多模态大语言模型（Multimodal Large Language Model，MLLM）通常是在语言模型基础上，引入其他模态的输入、表示或生成能力。

13.1 一种典型架构

以视觉语言模型为例：

图片
  │
  ▼
Vision Encoder
  │
  ▼
Visual Features
  │
  ▼
Projector
  │
  ├──────────────────────┐
  │                      │
  ▼                      ▼
Visual Tokens       Text Tokens
  │                      │
  └──────────┬───────────┘
             │
             ▼
           LLM
             │
             ▼
         文字回答

其中：

• Vision Encoder：提取视觉特征；
• Projector：将视觉特征转换为适合语言模型处理的表示；
• LLM：结合视觉和语言信息生成输出。

这是许多视觉语言模型采用过的一类典型技术路线。

13.2 为什么需要 Projector？

视觉编码器输出的特征维度和分布，可能与语言模型的输入表示不一致。

Projector（投影器或适配器）用于建立两者之间的映射。

例如：

$$H_{\text{visual}}^{\prime }=P(H_{\text{visual}})$$

其中：

• $H_{\text{visual}}$：视觉编码器输出；
• $P$：投影网络；
• $H_{\text{visual}}^{\prime }$：适配后的视觉表示。

Projector 可能是线性层、MLP 或其他结构。

需要注意，维度映射只是 Projector 的一项作用。通过训练，Projector 还需要学习适合后续模型使用的表示转换。

13.3 LLaVA 的代表性思路

LLaVA（Large Language and Vision Assistant）是视觉语言模型研究中的代表性工作之一。[3]

其早期架构将视觉编码器、视觉特征投影器和语言模型结合，并通过视觉指令数据进行训练。

这类方法展示了如何利用已有视觉模型和语言模型构建多模态助手。

13.4 其他架构路线

多模态 LLM 还可以采用：

• Cross-Attention 模块；
• 统一 Token 序列；
• 多模态共享 Transformer；
• 多模态专用编码器与共享语言模型；
• 统一输入输出的多模态生成架构。

因此，MLLM 并不存在唯一的标准架构。

13.5 多模态模型与多模态系统的区别

一个多模态模型可以直接接收多种模态并进行联合计算。

而多模态系统也可能由多个独立模型组成。

例如：

语音识别模型
      │
      ▼
语言模型
      │
      ▼
语音合成模型

这个系统能够实现语音对话，但不一定意味着内部存在一个端到端统一训练的多模态模型。

因此，需要区分：

单一多模态模型与由多个模型组成的多模态应用系统。

十四、多模态生成模型有哪些主要技术路线？

多模态生成不一定依赖语言模型。

不同模态可能采用不同的生成方法。

14.1 自回归生成

自回归生成通过已有 Token 预测后续 Token。

例如：

$$P(x_1,\dots ,x_T)=\prod _{t=1}^{T}P(x_t\mid x_{<t})$$

如果图像、音频或视频被转换为离散 Token，也可以使用类似方法进行生成。

14.2 扩散模型

扩散模型（Diffusion Model）是图像和视频生成中的重要技术路线。

其典型思想是学习逐步去除噪声，从噪声状态恢复或生成数据。

简化过程：

随机噪声
   │
   ▼
去噪步骤 1
   │
   ▼
去噪步骤 2
   │
   ▼
      ...
   │
   ▼
生成图像

扩散模型通常通过多步迭代完成生成。

14.3 Latent Diffusion

Latent Diffusion Model（潜空间扩散模型）在压缩后的潜在表示空间中执行扩散过程。

例如：

文本条件
    │
    ▼
条件编码
    │
    ▼
潜空间扩散
    │
    ▼
潜变量
    │
    ▼
图像解码器
    │
    ▼
生成图片

这种方法可以降低直接在高分辨率像素空间进行扩散计算的成本。[7]

14.4 Flow Matching

Flow Matching 是另一类重要的生成建模方法。

它通过学习连续时间的向量场，建立从简单分布到目标数据分布的变换过程。[8]

相关方法已被应用于部分现代生成模型。

14.5 不同生成方法的关系

方法	基本思想	常见应用
Autoregressive	逐步预测后续元素	文本、离散图像或音频 Token
Diffusion	学习逐步去噪	图像、视频、音频
Latent Diffusion	在潜空间进行扩散	图像、视频
Flow Matching	学习连续分布变换	图像、视频等生成任务

这些方法不是完全互斥的。

实际系统可能组合自回归模型、扩散模型和其他生成组件。

十五、什么是统一多模态模型？

统一多模态模型（Unified Multimodal Model）通常指尝试在较为统一的模型框架中处理多种模态输入和输出的模型。

但这一术语并不存在完全统一的技术定义。

15.1 为什么研究统一多模态模型？

传统多模态系统可能由多个专用模型组成。

例如：

图片 → 图像模型
语音 → 语音模型
文本 → 语言模型

这种方式可以充分利用专用模型，但跨模态交互可能需要额外的系统设计。

统一多模态模型尝试让不同模态共享更多表示或计算机制。

15.2 统一 Token 表示

一种研究方向，是将不同模态转换为统一的 Token 序列。

例如：

Text Tokens
Image Tokens
Audio Tokens
Video Tokens
     │
     ▼
统一序列
     │
     ▼
Shared Transformer

这种方式可以复用 Transformer 的序列建模能力。

但不同模态 Token 的生成方式、信息密度和时间结构可能存在很大差异。

15.3 统一输入与输出

部分模型不仅接收多模态输入，还尝试直接生成不同模态的输出。

例如：

• 文本输入，语音输出；
• 图像输入，文本输出；
• 音频输入，音频输出；
• 文本与图像输入，生成图像。

这要求模型不仅能够理解不同模态，还需要具备对应的生成机制。

15.4 统一模型的主要挑战

统一多模态模型需要解决：

• 不同模态的数据规模差异；
• 表示空间差异；
• 训练目标差异；
• 时间同步问题；
• 模态间的信息竞争；
• 计算资源分配；
• 输出生成机制差异。

因此，统一架构不一定比模块化系统更适合所有任务。

十六、多模态模型如何处理空间、时间与动作？

文本、图像、音频和视频已经覆盖了大量常见应用。

但在机器人、自动驾驶和具身智能领域，模型还需要处理空间状态与动作信息。

16.1 空间信息

空间信息可能包括：

• 物体位置；
• 深度；
• 距离；
• 方向；
• 三维形状；
• 场景几何关系。

这些信息可以来自图片、深度传感器、点云或其他传感器。

16.2 时间信息

时间信息用于描述状态如何变化。

例如：

• 人物移动；
• 物体运动；
• 语音变化；
• 事件顺序。

模型需要识别不同时间点之间的关系。

16.3 动作信息

动作信息用于描述系统应该执行的行为。

例如：

• 机械臂移动；
• 机器人抓取；
• 车辆转向；
• 控制系统调整参数。

16.4 Vision-Language-Action Model

Vision-Language-Action（VLA）模型尝试将视觉、语言和动作信息结合。

例如：

视觉输入
    │
    ├──────────┐
    │          │
语言指令      │
    │          │
    └────┬─────┘
         │
         ▼
      VLA Model
         │
         ▼
      动作输出

模型可以根据视觉环境和语言指令生成动作相关表示或控制输出。

16.5 VLA 与 Agent 的关系

VLA 模型可以为具身 Agent 提供感知与动作预测能力。

但机器人系统还需要：

• 传感器接口；
• 控制执行器；
• 实时控制；
• 安全机制；
• 状态反馈；
• 故障处理。

因此，VLA 模型不等同于完整机器人系统。

十七、多模态模型如何训练？

多模态模型的训练通常涉及多个阶段。

本节只介绍整体框架，具体算法将在 M6 中展开。

17.1 单模态预训练

开发者可以先分别训练不同模态的编码器。

例如：

• 图像编码器；
• 文本编码器；
• 音频编码器。

这些编码器可以学习各自模态的基础表示。

17.2 模态对齐训练

随后，通过配对数据建立不同模态之间的对应关系。

例如：

• 图片与描述；
• 音频与转写文本；
• 视频与字幕；
• 图像与问答。

17.3 多模态联合训练

模型可以通过联合训练学习跨模态信息交互。

例如，输入图片和文字问题，让模型生成正确回答。

17.4 多模态指令微调

为了让模型更好地遵循用户指令，可以使用多模态指令数据进行训练。

例如：

图片 + 用户问题
       │
       ▼
多模态模型
       │
       ▼
符合任务要求的回答

17.5 训练流程示意

模态数据准备
      │
      ▼
单模态编码能力
      │
      ▼
跨模态表示对齐
      │
      ▼
多模态联合训练
      │
      ▼
多模态指令训练
      │
      ▼
模型评估与发布

这是一种典型的训练路径，并不是所有多模态模型都必须采用完全相同的阶段。

例如，一些模型可能从头进行联合训练，而不是先分别训练各模态编码器。

十八、多模态模型面临哪些技术挑战？

多模态模型能够利用更丰富的信息，但也引入了新的复杂性。

18.1 模态表示差异

不同模态具有不同的数据结构。

文本、图像、音频和视频需要不同的编码方式。

18.2 模态对齐误差

模型可能错误地建立不同模态之间的对应关系。

例如，将图片中的某个物体与错误的文字描述关联。

18.3 视觉幻觉

模型可能描述图片中不存在的物体或细节。

例如，用户上传一张建筑照片，模型可能错误地识别建筑名称或具体结构。

18.4 空间推理困难

模型可能能够识别物体，却难以准确判断复杂空间关系。

例如：

• 物体之间的相对位置；
• 精确数量；
• 三维结构；
• 遮挡关系。

18.5 时间理解困难

视频和音频任务需要处理时间顺序。

模型可能在事件先后、动作持续时间和跨帧关联方面出现错误。

18.6 模态信息冲突

不同模态可能提供不一致的信息。

例如，视频画面与字幕不匹配。

模型需要判断哪些信息可靠，以及如何处理冲突。

18.7 计算成本

图像、音频和视频可能产生大量特征或 Token。

这会增加：

• 显存占用；
• 计算成本；
• 输入处理延迟；
• 上下文长度需求。

18.8 训练数据问题

多模态训练数据可能存在：

• 图文不匹配；
• 音频转写错误；
• 视频字幕偏差；
• 标注不足；
• 数据分布不均衡；
• 版权与隐私问题。

18.9 评估困难

多模态模型需要评估不同维度的能力。

例如：

• 图像识别；
• 图文匹配；
• 视觉问答；
• 音频理解；
• 视频时间推理；
• 多模态生成质量。

因此，不能仅凭单一测试指标判断多模态模型的整体能力。

十九、多模态模型与 Agent 有什么关系？

多模态模型可以扩展 Agent 获取和处理外部信息的能力。

传统文本 Agent 主要依赖文字输入。

多模态 Agent 则可以利用图片、音频、视频或其他传感器信息。

19.1 视觉 Agent

例如，一个视觉 Agent 可以接收网页截图，分析界面内容，并提出下一步操作。

网页截图
    │
    ▼
视觉语言模型
    │
    ▼
界面理解
    │
    ▼
Agent 决策
    │
    ▼
执行操作

需要注意，模型理解截图并不意味着它已经具备实际操作计算机的权限。

执行仍然需要外部工具和运行系统。

19.2 语音 Agent

语音 Agent 可以接收语音输入并生成语音回答。

例如：

用户语音
    │
    ▼
音频理解
    │
    ▼
Agent
    │
    ▼
模型生成回答
    │
    ▼
语音输出

实际系统可以采用端到端语音模型，也可以组合 ASR、LLM 和 TTS。

19.3 视频分析 Agent

视频分析 Agent 可以处理视频内容，并完成事件总结或信息提取。

例如：

• 分析会议录像；
• 总结视频内容；
• 检索视频中的特定事件；
• 根据视频生成结构化记录。

19.4 具身 Agent

具身 Agent 可以结合视觉、语言和动作能力，与物理环境进行交互。

例如：

环境感知
    │
    ▼
多模态模型
    │
    ▼
任务规划
    │
    ▼
动作控制
    │
    ▼
环境反馈
    │
    └────────► 下一轮决策

19.5 多模态模型不是完整 Agent

多模态模型主要提供感知、理解和生成能力。

Agent 还需要：

• 任务管理；
• 工具执行；
• 状态管理；
• 权限控制；
• 反馈循环；
• 结果验证。

因此，多模态能力扩展了 Agent 的信息处理范围，但并没有替代 Agent 的运行机制。

二十、核心结论

多模态模型是能够建立不同模态之间的关系，并利用这些关系完成理解、分析或生成任务的 AI 模型。

理解多模态模型，需要建立以下认识。

第一，模态是信息的表现形式。 文本、图像、音频、视频和传感器数据具有不同的数据结构。

第二，多模态模型不一定支持所有模态。 需要明确模型的输入、输出和任务能力。

第三，不同模态需要转换为适合神经网络计算的表示。 这些表示可以是连续特征，也可以是离散 Token。

第四，模态编码器负责提取不同类型数据的特征。 不同模态可以使用专用编码器，也可以共享部分网络结构。

第五，模态对齐用于建立不同模态表示之间的对应关系。 CLIP 是具有代表性的图文对齐研究。

第六，多模态信息融合用于综合不同模态的内容。 常见方法包括早期融合、中间融合和后期融合。

第七，Cross-Attention 是跨模态交互的重要机制。 但并不是唯一的融合方法。

第八，多模态大语言模型通常将非文本编码器与语言模型结合。 Vision Encoder、Projector 和 LLM 是一种典型组合。

第九，多模态生成可以采用不同技术路线。 自回归生成、扩散模型和 Flow Matching 都具有重要应用。

第十，统一多模态模型尝试共享更多表示和计算机制。 但统一架构并不一定适合所有任务。

第十一，多模态模型可以扩展到空间、时间和动作信息。 VLA 模型是具身智能中的重要研究方向。

第十二，多模态模型仍然面临对齐误差、幻觉、时空推理困难和计算成本等挑战。

第十三，多模态能力可以扩展 Agent 的感知和交互范围。 但模型本身不等同于完整 Agent 系统。

从整个 AI 技术体系看，多模态模型将神经网络的信息处理能力从单一语言扩展到更加丰富的数据形式。

它使 AI 能够在统一任务中利用视觉、听觉、语言和其他信息，为更复杂的应用和 Agent 系统提供基础能力。

二十一、参考文献与延伸阅读

21.1 图像表示与视觉模型

[1] Dosovitskiy, A., et al. (2020). An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale.
提出 Vision Transformer，展示将图像划分为 Patch 并使用 Transformer 处理的方法。
论文：An Image Is Worth 16x16 Words

[2] Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision.
介绍 CLIP，通过图文对比学习建立视觉与语言表示之间的联系。
论文：Learning Transferable Visual Models From Natural Language Supervision

21.2 多模态大语言模型

[3] Liu, H., et al. (2023). Visual Instruction Tuning.
介绍 LLaVA 及视觉指令微调方法。
论文：Visual Instruction Tuning

[4] Alayrac, J.-B., et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning.
研究利用视觉编码器与语言模型进行跨模态学习的方法。
论文：Flamingo

[5] Li, J., et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models.
介绍通过轻量化查询模块连接视觉编码器和语言模型的方法。
论文：BLIP-2

21.3 多模态生成模型

[6] Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models.
扩散生成模型的重要研究。
论文：Denoising Diffusion Probabilistic Models

[7] Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models.
提出在潜空间中进行扩散生成的方法。
论文：High-Resolution Image Synthesis with Latent Diffusion Models

[8] Lipman, Y., et al. (2023). Flow Matching for Generative Modeling.
介绍 Flow Matching 生成建模方法。
论文：Flow Matching for Generative Modeling

21.4 音频与视频模型

[9] Radford, A., et al. (2022). Robust Speech Recognition via Large-Scale Weak Supervision.
介绍 Whisper 语音识别研究。
论文：Robust Speech Recognition via Large-Scale Weak Supervision

[10] Tong, Z., et al. (2022). VideoMAE: Masked Autoencoders Are Data-Efficient Learners for Self-Supervised Video Pre-Training.
研究视频表示学习方法。
论文：VideoMAE

21.5 统一多模态与具身模型

[11] Girdhar, R., et al. (2023). ImageBind: One Embedding Space To Bind Them All.
研究将多种模态映射到联合表示空间的方法。
论文：ImageBind

[12] Driess, D., et al. (2023). PaLM-E: An Embodied Multimodal Language Model.
研究具身多模态语言模型。
论文：PaLM-E

[13] Brohan, A., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.
研究视觉语言动作模型在机器人控制中的应用。
论文：RT-2

21.6 官方工程文档

[14] Hugging Face. Transformers Documentation.
介绍文本、视觉、音频和多模态 Transformer 模型的使用方法。
官方文档：Transformers Documentation

[15] PyTorch. TorchVision Documentation.
介绍计算机视觉模型和图像处理相关工具。
官方文档：TorchVision Documentation

二十二、关联研究

关联文档	研究内容
M1 · AI 模型是什么？它由什么构成？	模型架构与参数
M2 · 神经网络如何学习和处理信息？	神经网络与表示学习
M3 · Transformer 如何处理和生成信息？	注意力机制与 Transformer
M4 · 大语言模型是如何构建的？	LLM 的整体结构
M6 · AI 模型如何通过训练获得能力？	预训练、后训练与多模态训练
M7 · AI 模型如何生成输出？	模型推理与生成机制
M8 · 如何评估 AI 模型的能力与局限？	多模态模型评估
K2 · 什么是 Embedding？	向量表示与语义空间
K5 · 什么是 RAG？它如何工作？	检索增强生成
E3 · 如何管理模型的上下文窗口？	多模态上下文管理
A2 · Agent 如何获得认知与推理能力？	Agent 的模型能力
A7 · Agent 如何调用工具并执行操作？	多模态 Agent 与工具执行