02 · AI 模型是如何构建和工作的？ - Model Architecture
所属知识库：Agent 全栈技术地图
所属领域：01 · AI
所属章节：02 · AI 模型是如何构建和工作的？ - Model Architecture
文档类型：章节导读
版本：v1.0
更新日期：2026 年 10 月 27 日
核心问题：AI 模型是如何构建和工作的？模型由什么构成，神经网络如何学习和处理信息？Transformer 与大语言模型如何处理和生成信息？多模态模型如何理解和处理不同模态？模型如何通过训练获得能力、通过推理生成输出，以及如何评估其能力与局限？
导读的主要任务是说明这一章节研究什么、为什么需要研究、八篇文章之间是什么关系，以及完成学习后应该建立怎样的技术认知。它不需要提前详细讲解 M1—M8 的全部技术原理。
一、章节概述
人工智能模型（AI Model）是现代 AI 技术体系中的核心计算基础。无论是自然语言处理、图像识别、内容生成，还是复杂推理和工具使用，许多现代 AI 应用都依赖模型对信息进行表示、计算和处理。
在上一章节中，我们研究了人工智能的基本定义、技术分类、发展历史，以及 AI 已经具备的能力与局限。本章节将进一步进入模型内部，研究这些能力是如何通过具体的计算结构、训练方法和推理机制实现的。
一个现代 AI 模型通常由模型架构、参数、输入与输出表示等部分构成。模型通过训练学习数据中的规律，在实际运行时利用已经获得的参数处理新的输入，并产生预测、判断或生成结果。
不同模型的技术结构和工作方式存在明显差异。例如，神经网络通过多层计算结构学习数据表示，Transformer 利用注意力机制处理序列信息，大语言模型通过大规模预训练获得语言处理能力，多模态模型则进一步扩展了模型能够处理的信息类型。
理解这些技术，需要同时研究模型的内部结构、能力形成机制和实际运行过程。
因此，本章节将按照「模型基础 → 神经网络 → Transformer → 大语言模型 → 多模态模型 → 模型训练 → 模型推理 → 模型评估」的顺序，建立对现代 AI 模型的系统性认识。
二、本章节研究什么？
本章节包含八个相互关联的研究主题。
| 编号 | 研究主题 | 核心研究问题 |
|---|---|---|
| M1 | AI 模型基础（Model Fundamentals） | AI 模型是什么？模型架构、参数、算法和计算过程之间有什么关系？ |
| M2 | 神经网络（Neural Networks） | 神经网络如何通过多层计算结构处理信息，并通过训练调整参数？ |
| M3 | Transformer 架构（Transformer Architecture） | Transformer 如何利用注意力机制处理序列信息？为什么它成为现代语言模型的重要架构基础？ |
| M4 | 大语言模型（Large Language Models） | 大语言模型由哪些部分构成？如何通过规模化训练获得语言处理能力？ |
| M5 | 多模态模型（Multimodal Models） | AI 如何表示、融合和处理文本、图像、音频、视频等不同形式的信息？ |
| M6 | 模型训练（Pre-training & Post-training） | 模型如何通过预训练、微调、强化学习和其他后训练方法获得与改善能力？ |
| M7 | 模型推理（Inference & Decoding） | 训练完成的模型如何处理输入、执行计算并生成输出？不同解码方法如何影响结果？ |
| M8 | 模型评估（Model Evaluation） | 如何科学评价模型的能力、质量、效率、可靠性和适用范围？ |
这八个主题并不是八种相互独立的技术，而是从不同角度研究同一个问题：现代 AI 模型如何被构建、训练、运行和评价。
其中，M1—M5 主要研究模型的结构与能力基础，M6—M7 研究模型能力的形成与使用过程，M8 则研究如何判断模型的实际表现。
三、如何理解本章节的技术逻辑？
可以将一个现代 AI 模型的技术过程概括为：
模型设计
│
▼
模型架构与参数
│
▼
模型训练
│
学习和调整参数
│
▼
训练后的模型
│
▼
模型推理
│
处理新的输入
│
▼
模型输出
│
▼
模型评估这是一种便于理解的简化流程。实际模型研发通常是迭代进行的，评估也会贯穿训练、部署和使用过程。
从研究角度看，整个过程需要回答三个基本问题。
第一，模型由什么构成？ 需要理解模型架构、参数、神经网络、注意力机制，以及不同类型模型如何表示和处理信息。
第二，模型的能力从哪里来？ 需要理解训练数据、训练目标、参数优化、预训练和后训练等机制。
第三，模型如何被使用和评价？ 需要理解推理计算、输出生成、解码策略，以及模型能力、可靠性和性能的评估方法。
这三个问题构成了本章节的核心研究逻辑。
四、为什么需要研究 AI 模型的内部机制？
在实际开发中，我们可以通过 API 直接调用已有模型，而不必从零训练神经网络。
但如果不了解模型的基本工作机制，就很难准确判断模型的能力边界，也难以解释为什么不同模型在相同任务中的表现存在差异。
例如，理解 Transformer 和上下文处理机制，有助于认识模型如何利用输入信息；理解预训练与后训练的区别，有助于判断模型能力和行为是如何形成的；理解推理与解码机制，则有助于分析输出随机性、响应延迟和计算成本。
对于后续 Agent 技术研究，这些知识尤其重要。
Agent 通常需要利用 AI 模型完成任务理解、信息分析、推理、规划或行动选择。不同模型的能力、上下文限制、工具支持和推理性能，都会影响 Agent 的设计与执行表现。
因此，研究模型内部机制，并不意味着必须成为模型训练研究者，而是为了建立能够理解、选择、使用和评估 AI 模型的技术基础。
五、完成本章节后应该掌握什么？
完成 M1—M8 的研究后，应当能够建立以下认知：
- 理解模型结构。 能够区分模型架构、参数、算法和运行环境，理解神经网络、Transformer 与大语言模型之间的关系。
- 理解能力形成。 能够解释模型如何通过训练数据、训练目标和参数优化获得能力，以及预训练与后训练的不同作用。
- 理解模型运行。 能够说明模型如何处理输入、执行推理和生成输出，并理解上下文窗口、解码策略和计算资源的基本影响。
- 理解模型差异。 能够区分语言模型、多模态模型及其他模型类型，认识不同模型在结构、任务和能力上的差异。
- 理解能力边界。 能够根据实际任务评价模型的准确性、可靠性、效率和成本，而不是仅依赖参数规模或公开排行榜判断模型质量。
- 建立工程认知。 能够将模型的内部机制与后续 Model Engineering、Agent 和 Agent System 中的模型调用、模型路由、上下文管理和任务执行联系起来。
本章节的最终目标，是形成一套完整的模型技术认知框架：
理解模型如何构建、能力如何形成、计算如何执行，以及模型表现应该如何评价。
六、章节目录
M1 · AI 模型是什么？它由什么构成？
Model Fundamentals
研究 AI 模型的定义、基本组成，以及模型架构、参数、算法、训练和推理之间的关系。
M2 · 神经网络如何学习和处理信息？
Neural Networks
研究人工神经元、网络层、权重、激活函数、前向传播、反向传播和参数优化等基本机制。
M3 · Transformer 如何处理和生成信息？
Transformer Architecture
研究 Token 表示、位置编码、注意力机制、Transformer 模块，以及 Encoder、Decoder 等架构形式。
M4 · 大语言模型是如何构建的？
Large Language Models
研究大语言模型的整体结构、语言建模目标、模型规模、架构选择，以及现代 LLM 的主要技术特征。
M5 · AI 模型如何理解和处理不同模态？
Multimodal Models
研究文本、图像、音频和视频等不同模态的表示方式，以及多模态模型的信息融合与处理机制。
M6 · AI 模型如何通过训练获得能力？
Pre-training & Post-training
研究预训练、监督微调、偏好优化、强化学习和其他后训练方法，以及不同训练阶段对模型能力和行为的影响。
M7 · AI 模型如何生成输出？
Inference & Decoding
研究模型推理、Token 生成、采样与解码策略、推理阶段计算，以及模型运行效率。
M8 · 如何评估 AI 模型的能力与局限？
Model Evaluation
研究模型评估指标、基准测试、泛化能力、可靠性、安全性，以及模型质量与工程性能的综合评价方法。
七、关联章节
前置研究： 01 · 什么是 AI？如何发展？ - Fundamentals。建立人工智能的基本概念、技术分类与历史背景。
后续研究： 03 · 如何使用和管理 AI 模型？ - Model Engineering。研究模型 API、Prompt Engineering、上下文管理、结构化输出、工具调用、模型路由和模型部署等工程技术。
相关研究： 02 · Agent → A2 · Agent 如何获得认知与推理能力？ - Model。研究 AI 模型如何作为 Agent 的能力组件参与任务执行。