M2 · 神经网络如何学习和处理信息？ - Neural Networks

所属知识库：Agent 全栈技术地图
所属领域：01 · AI
所属章节：02 · AI 模型是如何构建和工作的？ - Model Architecture
文档类型：基础理论与技术机制研究
版本：v1.0
更新日期：2026 年 10 月 27 日
核心问题：什么是人工神经网络？神经元、网络层、权重和激活函数分别承担什么作用？神经网络如何执行前向传播、计算误差并通过反向传播调整参数？为什么多层神经网络能够学习复杂的数据表示？

专题导读

M1 已经建立了 AI 模型的整体技术框架，解释了模型架构、参数、算法、训练和推理之间的关系。M2 将进一步进入神经网络内部，研究模型如何通过数学运算处理信息，以及如何通过训练逐步调整参数。

一、研究概述

人工神经网络（Artificial Neural Network，ANN）是现代深度学习的重要技术基础。

从图像识别、语音处理到大语言模型和多模态模型，许多现代 AI 技术都建立在神经网络及其相关计算方法之上。

神经网络的基本思想，是通过大量相互连接的计算单元构成参数化计算结构，并利用训练数据调整这些计算单元之间的连接参数，使网络能够处理复杂的输入与输出关系。

例如，一个图像分类模型可以接收图片中的像素数据，通过多层神经网络计算，最终输出图片所属类别的预测结果。

一个语言模型则可以将文本转换为向量表示，通过神经网络计算不同 Token 之间的关系，并生成后续内容。

虽然这些模型的结构和任务不同，但它们都涉及神经网络的几个基本机制：

• 通过权重和偏置控制计算行为；
• 通过网络层组织多次计算；
• 通过非线性变换表示复杂关系；
• 通过前向传播产生输出；
• 通过损失函数衡量训练误差；
• 通过反向传播计算梯度；
• 通过优化算法调整模型参数。

这些机制共同构成了现代神经网络学习和处理信息的基础。

需要注意，神经网络并不是对人脑神经系统的完整模拟。人工神经元是一种数学计算单元，其结构和工作方式与真实生物神经元存在显著差异。

因此，理解神经网络时，更准确的方法是将其视为一种由可学习参数和数学运算组成的计算系统。

本篇将从单个人工神经元出发，逐步研究网络层、多层网络、前向传播、损失函数、反向传播、梯度下降，以及神经网络如何学习数据表示。

二、什么是人工神经网络？

2.1 基本定义

人工神经网络是一类由相互连接的计算单元组成的参数化计算模型。

这些计算单元通常按照一定结构组织，通过权重、偏置和数学运算处理输入信息。

对于典型的前馈神经网络，可以表示为：

$$y=f_{\theta }(x)$$

其中：

• $x$：输入数据；
• $y$：模型输出；
• $f$：神经网络的计算函数；
• $\theta$：网络中的可学习参数。

神经网络通过训练调整参数，使其能够近似特定任务中的输入与输出关系。

例如：

输入数据
   │
   ▼
神经网络
   │
   ▼
输出结果

这个结构看起来简单，但神经网络内部可能包含大量计算层和参数。

现代大型语言模型甚至可能包含数十亿至数千亿级别的参数。

不过，参数数量并不直接决定模型能力。架构、训练数据、训练方法和计算资源同样重要。

2.2 为什么叫神经网络？

人工神经网络的早期研究受到生物神经系统的启发。

生物神经系统由大量神经元构成，神经元通过连接传递信号。

研究者借鉴这种连接结构，提出了由人工计算单元组成的网络模型。

1943 年，Warren McCulloch 和 Walter Pitts 提出了早期人工神经元的数学模型。[1]

1958 年，Frank Rosenblatt 发表了关于感知机（Perceptron）的研究，推动了神经网络学习机制的发展。[2]

但现代人工神经网络已经发展为高度数学化和工程化的计算体系。

因此，“神经网络”主要是一个历史形成的技术名称，不能据此认为模型具有与人脑相同的工作机制。

2.3 神经网络与深度学习是什么关系？

深度学习（Deep Learning）主要研究利用多层表示学习结构处理数据的方法。

现代深度学习通常以神经网络为主要技术基础。

一个简单神经网络可能只包含少量计算层，而深度神经网络通常具有更多层次。

通过多层计算，模型能够逐步构建不同层次的数据表示。

因此：

神经网络是一类计算模型，深度学习则主要研究如何利用具有多层表示结构的模型学习复杂的数据规律。

两者密切相关，但并不是完全相同的概念。

三、人工神经元由什么构成？

人工神经元（Artificial Neuron）是理解神经网络的重要起点。

一个典型的人工神经元接收多个输入，对输入进行加权求和，再通过激活函数产生输出。

3.1 人工神经元的基本结构

假设一个神经元接收三个输入：

$$x_1,x_2,x_3$$

每个输入对应一个权重：

$$w_1,w_2,w_3$$

神经元首先计算：

$$z=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$

然后通过激活函数：

$$a=\sigma (z)$$

其中：

• $x_i$：输入；
• $w_i$：权重；
• $b$：偏置；
• $z$：加权求和结果；
• $\sigma$：激活函数；
• $a$：神经元输出。

完整结构可以表示为：

输入 x1 ── 权重 w1 ──┐
                    │
输入 x2 ── 权重 w2 ──┼── 加权求和 ── 激活函数 ── 输出
                    │
输入 x3 ── 权重 w3 ──┘
                    ▲
                    │
                   偏置 b

这是一种典型的人工神经元形式。

实际神经网络可能使用更加复杂的计算单元，不一定都采用完全相同的结构。

3.2 权重（Weights）

权重决定不同输入对神经元计算结果的影响。

例如：

$$z=0.5x_1+2x_2-1.5x_3$$

在这个例子中，三个输入具有不同的权重。

权重的数值和符号会影响计算结果。

神经网络训练的重要任务之一，就是调整这些权重。

3.3 偏置（Bias）

偏置是加权求和之外的附加参数。

例如：

$$z=wx+b$$

偏置可以改变线性变换的位置，使模型能够表示更加灵活的关系。

并不是所有神经网络层都必须包含偏置，但它是许多常见网络结构的重要组成部分。

3.4 激活函数（Activation Function）

激活函数对神经元的计算结果进行变换。

例如：

$$a=\sigma (z)$$

激活函数的重要作用之一，是向神经网络引入非线性。

如果一个多层网络只包含连续的线性变换，那么这些线性变换仍然可以合并为一个线性变换。

例如：

$$y=W_2(W_{1}x)$$

可以写成：

$$y=(W_2{W}_1)x$$

因此，仅仅增加线性计算层，并不能让模型表示任意复杂的非线性关系。

通过引入非线性激活函数，多层网络能够表示更加复杂的函数。

这也是深度神经网络具有强大表达能力的重要原因之一。

四、什么是神经网络层？

在实际神经网络中，开发者通常不会逐个手动连接神经元，而是将大量计算单元组织为网络层（Layer）。

4.1 全连接层

全连接层（Fully Connected Layer），也称 Dense Layer，是一种常见的神经网络层。

其基本计算形式为：

$$y=Wx+b$$

其中：

• $x$：输入向量；
• $W$：权重矩阵；
• $b$：偏置向量；
• $y$：输出向量。

假设输入向量包含三个元素：

$$x\in {\mathbb{R}}^3$$

输出向量包含两个元素：

$$y\in {\mathbb{R}}^2$$

那么权重矩阵可以具有以下形状：

$$W\in {\mathbb{R}}^{2\times 3}$$

矩阵乘法可以一次完成多个神经元的加权计算。

这也是现代深度学习能够利用 GPU 等硬件高效执行大量神经网络运算的重要基础。

4.2 输入层

输入层负责接收模型输入。

例如：

• 图像像素；
• 文本向量；
• 音频特征；
• 结构化数据。

输入层不一定对应具有可学习参数的计算层。

它也可以只是描述输入数据进入网络的位置。

4.3 隐藏层

隐藏层（Hidden Layer）位于输入和输出之间。

隐藏层通过计算将输入转换为内部表示。

例如：

输入层
   │
   ▼
隐藏层 1
   │
   ▼
隐藏层 2
   │
   ▼
隐藏层 3
   │
   ▼
输出层

在多层网络中，不同隐藏层可以学习不同形式的特征表示。

4.4 输出层

输出层负责产生任务所需的结果。

例如：

• 分类分数；
• 回归数值；
• Token 分数；
• 特征向量。

输出层的结构取决于具体任务。

4.5 网络层不一定都是全连接层

现代神经网络包含多种不同的层。

例如：

网络层	主要作用
Linear / Dense	执行线性变换
Convolution	提取局部空间特征
Activation	引入非线性
Normalization	调整中间表示的数值分布
Embedding	将离散标识映射为向量
Attention	根据输入之间的关系聚合信息
Pooling	聚合或压缩特征
Recurrent Layer	处理序列状态

不同模型架构通过组合这些计算层形成完整网络。

五、什么是多层神经网络？

多层神经网络通过连续的计算层处理信息。

一个典型的多层感知机（Multilayer Perceptron，MLP）可以表示为：

$$h_1=\sigma (W_{1}x+b_1)$$$$h_2=\sigma (W_2{h}_1+b_2)$$$$y=W_3{h}_2+b_3$$

其中：

• $x$：输入；
• $h_1$：第一隐藏层输出；
• $h_2$：第二隐藏层输出；
• $y$：最终输出。

每一层都接收上一层的结果，并执行新的计算。

5.1 为什么需要多层结构？

多层结构允许模型组合不同层次的计算。

例如，在图像识别任务中，网络可能逐步形成与局部纹理、物体组成和整体类别相关的表示。

在语言任务中，网络可以学习词语关系、上下文模式和其他复杂的序列特征。

但这些表示并不是由开发者逐层明确规定的。

它们通常通过训练形成。

5.2 深度与宽度

神经网络的规模可以从两个基本维度理解。

深度（Depth） 通常描述网络具有多少计算层。

宽度（Width） 通常描述某些网络层包含多少计算单元或特征维度。

例如：

网络 A：
层数较少，每层较宽。

网络 B：
层数较多，每层较窄。

不同深度和宽度的网络，可能具有不同的表达能力、计算成本和训练特征。

但不能简单认为网络越深或越宽，实际表现就一定越好。

5.3 为什么深度网络能够表示复杂关系？

神经网络通过多层非线性变换构造复杂函数。

例如：

$$f(x)=f_3(f_2(f_1(x)))$$

每一层都可以在上一层表示的基础上执行新的变换。

这种函数组合机制，使深度网络能够构建复杂的数据表示。

从理论上看，神经网络的表达能力可以通过通用近似定理（Universal Approximation Theorem）等研究理解。

相关定理说明，在一定条件下，具有适当结构和足够计算单元的神经网络能够近似广泛类别的函数。[3]

但需要注意，通用近似能力不意味着模型一定能够通过训练找到合适参数，也不意味着模型能够在有限数据和计算资源下准确解决任意问题。

因此，需要区分理论表达能力与实际训练能力。

六、什么是前向传播？

前向传播（Forward Propagation）是神经网络根据当前参数处理输入并计算输出的过程。

6.1 基本过程

假设一个神经网络包含两个隐藏层。

输入数据
   │
   ▼
第一隐藏层
   │
   ▼
第二隐藏层
   │
   ▼
输出层
   │
   ▼
预测结果

前向传播按照网络结构执行计算。

例如：

$$h_1=\sigma (W_{1}x+b_1)$$$$h_2=\sigma (W_2{h}_1+b_2)$$$$\hat{y}=W_3{h}_2+b_3$$

其中，$\hat{y}$ 表示模型预测结果。

6.2 前向传播在训练中的作用

训练阶段，模型通过前向传播产生预测结果。

随后，训练系统根据预测结果和训练目标计算损失。

6.3 前向传播在推理中的作用

推理阶段，模型使用已经训练好的参数处理新的输入。

例如，图像分类模型接收一张新图片，执行前向传播后输出类别分数。

因此，前向传播既存在于训练阶段，也存在于推理阶段。

两者的主要区别，在于训练通常还需要计算梯度并更新参数。

七、神经网络如何判断自己是否预测正确？

神经网络训练需要一个能够衡量输出质量的目标。

损失函数（Loss Function）承担这一作用。

7.1 什么是损失函数？

损失函数用于衡量模型输出与训练目标之间的差异。

例如，一个回归模型需要预测房价。

真实房价为：

$$y=100$$

模型预测：

$$\hat{y}=90$$

可以使用平方误差：

$$L=(y-\hat{y}{)}^2$$

得到：

$$L=(100-90{)}^2=100$$

模型可以通过训练尝试降低这一损失。

7.2 不同任务使用不同损失函数

例如：

任务	常见损失函数
回归	均方误差
分类	交叉熵损失
语言建模	Token 预测交叉熵
表示学习	对比损失等
生成模型	根据生成机制设计的训练目标

损失函数的选择会影响模型学习的方向。

7.3 损失函数与评价指标有什么区别？

损失函数主要用于训练优化。

评价指标（Evaluation Metrics）则用于判断模型在任务中的表现。

两者可能相关，但并不完全相同。

例如，一个分类模型可以使用交叉熵损失训练，同时使用准确率评价结果。

因此，训练目标和最终应用目标之间需要建立合理联系。

八、什么是反向传播？

反向传播（Backpropagation）是现代神经网络训练中的重要算法。

它利用链式法则，高效计算损失函数对网络参数的梯度。

8.1 为什么需要反向传播？

神经网络可能包含大量参数。

训练需要判断：

如果某个参数发生变化，模型损失会如何变化？

例如：

$$L=f(w_1,w_2,\dots ,w_n)$$

为了调整参数，需要计算：

$$\frac{\partial L}{\partial w_i}$$

这个偏导数描述损失函数对某个参数的局部变化率。

对于大型网络，逐个独立计算所有参数的梯度通常非常低效。

反向传播通过复用计算结果，提高梯度计算效率。

8.2 反向传播的基本思想

神经网络的计算可以看作多个函数的组合。

例如：

$$y=f_3(f_2(f_1(x)))$$

根据微积分中的链式法则，可以计算最终损失对前面各层参数的梯度。

例如：

$$\frac{\partial L}{\partial W_1}=\frac{\partial L}{\partial h_2}\frac{\partial h_2}{\partial h_1}\frac{\partial h_1}{\partial W_1}$$

这里使用简化形式说明梯度沿计算依赖关系传递的思想。对于向量和矩阵变量，实际计算需要使用相应的雅可比矩阵、向量积或等价的自动微分运算。

8.3 反向传播的过程

前向传播：
输入
  │
  ▼
隐藏层 1
  │
  ▼
隐藏层 2
  │
  ▼
输出
  │
  ▼
计算损失

反向传播：
损失
  │
  ▼
计算输出层梯度
  │
  ▼
计算隐藏层 2 梯度
  │
  ▼
计算隐藏层 1 梯度
  │
  ▼
得到各参数梯度

反向传播本身主要负责计算梯度。

它并不直接规定参数应该如何更新。

参数更新通常由优化算法完成。

8.4 反向传播与自动微分

现代深度学习框架通常使用自动微分（Automatic Differentiation）机制计算梯度。

例如，PyTorch 可以记录张量运算之间的依赖关系，并通过反向模式自动微分计算梯度。

这使开发者不需要为每个复杂神经网络手动推导全部梯度公式。

但理解反向传播仍然重要，因为它解释了神经网络训练如何获得参数更新所需的信息。

九、什么是梯度下降？

梯度下降（Gradient Descent）是一类用于优化模型参数的方法。

其基本思想是：

根据损失函数的梯度信息，沿着局部降低损失的方向调整参数。

9.1 梯度的含义

假设损失函数为：

$$L(w)=(w-3{)}^2$$

其导数为：

$$\frac{dL}{dw}=2(w-3)$$

当：

$$w=5$$

梯度为：

$$\frac{dL}{dw}=4$$

这意味着在当前位置，增加 $w$ 会使损失增大，因此可以尝试减小 $w$。

9.2 参数更新

梯度下降的基本更新公式为：

$$w_{t+1}=w_t-\eta \frac{dL}{dw}$$

其中：

• $w_t$：当前参数；
• $\eta$：学习率；
• $\frac{dL}{dw}$：损失函数对参数的梯度。

假设学习率为：

$$\eta =0.1$$

那么：

$$w_{t+1}=5-0.1\times 4=4.6$$

更新后：

$$L(4.6)=(4.6-3{)}^2=2.56$$

而更新前：

$$L(5)=(5-3{)}^2=4$$

因此，这一步更新使损失从 4 降低到了 2.56。

这是一个简单的一维示例。

实际神经网络可能包含大量参数，优化过程也更加复杂。

9.3 什么是学习率？

学习率（Learning Rate）控制每次参数更新的步长。

学习率过大，可能导致训练不稳定。

学习率过小，可能导致训练速度缓慢。

因此，学习率是神经网络训练中的重要超参数。

9.4 常见优化算法

现代神经网络训练通常使用梯度下降的不同变体。

例如：

• 随机梯度下降（SGD）；
• Momentum；
• Adam；
• AdamW。

这些方法通过不同机制调整参数更新过程。

例如，Adam 使用梯度的一阶和二阶矩估计来调整更新。[4]

具体优化算法将在 M6 的模型训练专题中进一步研究。

十、神经网络如何完成一次训练？

将前面的概念组合起来，就可以理解神经网络的基本训练循环。

10.1 一个简化的训练示例

假设我们需要训练一个模型，根据房屋面积预测房价。

训练数据如下：

房屋面积	房价
50	100
80	160
100	200
120	240

这里使用简化的线性关系作为示例，实际房价预测需要考虑更多因素。

模型可以表示为：

$$\hat{y}=wx+b$$

初始参数可能是随机设置的。

例如：

$$w=1,b=0$$

当输入面积为 100 时：

$$\hat{y}=100$$

但真实目标是：

$$y=200$$

因此，模型产生预测误差。

训练系统计算损失，再根据梯度调整参数。

经过多次更新，模型可能逐步学习到更符合数据规律的参数。

10.2 完整训练循环

训练数据
   │
   ▼
选择一个 Batch
   │
   ▼
前向传播
   │
   ▼
产生预测结果
   │
   ▼
计算损失
   │
   ▼
反向传播
   │
   ▼
计算参数梯度
   │
   ▼
优化器更新参数
   │
   ▼
进入下一个 Batch
   │
   ▼
重复训练

10.3 Batch、Iteration 和 Epoch

在神经网络训练中，经常会遇到三个概念。

Batch： 一次训练计算所使用的一组样本。

Iteration / Step： 一次训练迭代。在常见小批量训练中，通常对应处理一个 Batch 并执行一次参数更新。

Epoch： 训练过程完整遍历一次训练数据集。

例如，一个训练集包含 1000 个样本。

如果 Batch Size 为 100，那么一个 Epoch 通常包含 10 个 Batch。

但实际训练还可能涉及梯度累积、分布式训练和特殊采样方式，因此 Iteration 与参数更新次数不一定始终一一对应。

10.4 为什么需要重复训练？

一次参数更新通常不足以使模型获得良好的任务表现。

训练系统需要多次使用数据调整参数。

但训练次数并不是越多越好。

过度训练可能导致过拟合，也可能增加计算成本。

因此，训练过程需要结合验证指标判断模型表现。

十一、神经网络为什么能够学习复杂的数据表示？

神经网络的能力并不只来自大量参数。

更重要的是，网络结构、非线性计算、训练目标和参数优化共同形成了表示学习机制。

11.1 多层表示

神经网络可以通过多层计算逐步转换输入数据。

例如：

原始数据
   │
   ▼
第一层表示
   │
   ▼
第二层表示
   │
   ▼
第三层表示
   │
   ▼
任务相关表示

每一层都可以在前一层的基础上形成新的表示。

11.2 非线性组合

激活函数使神经网络能够表示复杂的非线性关系。

多个非线性计算层组合后，可以形成具有较强表达能力的函数。

11.3 参数共享与结构设计

不同神经网络架构可以通过特定结构提高学习效率。

例如，卷积神经网络通过局部连接和参数共享处理图像。

Transformer 则通过注意力机制处理序列中不同位置之间的关系。

这些结构将任务相关的归纳偏置或计算机制引入模型。

11.4 数据驱动的特征学习

传统机器学习方法通常需要较多人工特征设计。

深度学习模型则可以通过训练学习部分任务相关特征。

但这并不意味着模型完全不需要人工设计。

模型架构、训练目标、数据处理和优化方法仍然需要研究者与开发者设计。

11.5 表示学习与泛化

学习到复杂表示，并不意味着模型一定能够泛化。

如果训练数据不足、分布存在偏差，或者模型过度适应训练样本，仍然可能出现泛化问题。

因此，表示学习能力需要通过独立测试和实际任务验证。

十二、神经网络训练为什么会遇到困难？

神经网络训练并不是一个简单、稳定且必然成功的过程。

实际训练可能遇到多种问题。

12.1 过拟合（Overfitting）

模型在训练数据上表现很好，但在新数据上表现较差。

这通常意味着模型过度适应了训练数据中的细节或噪声。

12.2 欠拟合（Underfitting）

模型无法充分学习训练数据中的有效规律。

可能原因包括模型表达能力不足、训练不充分或训练设置不合适。

12.3 梯度消失（Vanishing Gradients）

在某些深层网络中，梯度经过多层传播后可能变得非常小。

这会使部分参数难以获得有效更新。

12.4 梯度爆炸（Exploding Gradients）

梯度在传播过程中可能变得过大。

这可能导致参数更新不稳定。

12.5 优化困难

神经网络的损失函数通常具有复杂的高维结构。

训练可能受到学习率、初始化、优化算法和数据分布等因素影响。

12.6 数据问题

训练数据可能存在：

• 噪声；
• 标注错误；
• 分布偏差；
• 样本不足；
• 数据重复；
• 数据泄漏。

这些问题都可能影响模型训练和评估结果。

12.7 计算资源限制

大型神经网络训练可能需要大量 GPU 计算、显存、存储和网络通信资源。

因此，模型训练不仅是数学优化问题，也是重要的系统工程问题。

十三、现代神经网络有哪些主要架构？

随着深度学习发展，研究者提出了多种神经网络架构。

这些架构通过不同的计算结构适应不同任务。

13.1 多层感知机（MLP）

MLP 通常由多个全连接层和非线性激活函数组成。

它是理解神经网络基本机制的重要模型。

13.2 卷积神经网络（CNN）

CNN 通过卷积操作处理具有空间结构的数据。

它在图像识别和计算机视觉领域具有重要地位。

13.3 循环神经网络（RNN）

RNN 通过循环连接处理序列信息。

LSTM 和 GRU 是具有代表性的循环网络结构。

13.4 Transformer

Transformer 通过注意力机制处理序列信息。

它成为现代大语言模型的重要架构基础。

13.5 图神经网络（GNN）

图神经网络用于处理图结构数据。

例如，社交网络、知识图谱和分子结构。

13.6 不同架构比较

架构	主要特点	典型任务
MLP	多层全连接计算	分类、回归、特征变换
CNN	卷积与局部特征处理	图像识别、视觉任务
RNN	循环状态与序列处理	时间序列、语言任务
Transformer	注意力机制与序列建模	LLM、多模态模型
GNN	图结构信息聚合	图分析、分子建模

这些架构并不是完全互斥的。

例如，Transformer 模块内部通常包含前馈神经网络。

现代模型也可能组合多种不同的计算结构。

十四、神经网络与大语言模型有什么关系？

现代大语言模型通常建立在深度神经网络基础上。

其中，Transformer 是重要的架构形式。

14.1 从神经网络到 Transformer

神经网络提供了基本的参数化计算和训练机制。

Transformer 在此基础上引入注意力机制等结构，使模型能够处理复杂的序列关系。

14.2 从 Transformer 到大语言模型

现代大语言模型通常使用大量文本或多模态数据进行训练。

通过大规模参数优化，模型学习语言中的统计规律和复杂表示。

14.3 技术关系

人工神经网络
      │
      ▼
深度神经网络
      │
      ▼
Transformer 架构
      │
      ▼
大语言模型
      │
      ▼
现代 LLM Agent 的模型能力

这是一条具有代表性的技术发展和应用路径，并不意味着所有神经网络都会发展为 Transformer，也不意味着所有 Agent 都必须使用大语言模型。

14.4 为什么理解神经网络对 Agent 开发有价值？

即使开发者主要通过 API 使用模型，理解神经网络仍然具有价值。

例如：

• 理解模型参数与训练的关系；
• 理解模型为什么存在泛化问题；
• 理解模型输出为什么可能出现错误；
• 理解模型能力为什么受到训练数据影响；
• 理解不同模型架构为什么具有不同性能；
• 理解模型推理为什么需要计算资源。

这些知识有助于后续研究模型选择、模型路由、推理优化和 Agent 系统设计。

十五、核心结论

人工神经网络是现代深度学习的重要技术基础。

它通过可学习参数、数学运算和多层计算结构，将输入数据转换为任务所需的输出。

理解神经网络，需要建立以下认识。

第一，人工神经网络是一种参数化计算模型。 它由计算单元及其连接结构组成，通过训练调整参数。

第二，人工神经元通常通过权重、偏置和激活函数处理输入。 权重和偏置决定计算行为，激活函数可以引入非线性。

第三，神经网络通过多个计算层组织信息处理过程。 不同层可以形成不同的数据表示。

第四，前向传播负责根据当前参数计算输出。 它既存在于训练阶段，也存在于推理阶段。

第五，损失函数用于衡量训练目标与模型输出之间的差异。 不同任务需要不同的损失函数。

第六，反向传播通过链式法则高效计算参数梯度。 它为参数优化提供必要信息。

第七，梯度下降及其变体根据梯度调整参数。 参数更新是神经网络学习的重要机制。

第八，多层非线性计算使神经网络能够表示复杂关系。 但理论表达能力并不保证实际训练成功。

第九，神经网络的能力受到架构、数据、训练方法和计算资源共同影响。 参数数量不是衡量模型能力的唯一标准。

第十，现代大语言模型建立在深度神经网络技术基础上。 Transformer 等架构进一步扩展了神经网络处理复杂序列信息的能力。

从技术体系角度看，神经网络为现代 AI 模型提供了基本的计算与学习机制。

理解神经网络之后，便可以进一步研究 Transformer 如何通过注意力机制组织信息，以及为什么这种架构成为现代大语言模型的重要基础。

十六、参考文献与延伸阅读

16.1 神经网络的早期研究

[1] McCulloch, W. S., & Pitts, W. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity. The Bulletin of Mathematical Biophysics, 5, 115–133.
人工神经元与神经网络早期数学建模的重要研究。
论文：A Logical Calculus of the Ideas Immanent in Nervous Activity

[2] Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6), 386–408.
感知机的重要早期研究。
论文：The Perceptron

[3] Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer Feedforward Networks Are Universal Approximators. Neural Networks, 2(5), 359–366.
神经网络通用近似能力的重要理论研究。
论文：Multilayer Feedforward Networks Are Universal Approximators

16.2 神经网络训练与优化

[4] Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR).
提出 Adam 优化算法。
论文：Adam: A Method for Stochastic Optimization

[5] Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning Representations by Back-Propagating Errors. Nature, 323, 533–536.
反向传播在多层神经网络训练中的经典研究。
论文：Learning Representations by Back-Propagating Errors

[6] Glorot, X., & Bengio, Y. (2010). Understanding the Difficulty of Training Deep Feedforward Neural Networks. Proceedings of AISTATS.
研究深层神经网络训练困难与参数初始化问题。
论文：Understanding the Difficulty of Training Deep Feedforward Neural Networks

16.3 深度学习与表示学习

[7] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
深度学习经典教材，系统介绍神经网络、反向传播、优化和表示学习。
官方在线教材：Deep Learning Book

[8] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436–444.
深度学习领域的重要综述。
论文：Deep Learning

[9] Bengio, Y., Courville, A., & Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798–1828.
系统讨论表示学习的基本思想和研究方向。
论文：Representation Learning

16.4 神经网络架构与工程实现

[10] Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.
提出 Transformer 架构。
论文：Attention Is All You Need

[11] PyTorch. Autograd Mechanics.
介绍 PyTorch 自动微分机制及其工作方式。
官方文档：PyTorch Autograd Mechanics

[12] PyTorch. Neural Networks Tutorial.
介绍神经网络构建、前向传播、损失函数和参数优化。
官方教程：PyTorch Neural Networks Tutorial

十七、关联研究

关联文档	研究内容
M1 · AI 模型是什么？它由什么构成？	模型定义、架构、参数和构建流程
M3 · Transformer 如何处理和生成信息？	注意力机制与 Transformer 架构
M4 · 大语言模型是如何构建的？	LLM 的内部结构
M5 · AI 模型如何理解和处理不同模态？	多模态模型与特征表示
M6 · AI 模型如何通过训练获得能力？	预训练、后训练和优化方法
M7 · AI 模型如何生成输出？	推理与解码
M8 · 如何评估 AI 模型的能力与局限？	模型能力、泛化与可靠性评估
E7 · 如何部署和运行开源模型？	模型部署与推理环境
A2 · Agent 如何获得认知与推理能力？	Agent 的模型组件