Update 第二章 Transformer架构.md

This commit is contained in:
Logan Zou
2025-08-28 10:19:34 +08:00
committed by GitHub
parent 550d9bd40c
commit 9098d6527f

View File

@@ -352,7 +352,7 @@ Transformer 由 Encoder 和 Decoder 组成,每一个 EncoderDecoder
### 2.2.2 前馈神经网络
前馈神经网络Feed Forward Neural Network下简称 FFN也就是我们在上一节提过的每一层的神经元都和上下两层的每一个神经元完全连接的网络结构。每一个 Encoder Layer 都包含一个上文讲的注意力机制和一个前馈神经网络。前馈神经网络的实现是较为简单的:
前馈神经网络Feed Forward Neural Network下简称 FNN也就是我们在上一节提过的每一层的神经元都和上下两层的每一个神经元完全连接的网络结构。每一个 Encoder Layer 都包含一个上文讲的注意力机制和一个前馈神经网络。前馈神经网络的实现是较为简单的:
```python
class MLP(nn.Module):