Update 第二章 Transformer架构.md
This commit is contained in:
@@ -352,7 +352,7 @@ Transformer 由 Encoder 和 Decoder 组成,每一个 Encoder(Decoder)又
|
||||
|
||||
### 2.2.2 前馈神经网络
|
||||
|
||||
前馈神经网络(Feed Forward Neural Network,下简称 FFN),也就是我们在上一节提过的每一层的神经元都和上下两层的每一个神经元完全连接的网络结构。每一个 Encoder Layer 都包含一个上文讲的注意力机制和一个前馈神经网络。前馈神经网络的实现是较为简单的:
|
||||
前馈神经网络(Feed Forward Neural Network,下简称 FNN),也就是我们在上一节提过的每一层的神经元都和上下两层的每一个神经元完全连接的网络结构。每一个 Encoder Layer 都包含一个上文讲的注意力机制和一个前馈神经网络。前馈神经网络的实现是较为简单的:
|
||||
|
||||
```python
|
||||
class MLP(nn.Module):
|
||||
|
||||
Reference in New Issue
Block a user