PullFromGitHub/happy-llm
1
0
Fork 0
Code Issues Pull Requests 2 Actions Packages Projects Releases 3 Wiki Activity

fix: 修正文档中错误的<BoS>标签为<BOS>

Browse Source
This commit is contained in:
KMnO4-zx
2025-07-13 20:50:03 +08:00
parent 932d5c15e6
commit 3e2df600ab
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
docs/chapter2/第二章 Transformer架构.md
View File

@@ -187,7 +187,7 @@ attention(x, x, x)
<BOS> I 【MASK】 【MASK】【MASK】
<BOS> I like 【MASK】【MASK】
<BOS> I like you 【MASK】
<BoS> I like you </EOS>
<BOS> I like you </EOS>
在每一行输入中，模型仍然是只看到前面的 token，预测下一个 token。但是注意，上述输入不再是串行的过程，而可以一起并行地输入到模型中，模型只需要每一个样本根据未被遮蔽的 token 来预测下一个 token 即可，从而实现了并行的语言模型。