Commit Graph

163 Commits

Author SHA1 Message Date
Logan Zou
590363587c Update transformer.py 2025-08-04 10:16:50 +08:00
Logan Zou
d278182a90 Update 第二章 Transformer架构.md 2025-07-30 20:52:28 +08:00
Logan Zou
b7d3e0678e Update 第二章 Transformer架构.md 2025-07-28 17:40:17 +08:00
Logan Zou
a110181cf8 Update transformer.py 2025-07-28 17:39:34 +08:00
Logan Zou
1d226be0ff Update 第二章 Transformer架构.md 2025-07-25 16:20:46 +08:00
Logan Zou
5ac954f813 Update transformer.py 2025-07-25 16:20:31 +08:00
Logan Zou
747c935b18 Update transformer.py 2025-07-25 16:18:46 +08:00
Logan Zou
9ef7bcb27c Update 第二章 Transformer架构.md 2025-07-25 16:18:30 +08:00
Logan Zou
679cbc43c0 Update 第二章 Transformer架构.md 2025-07-25 16:17:16 +08:00
Logan Zou
5a9d9c3111 Update transformer.py 2025-07-25 16:16:58 +08:00
Logan Zou
435661a5d5 Update transformer.py 2025-07-25 16:15:16 +08:00
Logan Zou
1c8ce38bb9 Update 第二章 Transformer架构.md 2025-07-25 16:14:58 +08:00
Logan Zou
139ffd84b2 Update 第二章 Transformer架构.md 2025-07-25 16:12:57 +08:00
KMnO4-zx
324b79de91 refactor: 移除重复的目录创建逻辑 2025-07-25 09:07:17 +08:00
KMnO4-zx
f505e8e52c fix: 为文件读取添加utf-8编码以避免潜在编码问题 2025-07-25 09:03:43 +08:00
KMnO4-zx
a37078138e docs(chapter1): 修正NLP基础概述中的示例代码注释错误 2025-07-25 09:00:53 +08:00
Logan Zou
8b14a99cbd Update transformer.py 2025-07-24 22:46:48 +08:00
Logan Zou
1c21288f28 Update 第二章 Transformer架构.md 2025-07-24 22:46:07 +08:00
xile42
906c9cc332 fix: typo 2025-07-15 17:41:44 +08:00
不要葱姜蒜
87cd11bb0f Merge pull request #80 from 0-yy-0/fix
修正部分内容
2025-07-14 10:00:41 +08:00
gaoliye
2f73221275 修正部分内容 2025-07-13 21:39:50 +08:00
KMnO4-zx
3e2df600ab fix: 修正文档中错误的<BoS>标签为<BOS> 2025-07-13 20:50:03 +08:00
KMnO4-zx
932d5c15e6 docs(chapter7): 调整RAG文档结构,将文档加载和切分步骤移到向量化之前 2025-07-12 11:47:16 +08:00
KMnO4-zx
6a57e65fc3 update readme 2025-07-10 14:52:46 +08:00
KMnO4-zx
ed8879e80c docs(chapter2): 修复Transformer文档中的格式和空格问题 2025-07-10 10:23:13 +08:00
KMnO4-zx
4a8feba16b docs: 更新README中的star-history图片并添加trendshift徽章
- 替换README文件中的star-history图片
- 删除旧的star-history图片文件
- 在docs/README中添加trendshift徽章
2025-07-06 09:41:25 +08:00
KMnO4-zx
fdba985389 docs: 调整章节标题层级结构 2025-07-06 09:38:24 +08:00
KMnO4-zx
505b22b834 docs(chapter5): 修正LLaMA2模型文档中的表述错误 2025-07-04 09:13:55 +08:00
KMnO4-zx
d5e84523ef docs(chapter5): 修正章节5.3.2标题中的拼写错误 2025-07-04 09:10:21 +08:00
KMnO4-zx
f50df92095 refactor(RAG): 改进文本分块逻辑以正确处理长行和空格
重构文本分块算法,保留空格并优化长行处理
使用token级别分割避免跨单词分割问题
添加覆盖内容逻辑以保持上下文连贯性
2025-07-04 09:07:52 +08:00
KMnO4-zx
5c474e4730 docs(chapter5): 修正章节编号错误并保持一致性 2025-07-04 09:01:45 +08:00
ZeYi Lin
daac10cb67 add requirements 2025-07-03 19:42:02 +08:00
ZeYi Lin
c342402a9b fix name 2025-07-03 18:23:12 +08:00
ZeYi Lin
08a0fa8c3e update code 2025-07-03 18:21:26 +08:00
ZeYi Lin
db3a162cd8 chapter 6 use swanlab 2025-07-03 18:18:44 +08:00
KMnO4-zx
0d2471d3ee docs(chapter7): update content 2025-06-28 10:43:44 +08:00
Tiff Wu
ebc0f077d3 Update 前言.md
Typo of Language
2025-06-27 11:24:30 +07:00
KMnO4-zx
643226e252 docs(chapter5): 更新tokenizer训练数据加载说明
使用出门问问序列猴子开源数据集替代wikitext数据集,并添加JSONL文件读取方法
2025-06-26 11:02:10 +08:00
KMnO4-zx
d8150c8e7b docs: 更新项目star历史图表并移除多余的语言切换链接
- 用新的star历史图表(2025624)替换旧的(2025612)
- 从docs/README.md中移除中英文切换链接
2025-06-24 16:21:03 +08:00
Logan Zou
edb73c7aeb Update 第二章 Transformer架构.md 2025-06-24 10:54:02 +08:00
Logan Zou
71f8d48290 Update 第二章 Transformer架构.md 2025-06-23 11:09:04 +08:00
Logan Zou
98a122e323 Update 第二章 Transformer架构.md
add pre-norm
2025-06-23 11:02:23 +08:00
Logan Zou
5f2ccc44bf Update 第二章 Transformer架构.md
fix arg bug
2025-06-23 10:53:45 +08:00
Logan Zou
3950b06a5f Update transformer.py
fix arg bug
2025-06-23 10:53:25 +08:00
Logan Zou
185a212acd Update 第二章 Transformer架构.md 2025-06-23 10:50:16 +08:00
Logan Zou
bd3fb6cf48 Update transformer.py
fix dim bug
2025-06-23 10:48:56 +08:00
KMnO4-zx
3b24a9fd1e docs: 更新README和文档内容,添加模型下载链接
- 在README中新增模型下载章节,包含ModelScope链接
- 更新模型示例代码中的默认检查点路径
- 优化训练脚本的注释和参数说明
- 添加中文文档的模型下载和体验地址
- 修复文档中的训练时长和设备信息
2025-06-22 10:05:36 +08:00
KMnO4-zx
b421894dcc docs(chapter3): 修正T5模型中RMSNorm公式的描述和参数说明 2025-06-21 13:36:42 +08:00
KMnO4-zx
fc19776feb docs(chapter4): 修正章节编号错误 2025-06-21 13:35:09 +08:00
KMnO4-zx
30f3f01619 refactor(dataset): 使用tokenizer动态生成a_sequence并替换硬编码值
fix(ddp_sft_full): 修正参数默认值和优化器类型
docs(ddp_pretrain): 添加详细注释和优化参数描述
2025-06-21 11:39:40 +08:00