Founce
|
5dd78a0fe8
|
fix(chapter5): align labels/attention_mask semantics and add padding-aware batch generation (#170)
|
2026-02-26 15:34:10 +08:00 |
|
sjjjoaps
|
94e6e4a5be
|
优化了大规模数据读取逻辑,解决了一次性加载所有数据导致内存占用过大以及训练过程中内存占用持续上升的问题
|
2026-01-02 11:30:42 +08:00 |
|
KMnO4-zx
|
72b41341e1
|
Add: Exter Chapter LLM-generation-method
|
2025-10-17 17:11:05 +08:00 |
|
KMnO4-zx
|
d35df306ed
|
refactor: 将参数名从keyargs改为kwargs以符合惯例
修改forward方法的参数命名，使其更符合Python常用命名规范
|
2025-08-07 19:37:01 +08:00 |
|
KMnO4-zx
|
324b79de91
|
refactor: 移除重复的目录创建逻辑
|
2025-07-25 09:07:17 +08:00 |
|
KMnO4-zx
|
f505e8e52c
|
fix: 为文件读取添加utf-8编码以避免潜在编码问题
|
2025-07-25 09:03:43 +08:00 |
|
KMnO4-zx
|
3b24a9fd1e
|
docs: 更新README和文档内容，添加模型下载链接
- 在README中新增模型下载章节，包含ModelScope链接
- 更新模型示例代码中的默认检查点路径
- 优化训练脚本的注释和参数说明
- 添加中文文档的模型下载和体验地址
- 修复文档中的训练时长和设备信息
|
2025-06-22 10:05:36 +08:00 |
|
KMnO4-zx
|
30f3f01619
|
refactor(dataset): 使用tokenizer动态生成a_sequence并替换硬编码值
fix(ddp_sft_full): 修正参数默认值和优化器类型
docs(ddp_pretrain): 添加详细注释和优化参数描述
|
2025-06-21 11:39:40 +08:00 |
|
MengYue-MK2000
|
b1ac936d36
|
created windows_download_dataset.sh, deleted original changes in download_dataset.sh
|
2025-06-19 17:52:24 +08:00 |
|
Reagan Zhang
|
18ff1a73a8
|
Update download_dataset.sh
Update Mac installation for modelscope
|
2025-06-19 16:09:59 +08:00 |
|
Reagan Zhang
|
56fb0c34d4
|
Update download_dataset.sh
|
2025-06-19 16:06:05 +08:00 |
|
KMnO4-zx
|
ce535629ca
|
docs(chapter5): 更新模型文档并添加数据处理脚本
- 更新LLaMA2模型文档，修正图片引用和编号
- 添加Attention结构示意图
- 新增数据处理脚本download_dataset.sh和deal_dataset.py
- 优化文档中的代码示例说明
|
2025-06-18 16:26:33 +08:00 |
|
KMnO4-zx
|
ada2e0c44f
|
fix(download.py): 修复解压命令未指定目标目录的问题
|
2025-06-18 12:34:52 +08:00 |
|
KMnO4-zx
|
9efbb69dfd
|
docs(chapter5): 添加LLaMA2结构图并更新依赖
更新requirements.txt中的pytorch为torch以保持一致性
|
2025-06-09 22:14:01 +08:00 |
|
KMnO4-zx
|
9569c9fdca
|
fix(tokenizer): 将add_prefix_space配置改为false
|
2025-06-08 09:27:21 +08:00 |
|
KMnO4-zx
|
32c3f16b8c
|
fix: add chapter5 reauirements
|
2025-06-03 18:42:51 +08:00 |
|
KMnO4-zx
|
3512f55993
|
update ch05
|
2025-02-26 20:31:51 +08:00 |
|
KMnO4-zx
|
ca3e727e1c
|
update ch05
|
2025-02-26 11:24:19 +08:00 |
|
KMnO4-zx
|
9e6d8a3f77
|
Add: ch5.3 code
|
2024-09-22 16:02:14 +08:00 |
|