Extra Chapter: 增加多模态模型拼接教程 #100

2025-07-30T10:20:39+08:00

dearsky commented

2025-07-30 10:20:39 +08:00

(Migrated from gitea.proxy.dearsky.top)

感谢 @KMnO4-zx KM大佬的LLM教程！我们很多新入门的实验室学弟都是学习大佬的教程来入门LLM！

非常荣幸能够为happy-llm贡献新的教程章节，希望能够通过PR😊

新增的主题文件夹名称： Extra-Chapter/transformer-architecture
贡献内容的概述： 本章节通过将现有视觉英文小模型SmolVLM2-256M和Qwen3-0.6B拼接为超小中文视觉语言模型为案例，介绍了多模态模型常见技术方案，拼接微调方法以及相关数据集，开源代码、数据在文章链接中。
贡献内容的详细描述： 教程内容包括：（1）介绍了SmolVLM2模型结构，以及主流多模态大模型技术方案。（2）介绍了具体的拼接思路，包括整体网络架构、HF代码实现等。（3）介绍了微调所选用数据集the_caldron数据集，并提供了提示词模版。（4）介绍了具体的实验超参数和过程，并提供了复线的开源代码和github链接
你的 Github 个人主页链接及个人介绍： ShaohonChen，情感机器实验室研究员，西安电子科技大学在读硕士。研究方向为大语言模型微调。

感谢 @KMnO4-zx KM大佬的LLM教程！我们很多新入门的实验室学弟都是学习大佬的教程来入门LLM！非常荣幸能够为happy-llm贡献新的教程章节，希望能够通过PR😊 - **新增的主题文件夹名称：** Extra-Chapter/transformer-architecture - **贡献内容的概述：** 本章节通过将现有视觉英文小模型SmolVLM2-256M和Qwen3-0.6B拼接为超小中文视觉语言模型为案例，介绍了多模态模型常见技术方案，拼接微调方法以及相关数据集，开源代码、数据在文章链接中。 - **贡献内容的详细描述：** 教程内容包括：（1）介绍了SmolVLM2模型结构，以及主流多模态大模型技术方案。（2）介绍了具体的拼接思路，包括整体网络架构、HF代码实现等。（3）介绍了微调所选用数据集the_caldron数据集，并提供了提示词模版。（4）介绍了具体的实验超参数和过程，并提供了复线的开源代码和github链接 - **你的 Github 个人主页链接及个人介绍：** [ShaohonChen](https://github.com/ShaohonChen)，情感机器实验室研究员，西安电子科技大学在读硕士。研究方向为大语言模型微调。

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: PullFromGitHub/happy-llm#100