llm-in-depth

[hans0809]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

这是我在学习LLM过程中记录的笔记，参考了

• 《Building LLMs from scratch》
• GitHub 32.8k start 项目《minimind》

整理后汇总成“快速入门LLM” 的系列教程项目，从LLM基础原理到实践操作，循序渐进讲解核心概念与技能。

立项理由

现在市面上的LLM入门教程，很多都是一口气把所有东西都讲完，信息量太大，初学者很容易迷糊。这个项目把内容拆成“基础篇”和“进阶篇”，循序渐进，帮助读者轻松上手LLM：

• 基础篇：快速掌握LLM的核心概念和实操技能，让读者有底气的去微调基于Hugging Face等框架的LLM。
• 进阶篇：围绕开源LLM项目minimind源码，深入讲解基础篇里一笔带过的难点（查漏补缺），比如位置编码优化、注意力机制改进、稀疏模型、微调和蒸馏，让读者真正看懂现代LLM的内部运行逻辑。

项目受众

• 有Python与深度学习基础，想快速掌握LLM（只看基础篇即可）
• 想了解现代LLM架构与训练技巧（基础篇+进阶篇），并动手实践的学生和开发者

项目亮点

• 循序渐进：先用《基础篇》打基础，学完后可根据学习目的选择是否继续学习《进阶篇》
• 细节讲解：理论和代码并行，详解代码背后的公式推导、实现逻辑、训练工程的隐藏细节。
• shape流程图注释：每一个模块都标明输入输出尺寸，帮助读者直观理解数据流。
• 从源码看架构：不仅知道“怎么做”，更理解“为什么这么做”。

项目规划

所有章节已全部编写完成，可在后续视情况进行补充。

基础篇：

序号	文章链接
1	大模型炼丹术(一)：从 tokenizer 开始，为自回归预训练准备数据集
2	大模型炼丹术(二)：从离散 token IDs 到具有语义信息的 embedding
3	大模型炼丹术(三)：从单头到多头，深度解析注意力机制
4	大模型炼丹术(四)：动手搭建 GPT-2 架构
5	大模型炼丹术(五)：LLM 自回归预训练过程详解
6	大模型炼丹术(六)：剖析 LLM 的解码策略
7	大模型炼丹术(七)：LLM 微调：训练一个垃圾邮件分类器
8	大模型炼丹术(八)：LLM 指令微调：训练一个人工智能助手

进阶篇：

序号	文章链接
1	MiniMind 源码解读（一）：如何从头训练 tokenizer
2	MiniMind 源码解读（二）：一行代码之差，模型性能提升背后的 RMSNorm 玄机
3	MiniMind 源码解读（三）：原始 Transformer 的位置编码及其缺陷
4	MiniMind 源码解读（四）：旋转位置编码原理与应用全解析
5	MiniMind 源码解读（五）：魔改注意力机制，细数当代 LLM 的效率优化手段
6	MiniMind 源码解读（六）：从稠密到稀疏，详解专家混合模型 MoE
7	MiniMind 源码解读（七）：像搭积木一样构建一个大模型
8	MiniMind 源码解读（八）：LLM 预训练实践
9	MiniMind 源码解读（九）：指令微调详解，让大模型从“能说”变得“会听”
10	MiniMind 源码解读（十）：DPO - 大模型对齐训练新范式
11	MiniMind 源码解读（十一）：LoRA - LLM 轻量化微调利器
12	MiniMind 源码解读（十二）：从白盒到黑盒，全面掌握大模型蒸馏技术

已完成内容

https://github.com/hans0809/llm-in-depth

❗❗❗注意事项❗❗❗：为了便于我们跟你取得联系，请务必加我们的微信：at-Sm1les（备注你来自于项目立项即可），发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有任何疑问或者需要帮助均可随时联系微信：at-Sm1les

• 我已知悉上述注意事项并添加了微信：at-Sm1les

[KMnO4-zx]

可以简单讲一下你对这个项目的期待和后续更新计划吗？

[hans0809]

我的期待是让更多学生和开发者（比如从CV或其他方向转到LLM/多模态，无NLP经验）能够在读完基础篇后对LLM整体有一个认知，知道这个和之前所熟悉的其他机器学习/深度学习算法的本质是一样的，在掌握这些以后，再按照实际的项目需求去学习LLM的其他知识（比如本项目的《进阶篇》，当然这些肯定不足以包含所有LLM的知识，并且LLM每天都在进化中，每天都有新的东西出现）。

后续更新计划的话，从短期来看，由于当前《进阶篇》是围绕4月份的那一版代码进行解读的，最近发现minimind更新了RLAIF的代码实现，包括PPO、GRPO、SPO，预计在明年年初更新到本项目。从长期来看，可以在《基础篇》和《进阶篇》的基础上，额外开一个新篇章，以单篇文章而非系列文章的形式，持续更新以查漏补缺。

[logan-zou]

建议将项目的整体结构再清晰一下，“快速入门LLM”的项目已经很多了，该项目以动手实现、源码拆解为主，是不是可以优化一下定位和结构

[hans0809]

建议将项目的整体结构再清晰一下，“快速入门LLM”的项目已经很多了，该项目以动手实现、源码拆解为主，是不是可以优化一下定位和结构

感谢你的建议，我重新优化后再来。

[FutureUnreal]

可以对比一下 base-nlp，看看能不能做出什么差异化的内容