动手学大模型 Dive into LLMs 教程学习笔记

一句话结论

Lordog/dive-into-llms 是一套面向大模型入门与实践的中文公益教程，核心价值不是“提供一个可直接上线的产品”，而是用 11 个主题把大模型开发、安全、多模态和智能体相关的关键概念串起来，并配套 PPT、README 和 Jupyter Notebook，让学习者能边看边跑。

如果目标是补齐大模型售前、方案、产品或研发协作中的知识框架，这套教程很适合做“系统扫盲 + 重点章节实操”；如果目标是生产级部署、企业项目交付模板、完整 MLOps 流程，它还需要结合更工程化的材料一起看。

基本信息

这份教程解决什么问题

它解决的是“知道大模型很重要，但不知道从哪里系统上手”的问题。

很多大模型学习材料要么太理论，要么只讲某一个工具。这套教程的特点是横向覆盖面很宽：从 Transformers 微调、API 调用、提示工程、知识编辑，到文本水印、越狱攻击、隐写术、多模态模型、GUI Agent、Agent 安全、RLHF。对初学者来说，它像一张路线图；对售前来说，它能帮助你把客户常问的概念拆成具体能力和可验证实验。

项目来自上海交通大学《自然语言处理前沿技术》《人工智能安全技术》课程讲义扩展，作者也明确说明它是公益免费教程，内容仍在建设中，欢迎 issue 和 PR。

适合谁学习

课程地图

推荐学习路线

1. 售前快速理解路线

这条路线适合先建立“能和客户聊明白”的知识框架。

1. 第 2 章：提示学习与思维链
2. 第 1 章：微调与部署
3. 第 8 章：多模态模型
4. 第 9 章：GUI 智能体
5. 第 10 章：智能体安全
6. 第 11 章：RLHF

这条路线的重点不是把所有代码跑通，而是理解每类技术解决什么问题、成本在哪里、风险在哪里。比如客户问“我们能不能做一个会操作业务系统的 Agent”，你要能自然接上 GUI Agent、工具调用、安全评测、权限隔离和人工接管，而不是只说“可以接大模型 API”。

2. 工程实操路线

这条路线适合想真的动手训练或部署的人。

1. 第 1 章先跑文本分类微调和 Gradio 部署
2. 第 2 章练 API 调用、few-shot、CoT
3. 第 4 章尝试数学推理 SFT
4. 第 8 章阅读多模态系统结构
5. 第 9 章在有足够 GPU 的情况下再做 GUI Agent 训练

注意第 4 章明确提到至少 40GB 显存，第 9 章训练 Qwen2-VL GUI Agent 示例提到至少 3 张 80GB A100。没有这种资源时，建议先读流程、看数据格式、跑轻量推理，不要硬上训练。

3. 大模型安全路线

这条路线适合做安全评估、合规、风控、AI 治理的人。

1. 第 2 章理解 prompt 和 CoT，因为攻击与防御都绕不开提示
2. 第 5 章看文本水印和检测
3. 第 6 章看越狱攻击
4. 第 7 章看文本隐写
5. 第 10 章看 Agent 安全评测
6. 第 11 章看 RLHF 和奖励塑形

这部分对售前也有价值：现在很多客户不是问“模型准不准”，而是问“上线后会不会泄露数据、误操作、被绕过、安全责任怎么界定”。第 10 章的 R-Judge 思路尤其值得摘出来做方案素材。

怎么安装和使用

仓库本身不是一个统一 Python 包，更像一本带 notebook 的教程书。推荐按“先克隆仓库，再按章节 README 建环境”的方式使用。

git clone https://github.com/Lordog/dive-into-llms.git
cd dive-into-llms

第 1 章给出的基础环境示例是：

conda create -n llm python=3.9
conda activate llm
pip install transformers

如果运行具体章节，还要进入对应目录查看 README。例如：

cd documents/chapter1
jupyter notebook dive-tuning.ipynb

不同章节依赖不完全一样。比如第 5 章会用到 X-SIR，第 6 章会用 EasyJailbreak，第 8 章围绕 NExT-GPT，第 9 章依赖 Qwen2-VL、OS-Kairos 和 LLaMA-Factory，第 11 章使用 Hugging Face TRL 做 PPO。不要期望一次 pip install -r requirements.txt 就能把整套教程所有实验跑完。

关键章节笔记

第 1 章：微调与部署

第 1 章很适合做第一个实操入口。它从 Hugging Face Transformers 切入，用文本分类任务演示模型微调、推理和部署。教程里既有偏底层的可定制版本，也有 Transformers 官方脚本式的集成版本。

这一章的价值在于把“模型微调”落到一个能解释的流程上：准备数据、加载模型和 tokenizer、训练、评估、保存、推理、用 Gradio Spaces 做 demo。售前在讲方案时，经常会遇到客户把 RAG、微调、prompt 混在一起问，这一章可以帮你把“微调适合什么问题”讲得更具体。

适合的业务例子包括：情感分类、舆情分类、新闻分类、漏洞文本分类、客服工单分类、轻量问答和摘要任务。需要强调的是，分类类任务和生成类任务的评估方式不同，不能只靠演示几条样例就判断效果。

第 2 章：提示学习与思维链

第 2 章是售前最值得先看的章节。它覆盖 API 调用、零样本、少样本、思维链、Program-of-Thought、自洽采样等内容。它还提到一个很重要的现象：few-shot 示例质量会影响模型表现，错误示例可能把模型带偏。

自洽采样的思路也很实用：当推理题存在不稳定输出时，不只生成一次答案，而是在 temperature 大于 0 时采样多条推理路径，再对最终答案做多数投票。这类方法不是万能解，但它能帮助解释为什么“同一个模型同一个问题有时回答不同”，以及为什么复杂推理要配评测和策略。

第 3 章：知识编辑

第 3 章围绕 EasyEdit。知识编辑关心的是：能不能针对模型里某条具体知识做修改，同时尽量不破坏模型在其他问题上的表现。

教程示例是把 GPT-2-XL 中关于梅西的职业知识从 football 改成 basketball，并用 ROME 方法演示编辑流程。它把知识编辑拆成 Editor、Method、Evaluate、Trainer 几类组件，其中评估会关注可靠性、通用性、局部性、可移植性。

售前沟通中可以这样解释：知识编辑不是知识库检索，也不是简单 prompt，它更接近“定点修改模型参数或行为”。它适合研究和特定场景验证，但客户如果只是想让模型知道最新公司制度，通常 RAG 的工程可控性更高。

第 4 章：数学推理

第 4 章做的是数学推理能力蒸馏：基于 DeepMath-103K 数据集和 Qwen2.5-Math-1.5B 模型，用 SFT 学习 DeepSeek-R1 生成的复杂数学推理回复。它覆盖数据清理、预处理、训练、生成和评测。

这一章最好不要被“数学”两个字吓住。对方案人员来说，它背后真正重要的是“用高能力模型产出的推理数据，训练较小模型掌握某类能力”。这在企业里很常见：用强模型生成或清洗训练样本，再让更小、更便宜、更容易私有化的模型适配垂直任务。

硬件门槛要提前讲清楚：教程提到至少 40GB 显存，并建议预留至少 50GB 磁盘空间。

第 5 章：模型水印

第 5 章介绍在语言模型生成文本中嵌入水印，并检测水印强度。它使用 X-SIR 仓库，覆盖 KGW、X-SIR、SIR 等文本水印算法，也包含 paraphrase 和 translation 这类去水印攻击下的鲁棒性评估。

水印类能力在售前场景里常被问到，尤其是教育、内容平台、媒体、政企合规场景。需要注意的是，水印不是“百分百证明某段文字由 AI 生成”的魔法按钮，而是概率检测和工程策略的一部分。真正落地时，还要结合生成链路记录、账号权限、内容审计和日志留存。

第 6 章：越狱攻击

第 6 章使用 EasyJailbreak 讲大模型越狱攻击。EasyJailbreak 把攻击流程拆成 seed 初始化、约束/变异、攻击、评估等步骤，并集成多种攻击方法。教程里提到 PAIR、AdvBench 等材料。

这章适合用来理解“安全不是加一句系统提示就完事”。一个模型上线后会面对恶意提示、诱导、角色扮演、多轮绕过、工具调用组合等风险。售前可以把它转化成客户能听懂的话：上线前要做红队测试，上线后要做持续监控，关键业务动作要有权限和审批边界。

第 7 章：大模型隐写

第 7 章做的是 LLM 文本隐写术：用 GPT-2 在生成文本中隐藏信息，支持 Huffman Coding 和 Fixed Length Coding 两种编码方式。它会生成隐写文本和普通文本用于对比。

这部分更偏安全研究和风险教育。它提醒我们：文本不只可能承载“表面语义”，也可能承载隐藏信号。对普通业务项目来说，不建议把它包装成应用功能；对安全、合规、内容审计团队来说，它可以作为风险认知材料。

第 8 章：多模态大语言模型

第 8 章讲多模态大语言模型，重点是 MLLM 的常见架构和 NExT-GPT 这类任意模态到任意模态系统。

教程里把架构分成两类：一类是 LLM 作为任务调度器，用文本命令驱动外部模块；另一类是编码器-LLM-解码器框架，LLM 直接成为系统联合部分，接收多模态编码信号并驱动多模态输出。第二类是当前多模态模型中很常见的路线。

对售前来说，这章最有用的地方是帮你解释多模态系统为什么不只是“给模型上传图片”。真正的多模态方案会涉及视觉/音频/视频编码器、语言模型、扩散模型或其他解码器、对齐训练、指令数据和推理链路。

第 9 章：GUI 智能体

第 9 章讲 GUI Agent，即让模型理解屏幕并执行操作。教程基于 Qwen2-VL-7B、OS-Kairos 数据集和 LLaMA-Factory，目标是构建能进行自适应人机交互的 GUI Agent。

这一章值得重点记住两点。

第一，GUI Agent 训练不是只有“截图识别”。数据里包含任务、图片路径、步骤列表、当前步骤、历史动作、分数、教师动作、是否成功等信息。也就是说，模型要学的是“在当前屏幕和任务上下文下，下一步该做什么”。

第二，资源要求很高。教程示例提到完整训练至少需要 3 张 80GB A100。没有这种资源时，可以先研究数据结构、推理格式和低置信度触发人工接管的思路。

第 10 章：智能体安全

第 10 章非常适合售前和方案人员。它讨论的是开放智能体场景中的安全风险，使用 R-Judge 测评平台来分析模型是否能识别 Agent 行为风险。

R-Judge 的数据包含用户、Agent、环境的多轮交互记录，人工标注的安全标签和风险描述，覆盖软件编程、操作系统、IoT、应用程序、经济财务、网络应用、健康护理等类别。评测方式是让模型读完 record 后输出风险分析，再判断 safe/unsafe。

这一章可以直接转成项目话术：企业不是不可以上 Agent，而是要明确哪些动作能自动执行、哪些动作需要审批、哪些数据不能外传、哪些系统指令必须受权限约束、出了问题如何回放和追责。

第 11 章：RLHF

第 11 章用 Hugging Face TRL 讲 PPO 版 RLHF。实验是用 BERT 情感分类器作为奖励函数，优化 GPT-2 生成更积极的 IMDB 电影评论。

PPO 流程可以理解成三步：先让语言模型根据 query 生成 response；再用奖励函数、奖励模型或人工反馈给 query-response 对打一个标量分；最后用 PPO 优化模型，同时通过 KL 散度约束模型不要偏离参考模型太远。

这一章对售前的帮助是把“对齐”讲得更实在：不是模型突然变聪明，而是定义奖励、收集反馈、优化策略，并控制偏移。它也能帮助解释为什么 RLHF 成本高、流程长、评估难，不能把它当成普通微调的同义词。

国产化大模型开发全流程

项目 README 还提到，2025-06-06 上线了与华为昇腾社区联合推出的国产化《大模型开发全流程》公益教程，包含 PPT、实验手册和视频，分初级、中级、高级，目标是基于昇腾软硬件支持模型开发、迁移和调优。

入口：大模型开发全流程

这部分对国产化替代、信创环境、昇腾适配、政企客户方案会更有参考价值。建议后续单独整理一篇，因为它的使用场景和 GitHub 主教程不完全一样。

对售前最有用的提炼

可以直接拿来解释的概念

• Prompt Engineering：不只是“写提示词”，还包括示例选择、任务拆解、输出格式约束和稳定性评测。
• CoT / PoT：复杂推理可以通过自然语言推理链或程序化推理增强，但也需要评测真实性。
• SFT：用标注数据或蒸馏数据让模型适配某类任务。
• RAG vs 微调 vs 知识编辑：RAG 更适合更新知识和引用来源；微调更适合稳定任务行为；知识编辑更偏研究和定点修改。
• 多模态：不是上传图片这么简单，背后涉及编码器、LLM、解码器和模态对齐。
• GUI Agent：核心是屏幕理解、动作决策、执行反馈和安全边界。
• Agent 安全：重点不是模型会不会回答，而是模型会不会误操作、越权、泄露数据、造成财产或系统损失。
• RLHF：通过奖励信号塑造模型行为，适合解释“为什么对齐需要数据、评测和训练闭环”。

可以转成客户沟通的问题

• 这个场景需要模型“知道更多知识”，还是“行为更稳定”，还是“能操作系统”？
• 是否有可用的标注数据、历史工单、问答对、操作轨迹或安全样本？
• 输出错误的成本是什么？错一次是体验问题，还是合规/财产/生产事故？
• 哪些动作允许自动执行？哪些必须人工确认？
• 是否需要私有化部署？如果需要，GPU、数据权限、模型许可证和运维能力是否准备好？
• 评测指标是什么？准确率、召回率、任务成功率、拒答率、风险识别率，还是人工满意度？

局限和注意事项

1. 仓库没有统一的一键安装流程。每章更像独立实验，依赖要按章节 README 查看。
2. 部分章节硬件要求高。第 4 章至少 40GB 显存，第 9 章完整训练示例需要多张 80GB A100。
3. GitHub API 未返回明确 License。学习引用问题不大，但商业复用代码、PPT 或图示前应确认授权。
4. 教程作者声明内容来自个人经验、网络资料和科研积累，仅供参考，不保证完全正确。
5. 安全相关章节包含越狱、隐写、风险攻击等内容，应在合规、隔离、教学或研究环境下使用。
6. 大模型生态变化很快，Transformers、TRL、模型权重、API 参数和下载地址可能会过期。

我建议的学习计划

第一天：建立全局地图

读根目录 README，把 11 章目录过一遍。不要急着跑代码，先把每章回答的问题写下来：它解决的是开发、推理、安全、多模态，还是 Agent。

第二天：跑通最轻的实践

优先跑第 2 章提示学习。准备一个国内可用的大模型 API，比如通义千问或智谱，练 zero-shot、few-shot、CoT、自洽采样。这个投入小，产出快，适合立刻变成客户 demo 素材。

第三到四天：理解微调闭环

看第 1 章，用 Transformers 跑文本分类。如果本机资源有限，至少要把数据格式、训练脚本参数、评估指标和 Gradio 部署流程看懂。

第五天：看多模态和 Agent

读第 8、9 章，不必立刻训练。重点理解架构图、数据格式、输入输出流程和资源要求。

第六天：补安全和对齐

读第 10、11 章。尤其要把 R-Judge 的多轮记录、风险描述、安全标签这套评测思路记录下来，它很适合扩展到企业 Agent 上线评审。

后续可以从这套教程沉淀什么

• 一份大模型学习路线图
• 一套售前常见问题库
• 一组可演示的 prompt 与 CoT 案例
• 一个“RAG / 微调 / 知识编辑 / Agent”方案选型表
• 一个 Agent 安全评测清单
• 一个国产化大模型开发专题笔记
• 几个轻量 demo：文本分类、提示工程、Gradio 部署、水印检测

参考链接

• GitHub 仓库：Lordog/dive-into-llms
• 第 1 章微调与部署：chapter1
• 第 2 章提示学习与思维链：chapter2
• 第 3 章知识编辑：chapter3
• 第 5 章模型水印：chapter5
• 第 8 章多模态模型：chapter8
• 第 9 章 GUI Agent：chapter9
• 第 10 章智能体安全：chapter10
• 第 11 章 RLHF：chapter11
• 国产化《大模型开发全流程》：华为昇腾课程入口