文本摘要系统可以拆成四个独立环节：准备成对的原文与摘要样本、训练模型或适配器、按部署条件压缩权重、用推理引擎提供服务。DeepSpeed、LoRA、QLoRA、GPTQ 和 vLLM 分别处在不同位置，不能把它们当成一个可互换的“量化训练方案”。 1. 任务与评估先于加速 监督微调样本应明确输入文本、摘要指令和目标摘要。训练、验证、测试集要按来源或…

一个生成式模型可以用统一的“指令—输入—回答”格式学习多个任务。这里以信息抽取和文本分类为例：前者要求输出结构化三元组，后者要求输出类别。两种样本共用模型和训练循环，通过指令区分任务。ChatGLM-6B 是这一案例使用的旧一代基座模型，运行环境与依赖版本须按其官方仓库及模型许可核对。 1. 先统一样本格式 每条 JSONL 样本包含 contex…

同样是让模型适应新任务，方法之间最关键的差别是：是否进行梯度训练、哪些参数会更新、任务信息进入模型的哪个位置。把这三个问题分开，Prompt、Prompt Tuning、Prefix Tuning、Adapter 和 LoRA 就不容易混淆。 1. 先区分提示与训练 推理时写一段自然语言提示，或在上下文中放几个示例，可以改变模型这一次的输入，但不会…

微调训练中，几个概念经常被放在一起，却解决不同的问题：学习率预热控制训练初期的步幅；梯度累积决定多少个小批次合成一次参数更新；梯度裁剪限制更新前的梯度范数；LoRA 减少可训练参数；张量并行把同一层的计算分到多个设备。把它们放回训练链路，位置就清楚了。 1. 一次训练更新的顺序 简化的顺序是：取小批次 → 前向计算损失 → 反向传播累积梯度 → 必…

一份「从 PyTorch 张量 → 自动微分 → 神经网络基础 → 训练技巧 → CNN → RNN」的深度学习入门主干地图，说到底是快速回顾用的知识清单（导图里直接列了 day05/06/07 的午间演讲题目）。 一、这份材料解决什么问题 前面的《机器学习》《集成学习》讲的是给定特征之后怎么选模型（TF-IDF 抽特征 → 随机森林 / GBDT…

NLP 系列的收尾总结课，用一张总表钉死 Encoder-only / Decoder-only / Encoder-Decoder 三类架构的差别，再把 BERT 与 GPT 的预训练任务、微调方式、适用任务逐项对照。 一、这份材料解决什么问题 前面的课时是分头讲的：Transformer 结构、注意力机制、词向量、ELMo/BERT/GPT 各…

这是从「手写 Transformer」跨到「用 HuggingFace 干活」的那一步，把 transformers 库的三种调用方式（pipeline / AutoModel / 具体模型）、tokenizer 编码、Dataset+collate_fn+DataLoader 供数、BERT 微调五步循环、保存加载与评估预测，用三个可跑通的完整案…

把 day05~07 学过的 Transformer 架构接上真实数据，用 Tatoeba 英法句对走完「清洗 → 双词表 → 截断填充 → 三类 Mask → token 级 loss → Teacher Forcing → 自回归解码 → BLEU」的全流程，并留下 25 个 epoch 的真实训练曲线、一次真实的翻译失败样例和一份手写 BLE…

从"逐块手写"出发把 Transformer 拆成输入（词嵌入 + 位置编码）、Mask、编码器（多头自注意力 + FFN + Add&Norm）、解码器（掩码自注意力 + 交叉注意力 + FFN）、输出（线性 + softmax）五段，再用 nn.Transformer 走一遍工程实现，这是整个 NLP 系列地基级的一份材料。 一、这份材…

把「Encoder–Decoder 只给一个 C」这个瓶颈讲透，然后从中拆出 Attention 的 Q/K/V 三要素与「打分 → 归一化 → 加权求和」三步，落到缩放点积公式 \text{softmax}(QK^\top/\sqrt{d_k})V 上，这一页是 RNN 时代通往 Transformer 的那道门。 一、这份材料解决什么问题 RN…