文本摘要系统可以拆成四个独立环节：准备成对的原文与摘要样本、训练模型或适配器、按部署条件压缩权重、用推理引擎提供服务。DeepSpeed、LoRA、QLoRA、GPTQ 和 vLLM 分别处在不同位置，不能把它们当成一个可互换的“量化训练方案”。 1. 任务与评估先于加速 监督微调样本应明确输入文本、摘要指令和目标摘要。训练、验证、测试集要按来源或…

一个生成式模型可以用统一的“指令—输入—回答”格式学习多个任务。这里以信息抽取和文本分类为例：前者要求输出结构化三元组，后者要求输出类别。两种样本共用模型和训练循环，通过指令区分任务。ChatGLM-6B 是这一案例使用的旧一代基座模型，运行环境与依赖版本须按其官方仓库及模型许可核对。 1. 先统一样本格式 每条 JSONL 样本包含 contex…

同样是让模型适应新任务，方法之间最关键的差别是：是否进行梯度训练、哪些参数会更新、任务信息进入模型的哪个位置。把这三个问题分开，Prompt、Prompt Tuning、Prefix Tuning、Adapter 和 LoRA 就不容易混淆。 1. 先区分提示与训练 推理时写一段自然语言提示，或在上下文中放几个示例，可以改变模型这一次的输入，但不会…

微调训练中，几个概念经常被放在一起，却解决不同的问题：学习率预热控制训练初期的步幅；梯度累积决定多少个小批次合成一次参数更新；梯度裁剪限制更新前的梯度范数；LoRA 减少可训练参数；张量并行把同一层的计算分到多个设备。把它们放回训练链路，位置就清楚了。 1. 一次训练更新的顺序 简化的顺序是：取小批次 → 前向计算损失 → 反向传播累积梯度 → 必…