自动批改的难点，不只是判断答案是否包含关键词。主观题往往涉及得分点、论证完整度和部分正确答案的给分尺度。要判断批改是否可靠，应让教师与模型依据同一份量表独立评分，再比较差异。先建立评分基准为每道题记录题目、作答、满分、评分量表、教师评分与扣分依据。教师应在看不到模型结果的情况下完成首次评分；存在争议的题目由第二位教师复核，保留原始评分与仲裁理由。{…

评估 RAG，可以先沿着一条清晰的链路展开：问题分类、查询改写、混合检索、重排序、上下文组装，最后生成答案。链路越长，越需要把“证据有没有找对”和“答案有没有答对”分开测量。本文给出一套围绕检索召回与回答正确率的评估方案。所有数字均为计算示例，不是线上实测成绩。构建可复查的标准数据集每个样本至少保存问题、标准答案、支持答案的证据片段，以及问题类型。…

一个 Agent 能跑通，只能说明某条执行路径没有中断。它是否回答准确、评分合理、流程可靠，以及运行成本是否可控，需要另一套有明确样本、指标和判定规则的评估体系。本文以知识问答、试卷批改、简历评审和模拟面试四类任务为例，梳理从单个 Agent 到整个系统的评估方法。文中的数据规模和阈值均属于方案示例，不代表已完成的实验结果。先区分三类问题功能测试检…

文本摘要系统可以拆成四个独立环节：准备成对的原文与摘要样本、训练模型或适配器、按部署条件压缩权重、用推理引擎提供服务。DeepSpeed、LoRA、QLoRA、GPTQ 和 vLLM 分别处在不同位置，不能把它们当成一个可互换的“量化训练方案”。 1. 任务与评估先于加速 监督微调样本应明确输入文本、摘要指令和目标摘要。训练、验证、测试集要按来源或…

一个生成式模型可以用统一的“指令—输入—回答”格式学习多个任务。这里以信息抽取和文本分类为例：前者要求输出结构化三元组，后者要求输出类别。两种样本共用模型和训练循环，通过指令区分任务。ChatGLM-6B 是这一案例使用的旧一代基座模型，运行环境与依赖版本须按其官方仓库及模型许可核对。 1. 先统一样本格式 每条 JSONL 样本包含 contex…

同样是让模型适应新任务，方法之间最关键的差别是：是否进行梯度训练、哪些参数会更新、任务信息进入模型的哪个位置。把这三个问题分开，Prompt、Prompt Tuning、Prefix Tuning、Adapter 和 LoRA 就不容易混淆。 1. 先区分提示与训练 推理时写一段自然语言提示，或在上下文中放几个示例，可以改变模型这一次的输入，但不会…

微调训练中，几个概念经常被放在一起，却解决不同的问题：学习率预热控制训练初期的步幅；梯度累积决定多少个小批次合成一次参数更新；梯度裁剪限制更新前的梯度范数；LoRA 减少可训练参数；张量并行把同一层的计算分到多个设备。把它们放回训练链路，位置就清楚了。 1. 一次训练更新的顺序 简化的顺序是：取小批次 → 前向计算损失 → 反向传播累积梯度 → 必…

如何看待 DeepSeek 刘胜与的《我不得不把才华埋葬在昨天》？ 90年代，红白机把键盘带进了客厅，Web静态网页出现，但页面只能跑在浏览器里，标准还分裂，随之在97年第一版 ECMAScript 标准发布。此时，人与人的交流还是面对面。 千禧年后十年，REST、Ajax、Node.js、微服务，环环相扣，智能手机和平板电脑兴起，小屏幕、触控操作…

把"一棵树不靠谱"变成"一片森林很靠谱"，Bagging / Boosting 两大流派 + 随机森林 / AdaBoost / GBDT / XGBoost 的完整推导；随机森林是新闻分类项目 TF-IDF 基线的基线模型。 一、这份材料解决什么问题 单个模型有天花板：决策树太浅欠拟合、太深过拟合，线性模型处理不了非线性。集成学习（Ensembl…

一份「从 PyTorch 张量 → 自动微分 → 神经网络基础 → 训练技巧 → CNN → RNN」的深度学习入门主干地图，说到底是快速回顾用的知识清单（导图里直接列了 day05/06/07 的午间演讲题目）。 一、这份材料解决什么问题 前面的《机器学习》《集成学习》讲的是给定特征之后怎么选模型（TF-IDF 抽特征 → 随机森林 / GBDT…