一张从「文本喂进模型之前要做什么」一路推到「BERT/GPT 为什么长成那样」的 NLP 全栈主干图，把 预处理 → 文本张量表示 → 序列建模 → Attention → Transformer → 预训练+迁移学习 串成一条因果链。 一、这份材料解决什么问题 NLP 的所有工程细节，说到底都在回答同一个问题：怎么把离散的语言符号变成神经网络能算…

模型剪枝 = 训练完成之后，按"重要性"砍掉冗余参数（完整 → 残缺），再用小学习率微调几轮，让留下的参数把被砍掉的那点活接手过来，工资少发了，活基本还是干完的。 一、这份材料解决什么问题 模型上线时会撞上三堵墙：显存装不下、单次推理太慢、模型文件太大。这三堵墙的根因是同一件事，模型是过参数化（over-parameterized）的：为了让梯度下…

蒸馏最核心的一步，把教师模型的软标签（[0.7 0.2 0.1] 这样的概率向量）当成学生的监督信号，学生学到的不是"答案"，而是"答案之间的关系"。 图注：原图是一段完整讲解。上半段解释为什么要蒸馏：大模型能从数据里总结出隐含规律，小模型靠自己总结不出来，只能"强行背答案"；而教师模型的输出（预测概率）里就带着这些规律信息，可以让小模型模仿。下半…

序列建模里"同时看左右两边上下文"的最早、最经典的工程解法，用两个方向相反的 LSTM 各扫一遍序列，再把同一位置的输出拼起来。 图注：原图是一张标准的 BiLSTM 展开图，纵向分四层：Input（输入 x_{t-1}, x_t, x_{t+1}，橙色圆）→ Backward ←（绿色 LSTM 块，箭头向左，携带 \overleftarrow{…

蒸馏的第二种传法，不只学教师的输出，还要学教师的中间层特征。因为大模型从数据里提取特征的"能力"本身就比小模型好，学生可以直接对着教师的特征图做 MSE 回归。 图注：原图从上到下是三块。① 上方是一个"输入 → 若干层 → 潜在空间表示（Latent Space Representation）→ 若干层 → 输出"的网络示意，配文说明中间层的输出…

讲清楚"模型训完之后"那段最容易在被追问时露怯的工程路，保存成什么格式、怎么用 ONNX 走到目标平台、怎么用 Flask + 客户端把它变成可被调用的服务，以及换格式 + 降精度究竟能换回多少延迟。 一、这份材料解决什么问题 绝大多数课程教到 model.eval() 就结束了，好像模型一训完就自动"上线"了。这份材料补的是中间那段空档： 环境不…

用 12 页把深度学习的线性代数骨架过一遍，矩阵乘法的维度规则 → 全连接层与 Transformer 并行的本质 → 外积与低秩 → 低秩因式分解与 LoRA，是「模型压缩」章节的数学铺垫课。 一、这份材料解决什么问题 模型压缩的四大手段里，低秩分解直接就是矩阵分解，剪枝要靠 L1/L2 范数当"重要性判据"，量化本质是给矩阵乘法的输入输出做线性…

整个"大模型提示词工程"课件的总目录与学习契约，它先告诉你为什么必须学提示词（"内功"），再铺开五条能力主线：发展史与幻觉、编写规范、进阶技术、安全、文本处理实战。 图注：原图是一张横向展开的思维导图，根节点是「课程介绍」。左侧分枝交代课程定位：面向人群（了解大模型基础知识、熟悉 Python 核心语法）、课程的重要性（三点，其中高亮框是"由于大模…

本章是提示词课程的技术主干，它把"会写提示词"升级为"会用 API 做提示词工程"：先用 API 调通云端大模型（token 计费、openai 库与 dashscope SDK 两条入口），再用 system / user / assistant 三种角色搭出对话骨架，然后把 6 类进阶提示词技术（Zero-Shot、Few-Shot、CoT、P…

一张 fastText 训练参数的速查对照表，把"每个旋钮拧了会发生什么、默认值多少、什么时候该拧"摊平在一页里，是《理解 FastText 原理》那份课件的"末页操作手册"。 一、这份材料解决什么问题 上一份材料《【理解】FastText 原理》讲的是"为什么快、为什么对中文有效"，词袋、char n-gram、哈希桶、词向量平均。但真正把模型跑…