NLP 系列的收尾总结课，用一张总表钉死 Encoder-only / Decoder-only / Encoder-Decoder 三类架构的差别，再把 BERT 与 GPT 的预训练任务、微调方式、适用任务逐项对照。 一、这份材料解决什么问题 前面的课时是分头讲的：Transformer 结构、注意力机制、词向量、ELMo/BERT/GPT 各…

这是从「手写 Transformer」跨到「用 HuggingFace 干活」的那一步，把 transformers 库的三种调用方式（pipeline / AutoModel / 具体模型）、tokenizer 编码、Dataset+collate_fn+DataLoader 供数、BERT 微调五步循环、保存加载与评估预测，用三个可跑通的完整案…

把 day05~07 学过的 Transformer 架构接上真实数据，用 Tatoeba 英法句对走完「清洗 → 双词表 → 截断填充 → 三类 Mask → token 级 loss → Teacher Forcing → 自回归解码 → BLEU」的全流程，并留下 25 个 epoch 的真实训练曲线、一次真实的翻译失败样例和一份手写 BLE…

从"逐块手写"出发把 Transformer 拆成输入（词嵌入 + 位置编码）、Mask、编码器（多头自注意力 + FFN + Add&Norm）、解码器（掩码自注意力 + 交叉注意力 + FFN）、输出（线性 + softmax）五段，再用 nn.Transformer 走一遍工程实现，这是整个 NLP 系列地基级的一份材料。 一、这份材…

把「Encoder–Decoder 只给一个 C」这个瓶颈讲透，然后从中拆出 Attention 的 Q/K/V 三要素与「打分 → 归一化 → 加权求和」三步，落到缩放点积公式 \text{softmax}(QK^\top/\sqrt{d_k})V 上，这一页是 RNN 时代通往 Transformer 的那道门。 一、这份材料解决什么问题 RN…

一张从「文本喂进模型之前要做什么」一路推到「BERT/GPT 为什么长成那样」的 NLP 全栈主干图，把 预处理 → 文本张量表示 → 序列建模 → Attention → Transformer → 预训练+迁移学习 串成一条因果链。 一、这份材料解决什么问题 NLP 的所有工程细节，说到底都在回答同一个问题：怎么把离散的语言符号变成神经网络能算…

用「BERT = 3 个可训练 Embedding 输入层 + 多层 Transformer Encoder 堆叠，再在第一个位置接一个 fc」这一句话，把 BERT 的输入表示、Encoder-only 双向结构、两大预训练任务（MLM / NSP）和微调范式一次讲清，并直接落到本项目 BertModel + nn.Linear(768, 10)…

1. 先建立问题地图 例如，把“我昨天去了公园”翻译成英文：系统先把文字转成 token ID，再得到向量；编码器处理源句，解码器结合已经生成的前缀预测下一个 token，直到结束标记。研究问题随之出现：词与词如何共享统计信息？前文如何保留？生成某个词时如何找到相关输入？训练与推理能否并行？ 阶段表示或信息通路解决的问题仍需处理的局限One-hot…

首先，编码器的前向传播是 源语言：我 爱 中国 ↓ Embedding + Position Encoding ↓Multi-Head Self-Attention ↓Add & LayerNorm ↓Feed Forward Network ↓Add & LayerNorm ↓Decoder ↓输出 logits ↓Softmax…

RNN RNN(循环神经网络)其实核心思想很简单:普通的神经网络每次处理数据都是独立的、互不相关的,而RNN会把"记忆"从上一步传递到下一步,这样就能处理像句子、语音、时间序列这种有先后顺序的数据。 几个关键点帮你理解: 1. 核心机制 每个时间步都会接收两样东西:当前的输入(比如句子里的一个词),以及上一步传下来的"隐藏状态"(可以理解成到目前为…