从「一层 RNN 的隐状态递推」出发，把参数共享、时间展开、BPTT 梯度连乘这条主线讲透，再用门控（LSTM 三门一状态、GRU 两门一状态）补上长依赖这个窟窿，最后落在「RNN 系列天生不可并行」这个致命短板上，也就是 Transformer 出现的理由。 一、这份材料解决什么问题 前一站（day01/day02）把文本变成了离散符号：词表、索…

序列建模里"同时看左右两边上下文"的最早、最经典的工程解法，用两个方向相反的 LSTM 各扫一遍序列，再把同一位置的输出拼起来。 图注：原图是一张标准的 BiLSTM 展开图，纵向分四层：Input（输入 x_{t-1}, x_t, x_{t+1}，橙色圆）→ Backward ←（绿色 LSTM 块，箭头向左，携带 \overleftarrow{…

用 GRU + Attention 的 Encoder–Decoder 从零训练一个英译法 seq2seq 模型，跑通"数据清洗 → 双词表 → 截断填充 → 编码器/注意力/解码器 → teacher forcing 训练 → 自回归推理 → BLEU 评估"的完整闭环，它是 day08「Transformer 英译法案例」的对照组基线。 一、这…

RNN RNN(循环神经网络)其实核心思想很简单:普通的神经网络每次处理数据都是独立的、互不相关的,而RNN会把"记忆"从上一步传递到下一步,这样就能处理像句子、语音、时间序列这种有先后顺序的数据。 几个关键点帮你理解: 1. 核心机制 每个时间步都会接收两样东西:当前的输入(比如句子里的一个词),以及上一步传下来的"隐藏状态"(可以理解成到目前为…