作者: admin

96 篇文章

机器学习:一张全景图
一张「机器学习全景地图」,从 AI/ML/DL 的概念关系、数据三要素、建模流程,到 KNN / 线性回归 / 逻辑回归 / 决策树 / 集成学习 / K-Means 六大算法族,再加一个走完闭环的时间序列案例(南方电网电力负荷预测)与求职工程环节(Git、简历、求职沟通)。 一、这份材料解决什么问题 它回答的不是「某个算法怎么写」,而是评审者最想…
决策树:从信息熵到 CART
用「信息熵 → 信息增益 → 信息增益率 → 基尼指数」四条主线讲透 ID3 / C4.5 / CART 三代决策树,补齐连续值处理、回归树、剪枝三块工程细节,最后自然过渡到随机森林,也就是新闻分类项目里 TF-IDF + 随机森林 那条基线的单棵树底座。 一、这份材料解决什么问题 决策树是整个树模型家族的原子单元。随机森林、GBDT、XGBoos…
BERT 与 GPT:三类架构的取舍
NLP 系列的收尾总结课,用一张总表钉死 Encoder-only / Decoder-only / Encoder-Decoder 三类架构的差别,再把 BERT 与 GPT 的预训练任务、微调方式、适用任务逐项对照。 一、这份材料解决什么问题 前面的课时是分头讲的:Transformer 结构、注意力机制、词向量、ELMo/BERT/GPT 各…
HuggingFace transformers 迁移学习
这是从「手写 Transformer」跨到「用 HuggingFace 干活」的那一步,把 transformers 库的三种调用方式(pipeline / AutoModel / 具体模型)、tokenizer 编码、Dataset+collate_fn+DataLoader 供数、BERT 微调五步循环、保存加载与评估预测,用三个可跑通的完整案…
fastText 上手:分类与词向量
一份「上手即用」的 FastText 工程课,用 train_supervised() / train_unsupervised() 两个 API 覆盖文本分类与词向量两条线,并在原理层面补上层次化 Softmax 与负采样这两条「高效输出层」路线。 一、这份材料解决什么问题 在新闻分类项目这类新闻标题分类项目里,四段式技术路线是 TF-IDF +…
Transformer 英译法实战
把 day05~07 学过的 Transformer 架构接上真实数据,用 Tatoeba 英法句对走完「清洗 → 双词表 → 截断填充 → 三类 Mask → token 级 loss → Teacher Forcing → 自回归解码 → BLEU」的全流程,并留下 25 个 epoch 的真实训练曲线、一次真实的翻译失败样例和一份手写 BLE…
Transformer 逐块拆解
从"逐块手写"出发把 Transformer 拆成输入(词嵌入 + 位置编码)、Mask、编码器(多头自注意力 + FFN + Add&Norm)、解码器(掩码自注意力 + 交叉注意力 + FFN)、输出(线性 + softmax)五段,再用 nn.Transformer 走一遍工程实现,这是整个 NLP 系列地基级的一份材料。 一、这份材…
注意力机制:QKV 与缩放点积
把「Encoder–Decoder 只给一个 C」这个瓶颈讲透,然后从中拆出 Attention 的 Q/K/V 三要素与「打分 → 归一化 → 加权求和」三步,落到缩放点积公式 \text{softmax}(QK^\top/\sqrt{d_k})V 上,这一页是 RNN 时代通往 Transformer 的那道门。 一、这份材料解决什么问题 RN…
RNN 与 LSTM、GRU:序列建模与门控
从「一层 RNN 的隐状态递推」出发,把参数共享、时间展开、BPTT 梯度连乘这条主线讲透,再用门控(LSTM 三门一状态、GRU 两门一状态)补上长依赖这个窟窿,最后落在「RNN 系列天生不可并行」这个致命短板上,也就是 Transformer 出现的理由。 一、这份材料解决什么问题 前一站(day01/day02)把文本变成了离散符号:词表、索…
文本预处理:从数据到特征
一份「数据 → 特征 → 增强」的文本预处理施工手册,上半篇用五个统计动作把语料的毛病看出来(标签均衡、长度分布、语料质量),下半篇把原始文本变成模型能吃的等长数值张量(n-gram、截断补齐),外加回译增强和三个扩展专题(TF+Cosine / SBERT / FastText Subword)。 一、这份材料解决什么问题 day01《自然语言处…