用「BERT = 3 个可训练 Embedding 输入层 + 多层 Transformer Encoder 堆叠，再在第一个位置接一个 fc」这一句话，把 BERT 的输入表示、Encoder-only 双向结构、两大预训练任务（MLM / NSP）和微调范式一次讲清，并直接落到本项目 BertModel + nn.Linear(768, 10)…

FastText 是「人工设计特征 + 只有两层可训练参数」的极速文本工具，它全部的性能红利都押在三件事上，子词 n-gram 的 Hash 桶、CBOW 式向量平均、层级 Softmax。 一、这份材料解决什么问题 在新闻分类项目的四棒接力里，TF-IDF + 随机森林 → FastText → BERT → LLM 是一条成本递增、精度递增的阶…

按结构是否被预先定义把数据切成三类（结构化 / 半结构化 / 非结构化），并给出每一类怎么读、怎么算、配什么算法，整条新闻分类流水线的第 0 步。 一、这份材料解决什么问题 任何 AI 项目的第一步都不是选模型，而是看看手里拿的是什么数据。同样一句"用户信息"，存成 MySQL 表、存成 JSON、还是散落在一份 PDF 合同里，后面要做的事完全不…

把「做项目」从「复现一个算法」重新定义为「打通一条可运行的工程流程」，并给出卡壳时的三级求助 SOP 与「该学什么、不必纠结什么」的取舍标准。 一、这份材料解决什么问题 新闻分类项目是一条四模型逐级对比的路线：TF-IDF + 随机森林 → FastText → BERT 微调 → LLM（DeepSeek API），再做模型压缩与 Flask +…

用三个阶段的骨架讲清"大模型不是突然出现的"，把 1950 年至今的技术演进串成一条从"人工写规则 / 统计计数"到"用规模换能力"的因果链，重点不是背年份，而是回答"为什么会有大模型"。 一、这份材料解决什么问题 被问到的最多的不是细节，而是判断：为什么 BERT 之后还要有 GPT？为什么大家都在堆参数？为什么现在又开始讲"推理模型"和"小模型…

一张"DeepSeek 对话补全接口到底返回了什么"的字段字典，搞不懂这张表，就没法写出健壮的大模型调用代码，也算不清成本和缓存收益。 图注：原图是三列对照表，字段 / 示例 / 说明，逐行列出了 DeepSeek chat.completion 返回体里的 14 个字段。下面所有内容都是对这张表逐行展开。注意示例里 model 是 deepsee…

用「房价 / 红豆绿豆」这类最小例子，把 KNN → 线性回归 → 逻辑回归 → 决策树 → 随机森林 五个模型串成一条「从单点到集成」的主线，是 3.1 随机森林模型的前置基础课。 一、这份材料解决什么问题 这份材料是「3.1 随机森林模型」这一节的前置总复习。它不追求完整覆盖机器学习，而是回答一个很具体的问题：一个只会写代码、没系统学过 ML …

把「字符串 → 数字向量」这一步讲透，用 TF-IDF 给「词在当前文档的重要性」打一个可计算的分数，从而让随机森林这类只能做加减乘除和矩阵运算的算法能吃下文本；同时暴露这套稀疏、符号化表示的边界（语义丢失、维度灾难、OOV），为后面 FastText / BERT 的对比埋下伏笔。 一、这份材料解决什么问题 新闻分类项目的技术路线是四模型逐级对比…

什么是大模型幻觉 事实性幻觉和忠实性幻觉 大模型生成了与客观事实不符，或缺乏客观事实（Ground Truth）支持的内容。 这里的 客观事实（客观依据） 可以是： 客观事实 真实历史或事件 RAG 检索文档（针对RAG系统） 忠实性幻觉是不按用户指令思考生成的内容。 如何判断幻觉？ 问题是否有 Ground Truth是否可以判断幻觉《西游记》作…

在 Hugging Face Transformers 中，TrainingArguments 描述训练规则，Trainer 将模型、数据、批处理与评估逻辑组织成训练流程。两者配合可以减少重复代码，但数据格式、评估设计和硬件配置仍需要使用者负责。 先看各组件的分工 组件 职责 tokenizer 把文本转换成模型输入 Dataset 提供样本与标签…