研究定位 目标检测都在预测类别和边界框，但“谁负责预测一个目标”不同：anchor-based 由预设框负责，anchor-free 由位置/中心负责，DETR 则由 object query 负责。 方法演化 YOLOv3：多尺度 anchor-based 检测 YOLOv3 在多个特征尺度上预测 anchor 的位置偏移、objectness …

研究定位 Backbone 把像素变成分层特征。浅层分辨率高、细节多；深层分辨率低、语义强。检测与分割需要把二者结合。 [B,3,H,W] → C3 [B,C3,H/8,W/8] → C4 [B,C4,H/16,W/16] → C5 [B,C5,H/32,W/32] → FPN 多尺度融合 结构设计线索 DenseNet：复用所有前层特征 xl =…

研究定位 并行主要解决两个不同问题：模型能放进单卡但训练太慢，或者模型本身已经放不进单卡。前者优先想到数据并行，后者才需要切模型。 张量并行 并行策略与代价 数据并行：复制模型，切分 batch GPU0: 模型 M + batch₀ → grad₀ ┐ GPU1: 模型 M + batch₁ → grad₁ ├→ All-Reduce → 参数保…

研究定位 计算图就是一张“变量之间如何计算”的账本；前向传播计算结果，反向传播沿着账本用链式法则计算梯度。 计算图 数据流与机制 设两层模型： z1 = w1x + b1,  h = f(z1),  ŷ = w2h + b2 L = (ŷ − y)2 前向是 x → z₁ → h → ŷ → L。反向则从损失开始： $$ \frac{\part…

总：聚类是唯一”没有标签还能干活”的算法，工业界它有两个身份：显式使用（用户分群、语料治理）和隐式内嵌（IVF 向量索引、量化压缩、异常检测的底层思想）。LLM 时代语料爆炸，“自动把相似的东西归堆”比以前更重要了。 一、研究定位 K-Means 这一算法还在服役（用户分群、运营分层），但更大的戏份是当零件：IVF 索引的分桶、PQ 量化的码本全是…

总：集成学习是五大重点里离工业界最近的——2026 年的今天，表格数据（风控、推荐、销量）的最优解依然是 XGBoost / LightGBM / CatBoost，LLM 再强也难以直接替代结构化数据这块阵地。这篇把 Bagging/Boosting 的课内思想接到现代 GBDT 三个实现。 一、研究定位 课内的 Bagging/Boosting…

总：决策树是唯一一个”人类能直接读懂”的模型，这个特质让它永远不会被淘汰——现在活在三个地方：风控规则引擎、高监管行业的可解释模型、GBDT/XGBoost 的基学习器。XGBoost 本质上就是”决策树的集成”，学树就是学 GBDT 的地基。 一、研究定位 单棵决策树在精度上早已不构成竞争力，但可解释性 + 特征自动离散化 + 对量纲免疫让它活在…

总：KNN 这一算法在工业界几乎不用了，但它回答的那个问题——“给我最相似的 K 个”——是现在重要的基础设施：向量数据库、RAG 召回、推荐系统召回层、以图搜图，都可以视为最近邻思想的工程化延伸。这篇把 KNN 的思想接到 ANN（近似最近邻）上。 一、研究定位 KNN 的问题：预测要算全部样本距离，O(n·d)，数据规模增大后成本迅速上升 → …

总：线性回归是最老的模型，但仍然有效——它活在两个地方：需要可解释性的场景（风控评分卡、AB 实验分析）和一切模型的 baseline。正则化思想更是贯穿到了深度学习：weight decay 就是 L2 换了个名字。 一、研究定位 工业界没人用线性回归预测房价，但信贷评分卡至今是 WOE + LR 的常见方案，因为监管要可解释 正则化（L1/L2…

首先，编码器的前向传播是 源语言：我 爱 中国 ↓ Embedding + Position Encoding ↓Multi-Head Self-Attention ↓Add & LayerNorm ↓Feed Forward Network ↓Add & LayerNorm ↓Decoder ↓输出 logits ↓Softmax…