总：线性回归是最老的模型，但仍然有效——它活在两个地方：需要可解释性的场景（风控评分卡、AB 实验分析）和一切模型的 baseline。正则化思想更是贯穿到了深度学习：weight decay 就是 L2 换了个名字。
一、研究定位
- 工业界没人用线性回归预测房价，但信贷评分卡至今是 WOE + LR 的常见方案，因为监管要可解释
- 正则化（L1/L2）不是线性回归专属，它是所有参数化模型的通用思想，深度学习里叫 weight decay / 约束
- 讨论这个模型时，重点通常不是”怎么预测房价”，而是L1 为什么稀疏、L1 L2 怎么选、什么时候必须用线性模型
二、机制回顾
- 模型 y = wTx + b，损失 MSE，求导=0（正规方程，特征多会炸）或梯度下降迭代
- 正规方程 vs 梯度下降：解析解 vs 迭代解；前者 O(n³) 撑不住高维，后者要调学习率
- L1（Lasso）：λ∑|wi|，梯度 = λ ⋅ sign(w)，推力恒定，能把 w 推过 0 → 稀疏解 → 特征选择
- L2（Ridge）：λ∑wi2，梯度 ∝ w，w 越小推力越小 → 只缩不删 → 防过拟合
- 结论判断线索：L1 删特征、L2 压权重；有异常点时评估看 MAE 别看 RMSE
三、研究与应用脉络
3.1 风控评分卡：LR 的高解释性场景
银行信贷 A 卡（申请评分卡）的标准管线：分箱 → WOE 编码 → 逻辑回归。
- 为什么要分箱 + WOE：把连续变量变成对数几率刻度，天然线性化 + 抗异常点 + 缺失值可单归一箱
- 为什么不用 XGBoost：
- 监管要求每个拒绝可解释——LR 系数符号和大小就是业务含义
- 分数要能逆推：
Score = 基础分 - factor × ln(odds)，PDO（分数翻倍所需坏账率翻倍）是行业语言 - 稳定性优先于精度：模型上线看 PSI（人群稳定性指数），LR 对分布漂移更钝感
- 这就是“可解释性换精度”的经典交易，也是讨论模型选型时很有代表性的案例
3.2 CTR 预估的演进起点
- 2010s 工业主力：大规模离散特征 + LR + FTRL 在线学习。FTRL 是带 L1 的在线梯度下降，自动产出稀疏解，一个特征几亿维也不怕
- 后来 GBDT+LR（树自动做特征交叉）→ Wide&Deep → 深度模型相关方法
- 但 LR 没退场：大厂排序系统里LR 仍是最后一级校准/兜底层，因为稳、快、可控
3.3 AB 实验与因果分析里的回归
- AB 实验的方差缩减技术 CUPED，本质是用实验前数据做线性回归控制协变量。这里的重点不是预测精度，而是估计更稳定的处理效应。
- 经济学的 DID、合成控制，底层全是线性模型。这一支的卖点是因果解释，不是预测精度
3.4 正则化思想的现代延续
| 线性回归时代 | 深度学习时代 |
|---|---|
| L2 正则项 | weight decay（AdamW 里独立于梯度更新） |
| L1 稀疏 | 模型剪枝、MoE 稀疏激活 |
| 特征选择 | Embedding 降维、特征筛选 |
| early stopping | 盯验证集 loss，一步不多训 |
| 数据清洗 | 数据增强、去重（LLM 预训练语料去重同源） |
λ 调参这件事也现代化了：网格搜索 → 贝叶斯优化 / Optuna。
四、研究问题与讨论
问题： L1 和 L2 的区别，为什么 L1 能产生稀疏解？ 讨论： L1 加的是绝对值惩罚，L2 是平方惩罚。关键在梯度：L1 对 w 的梯度是 sign(w)，大小恒为 λ，方向只看符号，所以 w 再小也会被恒定推力推过 0，停在 0 上形成稀疏解；L2 的梯度正比于 w，w 越小推力越小，只能无限接近 0 推不到 0。所以 L1 用于特征选择，L2 用于整体压权重防过拟合。
问题： 什么场景必须用线性模型而不是树模型？ 讨论： 三个信号：强监管要可解释（金融评分卡）、需要系数做业务归因（营销增量分析）、需要在线学习快速更新（FTRL 流式特征）。
问题： 过拟合怎么治？ 讨论： 分两层答——数据层：清洗、增数据、特征筛选；模型层：正则化（L1/L2）、early stopping、交叉验证选模型；树模型还有剪枝，集成学习本身就是一种正则化（平均掉方差）。
五、后续实验
线性回归教给我的不是预测，是建模范式：数据 → 损失函数 → 优化 → 评估，这套流水线后面所有模型都是它的变体。 动手项：拿一份带类别特征的表格数据，跑一遍 分箱→WOE→LogisticRegression 评分卡管线，再对比 LightGBM 的 AUC 和 SHAP 解释——体感一下”可解释换精度”这笔交易。
六、研究向延伸
后续可以围绕“可解释性与精度的交换”继续做实验。建议用同一份结构化数据比较 Logistic Regression、LightGBM 和一个小型 MLP：记录 AUC、校准曲线、PSI、SHAP 稳定性，以及不同时间切分下的性能漂移。重点不是证明哪个模型更强，而是观察模型假设在数据分布变化时如何失效。
可进一步追问：L1 产生的稀疏特征是否真的稳定？WOE 分箱在新样本上是否保持单调？AdamW 中的 weight decay 与传统 L2 在优化路径上有什么差异？