跳到主要内容

预测模型

岭回归

在已经标准化的定量特征上加 L2 惩罚,把彼此重叠的斜率往零挤,但不会像 L1 那样把某一列整段关掉。

更新日期 2026-08-29 回归

这篇能回答什么

岭回归回答的是:「这些定量 X 互相牵扯时,怎样得到一套方向稳定的线性预测权重」。普通最小二乘在 X′X 接近奇异时会把斜率放大、符号翻来翻去。L2 在平方损失上对 ‖β‖₂² 抽税,等价于把 X′X 的对角线垫高 α,求

税越重,系数越往 0 靠,但 L2 的几何是圆盘约束:路径光滑,坐标一般不会停在精确的 0。本教学表四个住房特征全部留下非零权重:面积(平米) 167.9708、楼层 10.8619、总楼层 5.0528、建筑年份 2.7541。同一套列若改跑 Lasso回归,后三列会变成确切的 0——那是 L1 菱形约束的角点,不是岭。

什么时候不该用

假说已经写死变量名单、你要的是带标准误与 t 的推断表,回到线性回归。目标是自动关掉多余列、交出稀疏式子,用 Lasso。按理论分块看 ΔR²,用分层回归。让偏 F 一条条进进出出,才是逐步回归。总价这种连续 Y 才能进本页;是否成交请改逻辑或 Probit。

如何选择方法

分水岭是「能不能接受某一列从方程里消失」。每个特征都有业务故事、共线只是让数字发抖 → 岭。探索阶段宁可少几列、接受交叉验证选变量 → Lasso。名单不可谈判 → OLS。候选很多又想看离散搜索路径 → 逐步。岭与 Lasso 的 α 都由交叉验证挑;逐步没有这条连续路径,名义 p 值会偏乐观。

  • 岭回归:L2,CV 选 α,系数收缩但本例四列皆非零;输出标准化系数、R²、MSE、1-SE α 与岭迹。

  • Lasso:L1,同一张住房表上只留面积,楼层三列打成 0。

  • OLS:无惩罚,给 B、Beta、VIF 与 F,共线时标准误膨胀。

  • 逐步回归:偏 F / AIC 离散搜索,不是连续收缩。

输入、输出与限制

输入

因变量恰好 1 个定量列。自变量全部定量,至少 2 个、至多 50 个(比 Lasso 的 100 列上限更紧)。按这些列成表删除缺失。拟合前对 X 做标准化,Y 保持原始万元单位。

  • 自变量:最少 2 个,最多 50 个(定量)。

  • 因变量:最少 1 个,最多 1 个(定量)。

输出

系数表列出每个自变量的标准化回归系数。表注给出 R²、MSE、交叉验证最优 Alpha、1-SE 准则 Alpha 与原始量纲常数项。图为岭迹(系数随 α 变化)或交叉验证误差曲线。本页没有标准误、t 或 p。

产品限制

  • 有效行数至少 5(交叉验证折数取 min(5, n),随机种子固定)。

  • α 网格为 logspace(−2, 4) 共 60 档;主表按 CV 最小均方误差那一档重拟合全样本。

  • 1-SE 准则在「CV 误差不超过最小值加一个标准误」的前提下取更大的 α,本页为 298.2471,远大于 CV 最优 11.2421。

  • 系数没有推断列:非零不等于显著。

  • 高基数编号、定类原文不要直接进 X。

案例

研究问题。 综合评价住房表里,面积、所在楼层、总楼层与建筑年份都和总价有关,而且彼此重叠。研究者希望四条特征都留在预测式里,只把被共线放大的斜率按住,而不是让算法把楼层整列关掉。

教学示例工作表为「Sheet1」。自变量勾选面积(平米)、楼层、总楼层、建筑年份,因变量勾选总价(万元)。交叉验证选出 Alpha = 11.2421,R² = 0.2995,MSE = 68765.2450。四列标准化系数分别是 167.9708、10.8619、5.0528、2.7541,没有一列落到 0。有效行数以成表删除后的工作台输出为准。下载后按同样角色可复现系数表。

下载教学示例表(综合评价)

在 StatsX 中操作

  1. 步骤 1 · 放入住房表

    打开工作台,把综合评价 xlsx / CSV / JSON 拖进上传区。确认工作表名为「Sheet1」。单文件不超过 20 MB。

  2. 步骤 2 · 核定量、挡标识

    画像里总价、面积、楼层、总楼层、建筑年份都应是定量。小区名、房源编号留在角色外面。

  3. 步骤 3 · 点「岭回归」而不是 Lasso

    目录搜索「岭」或 Ridge。卡片写 L2 / 共线稳定。旁边的 Lasso 会把弱列收到 0,点错页就对错表。

  4. 步骤 4 · 四列特征对总价

    自变量勾选面积(平米)、楼层、总楼层、建筑年份(2–50 个);因变量勾选总价(万元)。运行分析。

  5. 步骤 5 · 先看有没有 0,再看两个 Alpha

    四行都应是非零标准化系数。记下 CV α 与更保守的 1-SE α,最后看 R²。不要把 167.97 读成「每平米涨 168 万」。

StatsX 工作台上传综合评价住房表
把教学示例表拖进上传区。
列画像核总价与住房特征
确认总价与四列特征为定量,标识列不进入。
在目录中选择岭回归
选定「岭回归」,不要误点 Lasso。
为岭回归指定四列住房特征与总价
自变量四列住房特征,因变量总价后运行。

如何阅读输出

下表由同一份住房教学表示例在 StatsX 中运行岭回归得到。面积(平米) = 167.9708,楼层 = 10.8619,总楼层 = 5.0528,建筑年份 = 2.7541。表注:R² = 0.2995,MSE = 68765.2450,CV 最优 Alpha = 11.2421,1-SE Alpha = 298.2471,常数项 = 457.3520(总价的原始万元尺度)。四行都不是 0:L2 只收缩,不删除。

岭回归 (Ridge, L2正则化) 分析结果
自变量标准化回归系数(Coef)
面积(平米)167.9708
楼层10.8619
总楼层5.0528
建筑年份2.7541

模型评估: R² = 0.2995 | MSE = 68765.2450 | 最佳惩罚系数 Alpha = 11.2421 | 1-SE 准则 Alpha = 298.2471 | 常数项 = 457.3520

岭回归标准化系数与 Alpha 表注
工作台系数表应与上表一致:四列皆非零。
岭迹与交叉验证误差曲线
岭迹上系数随 α 增大一起被压扁,不会在某一档突然变成空行;完整数字以表为准。

阅读顺序:有效行数 → 四行是否都非零 → 面积是否仍是数量级最大的权重(167.9708)→ CV α=11.2421 与 1-SE α=298.2471 不要混用 → R²=0.2995 只解释约三成总价变异。常数项 457.3520 是标准化特征取 0 时的预测,约在 Y 的均值位置。面积与总价近乎定义性相关,所以它的权重量级最大;楼层 10.8619、总楼层 5.0528 仍留下,说明惩罚没有把「楼层故事」从式子里抹掉——这和 Lasso 在 α=12.0645 时只留面积、R²=0.2964 形成对照。R² 只高约 0.003,换来的是完整特征名单,不是更高的预测精度。

理论与公式

先把各列 X 标准化为均值 0、方差 1,再解惩罚最小二乘。与 Lasso 的 ‖β‖₁ 不同,岭用欧氏范数的平方:

α=0 退回 OLS。α→∞ 时斜率整体压向 0,截距不进惩罚,故常数项留在原始 Y 尺度。StatsX 在 60 档对数网格上做最多 5 折交叉验证,取验证均方误差最小的 α;本页 11.2421。1-SE 规则在误差预算内选更大的 α(本页 298.2471),主表系数仍按 CV-min 报告。R² 在标准化 X、原始 Y 的拟合上计算,本页 0.2995。

注意事项

  • 标准化系数不能写成「面积每增加 1 平米,总价增加 167.9708 万元」。

  • 四列非零只说明 L2 没有角点删除,不证明每一列都「显著影响房价」。

  • 没有 p 值:不要把 2.7541 的建筑年份叫做统计显著。

  • R²=0.2995 说明仍有七成总价变异在线性岭之外,不宜写成高精度定价器。

  • 1-SE 的 298.2471 会把系数压得更扁;论文方法节必须写明报告的是 CV-min 还是 1-SE。

  • 总价≈单价×面积时,面积权重量级偏大是代数结构,不是新发现。

常见问题

参考文献

  • Hoerl, A. E., & Kennard, R. W. Ridge regression: Biased estimation for nonorthogonal problems[J]. Technometrics, 1970, 12(1): 55–67.

  • Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning. Springer.

  • 何晓群, 刘文卿. 应用回归分析[M]. 中国人民大学出版社.

  • Tibshirani, R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B, 1996, 58(1): 267–288.