预测模型
岭回归
在已经标准化的定量特征上加 L2 惩罚,把彼此重叠的斜率往零挤,但不会像 L1 那样把某一列整段关掉。
这篇能回答什么
岭回归回答的是:「这些定量 X 互相牵扯时,怎样得到一套方向稳定的线性预测权重」。普通最小二乘在 X′X 接近奇异时会把斜率放大、符号翻来翻去。L2 在平方损失上对 ‖β‖₂² 抽税,等价于把 X′X 的对角线垫高 α,求
税越重,系数越往 0 靠,但 L2 的几何是圆盘约束:路径光滑,坐标一般不会停在精确的 0。本教学表四个住房特征全部留下非零权重:面积(平米) 167.9708、楼层 10.8619、总楼层 5.0528、建筑年份 2.7541。同一套列若改跑 Lasso回归,后三列会变成确切的 0——那是 L1 菱形约束的角点,不是岭。
如何选择方法
分水岭是「能不能接受某一列从方程里消失」。每个特征都有业务故事、共线只是让数字发抖 → 岭。探索阶段宁可少几列、接受交叉验证选变量 → Lasso。名单不可谈判 → OLS。候选很多又想看离散搜索路径 → 逐步。岭与 Lasso 的 α 都由交叉验证挑;逐步没有这条连续路径,名义 p 值会偏乐观。
岭回归:L2,CV 选 α,系数收缩但本例四列皆非零;输出标准化系数、R²、MSE、1-SE α 与岭迹。
Lasso:L1,同一张住房表上只留面积,楼层三列打成 0。
OLS:无惩罚,给 B、Beta、VIF 与 F,共线时标准误膨胀。
逐步回归:偏 F / AIC 离散搜索,不是连续收缩。
输入、输出与限制
输入
因变量恰好 1 个定量列。自变量全部定量,至少 2 个、至多 50 个(比 Lasso 的 100 列上限更紧)。按这些列成表删除缺失。拟合前对 X 做标准化,Y 保持原始万元单位。
自变量:最少 2 个,最多 50 个(定量)。
因变量:最少 1 个,最多 1 个(定量)。
输出
系数表列出每个自变量的标准化回归系数。表注给出 R²、MSE、交叉验证最优 Alpha、1-SE 准则 Alpha 与原始量纲常数项。图为岭迹(系数随 α 变化)或交叉验证误差曲线。本页没有标准误、t 或 p。
产品限制
有效行数至少 5(交叉验证折数取 min(5, n),随机种子固定)。
α 网格为 logspace(−2, 4) 共 60 档;主表按 CV 最小均方误差那一档重拟合全样本。
1-SE 准则在「CV 误差不超过最小值加一个标准误」的前提下取更大的 α,本页为 298.2471,远大于 CV 最优 11.2421。
系数没有推断列:非零不等于显著。
高基数编号、定类原文不要直接进 X。
案例
研究问题。 综合评价住房表里,面积、所在楼层、总楼层与建筑年份都和总价有关,而且彼此重叠。研究者希望四条特征都留在预测式里,只把被共线放大的斜率按住,而不是让算法把楼层整列关掉。
教学示例工作表为「Sheet1」。自变量勾选面积(平米)、楼层、总楼层、建筑年份,因变量勾选总价(万元)。交叉验证选出 Alpha = 11.2421,R² = 0.2995,MSE = 68765.2450。四列标准化系数分别是 167.9708、10.8619、5.0528、2.7541,没有一列落到 0。有效行数以成表删除后的工作台输出为准。下载后按同样角色可复现系数表。
在 StatsX 中操作
步骤 1 · 放入住房表
打开工作台,把综合评价 xlsx / CSV / JSON 拖进上传区。确认工作表名为「Sheet1」。单文件不超过 20 MB。
步骤 2 · 核定量、挡标识
画像里总价、面积、楼层、总楼层、建筑年份都应是定量。小区名、房源编号留在角色外面。
步骤 3 · 点「岭回归」而不是 Lasso
目录搜索「岭」或 Ridge。卡片写 L2 / 共线稳定。旁边的 Lasso 会把弱列收到 0,点错页就对错表。
步骤 4 · 四列特征对总价
自变量勾选面积(平米)、楼层、总楼层、建筑年份(2–50 个);因变量勾选总价(万元)。运行分析。
步骤 5 · 先看有没有 0,再看两个 Alpha
四行都应是非零标准化系数。记下 CV α 与更保守的 1-SE α,最后看 R²。不要把 167.97 读成「每平米涨 168 万」。




如何阅读输出
下表由同一份住房教学表示例在 StatsX 中运行岭回归得到。面积(平米) = 167.9708,楼层 = 10.8619,总楼层 = 5.0528,建筑年份 = 2.7541。表注:R² = 0.2995,MSE = 68765.2450,CV 最优 Alpha = 11.2421,1-SE Alpha = 298.2471,常数项 = 457.3520(总价的原始万元尺度)。四行都不是 0:L2 只收缩,不删除。
| 自变量 | 标准化回归系数(Coef) |
|---|---|
| 面积(平米) | 167.9708 |
| 楼层 | 10.8619 |
| 总楼层 | 5.0528 |
| 建筑年份 | 2.7541 |
模型评估: R² = 0.2995 | MSE = 68765.2450 | 最佳惩罚系数 Alpha = 11.2421 | 1-SE 准则 Alpha = 298.2471 | 常数项 = 457.3520


阅读顺序:有效行数 → 四行是否都非零 → 面积是否仍是数量级最大的权重(167.9708)→ CV α=11.2421 与 1-SE α=298.2471 不要混用 → R²=0.2995 只解释约三成总价变异。常数项 457.3520 是标准化特征取 0 时的预测,约在 Y 的均值位置。面积与总价近乎定义性相关,所以它的权重量级最大;楼层 10.8619、总楼层 5.0528 仍留下,说明惩罚没有把「楼层故事」从式子里抹掉——这和 Lasso 在 α=12.0645 时只留面积、R²=0.2964 形成对照。R² 只高约 0.003,换来的是完整特征名单,不是更高的预测精度。
理论与公式
先把各列 X 标准化为均值 0、方差 1,再解惩罚最小二乘。与 Lasso 的 ‖β‖₁ 不同,岭用欧氏范数的平方:
α=0 退回 OLS。α→∞ 时斜率整体压向 0,截距不进惩罚,故常数项留在原始 Y 尺度。StatsX 在 60 档对数网格上做最多 5 折交叉验证,取验证均方误差最小的 α;本页 11.2421。1-SE 规则在误差预算内选更大的 α(本页 298.2471),主表系数仍按 CV-min 报告。R² 在标准化 X、原始 Y 的拟合上计算,本页 0.2995。
注意事项
标准化系数不能写成「面积每增加 1 平米,总价增加 167.9708 万元」。
四列非零只说明 L2 没有角点删除,不证明每一列都「显著影响房价」。
没有 p 值:不要把 2.7541 的建筑年份叫做统计显著。
R²=0.2995 说明仍有七成总价变异在线性岭之外,不宜写成高精度定价器。
1-SE 的 298.2471 会把系数压得更扁;论文方法节必须写明报告的是 CV-min 还是 1-SE。
总价≈单价×面积时,面积权重量级偏大是代数结构,不是新发现。
常见问题
参考文献
Hoerl, A. E., & Kennard, R. W. Ridge regression: Biased estimation for nonorthogonal problems[J]. Technometrics, 1970, 12(1): 55–67.
Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning. Springer.
何晓群, 刘文卿. 应用回归分析[M]. 中国人民大学出版社.
Tibshirani, R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B, 1996, 58(1): 267–288.