跳到主要内容

统计建模

逐步回归

在候选自变量较多时,按偏 F 或信息准则自动增删变量,留下一条较短的线性方程与进出路径。

更新日期 2026-08-29 回归

这篇能回答什么

逐步回归要回答的不是「物理成绩和哪些科目有相关」,而是「在已经进方程的变量之外,下一个候选还值不值得再占一个自由度」。它按偏 F、p 阈值或 AIC/BIC,在前进、后退或双向规则下增删自变量,交出最终系数和一条逐步路径。适合探索阶段压缩变量。确认性研究应预指定模型:筛选会使留下的 p 值偏小、系数带选择偏倚。

适合:定量结局(物理成绩、房价、剂量),手头有一批候选 X(其他单科、工艺参数、问卷条目),需要一条可报告的短方程,并同时检查 VIF 与残差。定类自变量(年级)必须整组哑元化,k 个水平用 k−1 个哑元一起进、一起出。

什么时候不该用

变量名单已由理论定死、只需要估计系数时,用线性回归,不要让算法代你选 X。要按「人口学 → 学业」分块看 ΔR²,用分层回归。候选很多、共线严重、目标是预测,考虑Lasso回归或岭回归。Y 是及格/不及格时改逻辑回归,不要对 0/1 做逐步线性。

如何选择方法

先分清探索还是确认。探索、候选多、要一条短方程 → 逐步(并在文中承认路径依赖样本)。确认、X 由假说决定 → 普通最小二乘。强制按理论顺序进入、报告各层增量 → 分层回归。要连续收缩而不是硬删除 → 岭或 Lasso。Y 与若干 X 其实是同一总分的组成部分时,逐步会「选中自己的零件」,那种设定应改研究问题,而不是换算法。

  • 逐步回归:按进入/剔除准则自动增删 X,输出路径与最终系数。

  • 线性回归(OLS):预指定自变量,做常规推断。

  • 分层回归:研究者控制进入顺序,看 ΔR²。

  • Lasso / 岭回归:惩罚回归;Lasso 可把系数收到 0,岭只收缩不删除。

输入、输出与限制

输入

一个定量因变量,多个候选自变量(定量;年级这类定类须先哑元化)。可选前进 / 后退 / 双向,以及进入、剔除阈值。Y 或任一候选 X 缺失则该行不进入,有效 N 以合计为准。

  • 因变量 Y:最少 1 个,最多 1 个定量变量。

  • 候选自变量:最少 2 个,最多 30 个定量或哑元列。

输出

逐步路径(每步进入或剔除的变量与 R²)、最终系数、标准误、t 与 p、拟合优度,以及 VIF 与残差图。教学表示例同时给出完整个案里一个三水平因素的人数,用来核对哑元会不会某一格过稀。

产品限制

  • 学号、姓名等编号列会被拒绝。

  • 高度共线的一组科目往往只留下其中一个,不能把被踢出的写成「与 Y 无关」。

  • 定类因素应按整组哑元进出,避免只剩一个水平。

  • 图展示拟合或路径,完整系数与每步 ΔR² 以表为准。

案例

研究问题。 定量成绩表里有物理成绩,以及语文、数学、英语、化学和年级。探索阶段想从这些候选里筛出对物理成绩仍有增量解释力的短方程,并先确认年级三个水平在完整个案里是否大致均衡,以便哑元可以估计。

教学示例来自定量成绩表,工作表为「Sheet1」。完整个案 195。结果表把一个三水平因素记为类别 A / B / C,人数 65(33.33%)、59(30.26%)、71(36.41%),接近三分之一,适合以其中一档为参照做哑元。下载后:因变量选物理成绩,候选自变量勾选语文成绩、数学成绩、英语成绩、化学成绩;若要把年级纳入搜索,先哑元化再整组放入。

下载教学示例表(定量成绩)

在 StatsX 中操作

  1. 步骤 1 · 上传表格

    打开工作台,将 Excel / CSV / JSON 拖入上传区。本案例使用定量成绩 xlsx,确认工作表为「Sheet1」。单文件不超过 20 MB。

  2. 步骤 2 · 查看画像与质量

    确认物理成绩为定量,语文、数学、英语、化学为定量候选;年级若进入搜索须能哑元化。不要勾选学号、姓名、总分。

  3. 步骤 3 · 选择「逐步回归」

    在算法目录搜索「逐步」,点选逐步回归。不要误选分层回归。

  4. 步骤 4 · 指定 Y 与候选 X 并运行

    因变量勾选物理成绩。自变量勾选语文成绩、数学成绩、英语成绩、化学成绩(可选年级哑元)。选双向或前进/后退及进入剔除阈值后运行。

  5. 步骤 5 · 阅读结果

    先看合计 N 与三水平人数,再沿路径看每步谁进谁出、R² 怎么变,最后读留下的系数、VIF 与残差。不要只抄最终 p。

StatsX 工作台上传定量成绩表
将教学示例表拖入工作台上传区。
列画像确认物理成绩与候选科目
核对物理成绩与语文、数学、英语、化学为定量,学号不要进入模型。
在目录中选择逐步回归
在算法目录中选定「逐步回归」。
为逐步回归指定物理成绩与候选科目
因变量选物理成绩,候选自变量勾选其他单科后运行。

如何阅读输出

下表给出进入逐步搜索的完整个案构成。合计 N=195。三水平因素 A / B / C 分别为 65、59、71 人(33.33%、30.26%、36.41%)。参照档一换,哑元系数的符号会变,拟合值不变。读系数前必须写明哪一档是参照。

逐步回归结果表
项目类别统计量取值
逐步回归类别 A频数65
逐步回归类别 B频数59
逐步回归类别 C频数71
逐步回归合计有效样本 N195
逐步回归类别 A占比(%)33.33
逐步回归类别 B占比(%)30.26
逐步回归类别 C占比(%)36.41

左右滑动可查看完整表格

教学示例表在 StatsX 工作台中的计算结果口径。

逐步回归结果表
工作台逐步回归表,完整个案人数应与上表一致。
逐步路径或拟合诊断图
路径图与残差图辅助看进出顺序;完整系数以表为准。

本教学表示例的有效样本是 195,三档人数 65/59/71,没有某一档稀到无法估哑元。表里没有印出逐步路径或最终 R² 时,不要根据「物理成绩看起来跟数学更像」就宣称算法留下了数学。被踢出的化学成绩不是「与物理无关」,只是在当前子集下增量未跨过阈值。

阅读顺序:有效 N → 路径上每步进入/剔除的变量与 ΔR² → 最终 B、标准误、标准化系数 → VIF(常见警戒 5 或 10)→ 残差对拟合值是否扇形。换一批学生或把进入 p 从 0.05 改成 0.10,留下的科目名单可以整份换掉。论文必须报告准则(双向、进入 p、剔除 p)和最终方程,并避免把逐步 p 值写成预先指定 OLS 的 p 值。不要用平均分或总分当 Y、又把组成它的单科当 X,那是代数循环,不是筛选。

理论与公式

线性模型为 Y=β₀+xᵀβ+ε。在当前模型 M 上考虑加入候选 z 时,用偏 F 比较完整模型与简化模型:

前进法在 F_enter(或对应 p、AIC 改进)越过阈值时加入 z;后退法从全模型删掉偏 F 最小的变量;双向则允许已进入的变量再被踢出。AIC 路径最小化

q 含截距。共线性用 VIF_j=1/(1−R_j²) 诊断,R_j² 是该 X 对其余已在模型中的 X 回归的决定系数。逐步在同一份数据上既筛选又推断,名义 p 值不是真实 I 类错误率。更稳妥的做法是预留验证样本,或改用惩罚回归。本例 n=195,三档 65/59/71,哑元不会因为某一格只剩个位数而崩溃。

注意事项

  • 最终变量集依赖样本、阈值和共线结构,换一届学生可能换一套科目。

  • 留下的系数与 p 值有选择偏倚,不能直接当成预先指定 OLS 的推断。

  • 被踢出的化学或英语仍可能有实质意义,只是与已在方程里的数学重叠。

  • 年级必须以整组哑元进出;只留下「高三 vs 高一」而丢掉高二,解释是残缺的。

  • 完整个案 195 应与缺失模式一起报告,不要沿用全表行数。

  • 算法选中某科,不能证明该科导致物理成绩。

常见问题

参考文献

  • Harrell, F. E. Regression Modeling Strategies. Springer.

  • Draper, N. R., Smith, H. Applied Regression Analysis. Wiley.

  • 何晓群, 刘文卿. 应用回归分析[M]. 中国人民大学出版社.

  • Wooldridge, J. Introductory Econometrics. Cengage.