统计建模
逐步回归
在候选自变量较多时,按偏 F 或信息准则自动增删变量,留下一条较短的线性方程与进出路径。
这篇能回答什么
逐步回归要回答的不是「物理成绩和哪些科目有相关」,而是「在已经进方程的变量之外,下一个候选还值不值得再占一个自由度」。它按偏 F、p 阈值或 AIC/BIC,在前进、后退或双向规则下增删自变量,交出最终系数和一条逐步路径。适合探索阶段压缩变量。确认性研究应预指定模型:筛选会使留下的 p 值偏小、系数带选择偏倚。
适合:定量结局(物理成绩、房价、剂量),手头有一批候选 X(其他单科、工艺参数、问卷条目),需要一条可报告的短方程,并同时检查 VIF 与残差。定类自变量(年级)必须整组哑元化,k 个水平用 k−1 个哑元一起进、一起出。
如何选择方法
先分清探索还是确认。探索、候选多、要一条短方程 → 逐步(并在文中承认路径依赖样本)。确认、X 由假说决定 → 普通最小二乘。强制按理论顺序进入、报告各层增量 → 分层回归。要连续收缩而不是硬删除 → 岭或 Lasso。Y 与若干 X 其实是同一总分的组成部分时,逐步会「选中自己的零件」,那种设定应改研究问题,而不是换算法。
逐步回归:按进入/剔除准则自动增删 X,输出路径与最终系数。
线性回归(OLS):预指定自变量,做常规推断。
分层回归:研究者控制进入顺序,看 ΔR²。
Lasso / 岭回归:惩罚回归;Lasso 可把系数收到 0,岭只收缩不删除。
输入、输出与限制
输入
一个定量因变量,多个候选自变量(定量;年级这类定类须先哑元化)。可选前进 / 后退 / 双向,以及进入、剔除阈值。Y 或任一候选 X 缺失则该行不进入,有效 N 以合计为准。
因变量 Y:最少 1 个,最多 1 个定量变量。
候选自变量:最少 2 个,最多 30 个定量或哑元列。
输出
逐步路径(每步进入或剔除的变量与 R²)、最终系数、标准误、t 与 p、拟合优度,以及 VIF 与残差图。教学表示例同时给出完整个案里一个三水平因素的人数,用来核对哑元会不会某一格过稀。
产品限制
学号、姓名等编号列会被拒绝。
高度共线的一组科目往往只留下其中一个,不能把被踢出的写成「与 Y 无关」。
定类因素应按整组哑元进出,避免只剩一个水平。
图展示拟合或路径,完整系数与每步 ΔR² 以表为准。
案例
研究问题。 定量成绩表里有物理成绩,以及语文、数学、英语、化学和年级。探索阶段想从这些候选里筛出对物理成绩仍有增量解释力的短方程,并先确认年级三个水平在完整个案里是否大致均衡,以便哑元可以估计。
教学示例来自定量成绩表,工作表为「Sheet1」。完整个案 195。结果表把一个三水平因素记为类别 A / B / C,人数 65(33.33%)、59(30.26%)、71(36.41%),接近三分之一,适合以其中一档为参照做哑元。下载后:因变量选物理成绩,候选自变量勾选语文成绩、数学成绩、英语成绩、化学成绩;若要把年级纳入搜索,先哑元化再整组放入。
在 StatsX 中操作
步骤 1 · 上传表格
打开工作台,将 Excel / CSV / JSON 拖入上传区。本案例使用定量成绩 xlsx,确认工作表为「Sheet1」。单文件不超过 20 MB。
步骤 2 · 查看画像与质量
确认物理成绩为定量,语文、数学、英语、化学为定量候选;年级若进入搜索须能哑元化。不要勾选学号、姓名、总分。
步骤 3 · 选择「逐步回归」
在算法目录搜索「逐步」,点选逐步回归。不要误选分层回归。
步骤 4 · 指定 Y 与候选 X 并运行
因变量勾选物理成绩。自变量勾选语文成绩、数学成绩、英语成绩、化学成绩(可选年级哑元)。选双向或前进/后退及进入剔除阈值后运行。
步骤 5 · 阅读结果
先看合计 N 与三水平人数,再沿路径看每步谁进谁出、R² 怎么变,最后读留下的系数、VIF 与残差。不要只抄最终 p。




如何阅读输出
下表给出进入逐步搜索的完整个案构成。合计 N=195。三水平因素 A / B / C 分别为 65、59、71 人(33.33%、30.26%、36.41%)。参照档一换,哑元系数的符号会变,拟合值不变。读系数前必须写明哪一档是参照。
| 项目 | 类别 | 统计量 | 取值 |
|---|---|---|---|
| 逐步回归 | 类别 A | 频数 | 65 |
| 逐步回归 | 类别 B | 频数 | 59 |
| 逐步回归 | 类别 C | 频数 | 71 |
| 逐步回归 | 合计 | 有效样本 N | 195 |
| 逐步回归 | 类别 A | 占比(%) | 33.33 |
| 逐步回归 | 类别 B | 占比(%) | 30.26 |
| 逐步回归 | 类别 C | 占比(%) | 36.41 |
左右滑动可查看完整表格
教学示例表在 StatsX 工作台中的计算结果口径。


本教学表示例的有效样本是 195,三档人数 65/59/71,没有某一档稀到无法估哑元。表里没有印出逐步路径或最终 R² 时,不要根据「物理成绩看起来跟数学更像」就宣称算法留下了数学。被踢出的化学成绩不是「与物理无关」,只是在当前子集下增量未跨过阈值。
阅读顺序:有效 N → 路径上每步进入/剔除的变量与 ΔR² → 最终 B、标准误、标准化系数 → VIF(常见警戒 5 或 10)→ 残差对拟合值是否扇形。换一批学生或把进入 p 从 0.05 改成 0.10,留下的科目名单可以整份换掉。论文必须报告准则(双向、进入 p、剔除 p)和最终方程,并避免把逐步 p 值写成预先指定 OLS 的 p 值。不要用平均分或总分当 Y、又把组成它的单科当 X,那是代数循环,不是筛选。
理论与公式
线性模型为 Y=β₀+xᵀβ+ε。在当前模型 M 上考虑加入候选 z 时,用偏 F 比较完整模型与简化模型:
前进法在 F_enter(或对应 p、AIC 改进)越过阈值时加入 z;后退法从全模型删掉偏 F 最小的变量;双向则允许已进入的变量再被踢出。AIC 路径最小化
q 含截距。共线性用 VIF_j=1/(1−R_j²) 诊断,R_j² 是该 X 对其余已在模型中的 X 回归的决定系数。逐步在同一份数据上既筛选又推断,名义 p 值不是真实 I 类错误率。更稳妥的做法是预留验证样本,或改用惩罚回归。本例 n=195,三档 65/59/71,哑元不会因为某一格只剩个位数而崩溃。
注意事项
最终变量集依赖样本、阈值和共线结构,换一届学生可能换一套科目。
留下的系数与 p 值有选择偏倚,不能直接当成预先指定 OLS 的推断。
被踢出的化学或英语仍可能有实质意义,只是与已在方程里的数学重叠。
年级必须以整组哑元进出;只留下「高三 vs 高一」而丢掉高二,解释是残缺的。
完整个案 195 应与缺失模式一起报告,不要沿用全表行数。
算法选中某科,不能证明该科导致物理成绩。
常见问题
参考文献
Harrell, F. E. Regression Modeling Strategies. Springer.
Draper, N. R., Smith, H. Applied Regression Analysis. Wiley.
何晓群, 刘文卿. 应用回归分析[M]. 中国人民大学出版社.
Wooldridge, J. Introductory Econometrics. Cengage.