线性回归（梯度下降法）

先问编辑要的是推断表还是可复现的迭代器。推断表：正规方程、信息矩阵、VIF——OLS 页。迭代器：标准化、学习率、轮数、训练/测试划分、可能的 L2——本页。特征很多、XᵀX 接近奇异时，GD（或坐标下降）比直接求逆更肯往前走；p 很小、你要标准误时，闭式解更干净。提升树能切门槛，但写不出「面积的权重」。

• 线性回归（梯度下降法）：一阶迭代 + 可选标准化；输出权重、损失、残差符号带。

• 线性回归（OLS）：闭式解、t/p/VIF；没有学习率这条旋钮。

• Lasso / 岭：同一线性外壳，惩罚把路径拧弯。

• XGBoost回归：非线性加性树；残差带含义不同，没有 θ 向量。

输入

定量 Y 与定量（或已编码的）特征。工作台默认先标准化特征再下降，否则面积以百计、楼层以个计，梯度会被面积抢走。学习率与最大轮数可调。

• 因变量：1 个定量列；本练习总价(万元)。

• 特征：1–40 个；本练习面积(平米)、楼层、总楼层、建筑年份。

• 优化旋钮：学习率 η、最大迭代、是否标准化；可选 L2。

输出

结果表项目列写「线性回归（梯度下降法）」。残差符号带 A 80、B 45、C 115，N=240。没有标准误列，没有 t，没有 VIF。损失曲线只说明 J 有没有降下去，不能代替整体 F 检验。权重若在标准化空间里，不能直接写成「每平米多少万元」。

产品限制

• 有效行少于 40 拒绝。

• 默认学习率偏小、轮数以百到千计；η 过大时 J 会上升或震荡，应减小步长，而不是改 Y。

• 近零窗只有 45 条时，加轮通常改变不了三带形状——直线已经走到头。

• 本页与 OLS 页的完整个案删除规则可以不同，禁止对抄系数。

研究问题。 研究者想在评价表上走一遍机器学习口径的线性拟合：标准化、设 η、看损失是否落地，并接受「这是经验风险的驻点，不是一篇带区间的推断」。先看近零窗还剩多少套——若只剩约两成，说明可加直线把大半房源系统地低估或高估，下一步应考虑树，而不是把 η 再砍一个零。

完整个案 240。符号带 80 / 45 / 115，低估带与高估带都不薄，近零窗最瘦。下载综合评价表后：Y=总价(万元)，特征=面积、楼层、总楼层、建筑年份。不要期望表脚出现 VIF。若要和 OLS 页对权重，必须同一 240 行、同一编码、关闭惩罚，并且把标准化还原到原量纲。

下载教学示例表（综合评价）

1. 步骤 1 · 载入评价表并丢掉单价

   综合评价 xlsx 进工作台。总价留下当 Y，单价不进特征，避免泄漏。

2. 步骤 2 · 看四列量纲差了几个数量级

   画像里面积是两三位，楼层是个位，年份是四位。不标准化就下降，梯度会几乎只反映面积。

3. 步骤 3 · 点带「梯度下降法」的线性卡片

   目录搜「线性回归（梯度下降法）」。旁边那张「线性回归」是 OLS 推断，表里会有 t 与 VIF，不要点错。

4. 步骤 4 · 打开标准化，先用小学习率

   因变量：总价(万元)。特征同上。标准化保持开启，η 先用默认小步长。损失若往上飞，只减 η，不要先改成树。

5. 步骤 5 · 损失平了再读三带

   J 走平之后看近零窗是否仍接近 45。若损失已平而 45 仍瘦，这是线性假设的问题，加 2000 轮不会把窗加厚。

把类别 A / B / C 读成残差符号带，不要读成装修或价位档。N=240。低估带 A 80（33.33%），近零窗 B 45（18.75%），高估带 C 115（47.92%）。B 只有 18.75%，是本页最重要的数：超平面能「贴住」的房源不到两成。A 与 C 同时厚，说明误差不是单向平移（那种情况加截距就能修），而是线性可加写不满门槛与交互。

阅读顺序：损失是否单调降到平台 → 权重是否还在晃 → 近零窗 45 条是谁 → 测试 RMSE。不要在本页找 P 值。标准化空间里面积权重大，只说明该列在 z 分数尺度上贡献多，还原到「每平米万元」必须乘回标准差比。

优化失败与模型失败要分开。J 上升或震荡：减小 η，或检查是否忘记标准化。J 已经平、三带仍是 80/45/115：迭代成功，直线不够。此时加轮无益，应改树或加交互项，而不是把学习率再除以十。

经验风险取均方。闭式 OLS 在 X 满列秩时一次给出驻点：

梯度下降不用求逆，沿 ∇J 走。全批量时每一步是：

η 合适且 J 为严格凸时，迭代收敛到与闭式解相同的 θ（λ=0、同一设计矩阵）。教学三带在收敛后按残差符号与近零阈值切开，得到 80/45/115。近零窗瘦，说明驻点处的残差仍大，不是「还没走到 OLS」。小批量只改梯度的噪声，不改凸问题的终点。特征未标准化时，∇J 的分量被列尺度支配，看起来像「只有面积在更新」。逻辑回归页的梯度对着对数损失，不能套用本式。

• 近零窗 45/240 瘦，优先怀疑线性假设，而不是轮数不够。

• 标准化后的权重不能直接当 OLS 的 B 抄进论文。

• 没有 VIF 与 t，共线诊断要回 OLS 页。

• η 过大导致 J 上跳，与「完全分离、MLE 不存在」不是同一件事。

• 本页三带按残差符号切，不是提升树那张按 |残差| 切的口袋。

• 完整个案 240 与 OLS 页的删除集合可以不同，对系数前先对齐行。

要 t、VIF 与区间回 OLS；要 L1 把系数打到 0 用 Lasso；标签的一阶优化走梯度下降逻辑回归；要切门槛用 XGBoost 回归。

• Boyd, S., & Vandenberghe, L. Convex Optimization. Cambridge University Press.

• Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning. Springer.

• 李航. 统计学习方法[M]. 北京: 清华大学出版社, 2019.