跳到主要内容

判别式优化分类

逻辑回归(梯度下降法)

把对数损失交给一阶梯度下降(可加 L2),得到一套可打分的权重;主产出是分类指标,不是 Wald 与优势比。

更新日期 2026-08-29 机器学习

这篇能回答什么

逻辑回归(梯度下降法)回答的是「在这份表上,线性 logit 当分类器好不好用」。它和统计模块里的二元逻辑回归共用 sigmoid / softmax 外壳,但求解器和交付物不同。那一页用 Newton / IRLS 求极大似然,交出系数、标准误、Wald z、OR、McFadden 伪 R² 与似然比检验,并且拒绝三类及以上的 Y。本页用一阶梯度(可小批量)最小化带正则的经验对数损失,交付占用表与 ROC;系数是正则经验风险的驻点,不是拿去写「每升高一单位发生比」的推断对象。标签可以是二元,也可以用 softmax 覆盖三档——教学占用里的 A / B / C 就是完整个案里一个三水平分组的人数。

本例合计 N=292。年级三档 62、63、167(21.23%、21.58%、57.19%)。A 与 B 几乎一样多(62 对 63),C 仍过半。特征侧放学生性别、学校办学性质,需要时再加量表分;标签可取办学性质(二元,对应 ROC)或把年级本身做成 softmax。主图 AUC≈0.77,低于旁边两棵提升树的教学曲线,这正是线性 logit 该有的位置:交互要靠你手做乘积项,树会自己切。

什么时候不该用

论文结果节要 OR、95% 区间、似然比 p 值,请回到二元逻辑回归,不要把本页权重指数化后冒充 SPSS Logistic。Y 是无序多类且你要的是统计推断,用多项逻辑回归。特征条件独立、参数越少越好,用朴素贝叶斯分类。非线性交互很多、你不在乎可加 logit,用树。

如何选择方法

先问编辑要的是推断表还是验证集 AUC。推断表:极大似然、信息矩阵、OR——二元逻辑回归页。验证集、正则、学习率、可能的 softmax:本页。生成式连乘:朴素贝叶斯。要间隔不要概率标定:SVM。同一份问卷上,本页的 292 行占用和二元逻辑回归页的 500 行、0.0709 伪 R² 不是同一套删除规则与同一研究问题,禁止对抄系数。

  • 逻辑回归(梯度下降法):一阶优化 + 可选 L2;输出占用与 ROC。

  • 二元逻辑回归:两类、MLE、Wald / OR / 似然比。

  • 多项逻辑回归:三类及以上的统计多项 logit。

  • 朴素贝叶斯分类:生成式,要求条件独立。

输入、输出与限制

输入

分析变量 1–20 列。二元标签用 sigmoid;三档标签用 softmax。学习率、迭代次数、L2 强度是优化超参,不是「进入方程的 p 阈值」。成表删除后本方法只剩 292 行,比提升树、贝叶斯那几页更瘦——缺任何一列分析变量都会丢掉该行。

  • 分析变量:最少 1 个,最多 20 个。

  • 标签:二元或分组定类;本教学 ROC 按二元办学性质阅读。

  • 优化:学习率 η、轮数、L2;可标准化定量列以免梯度被成绩量纲带走。

输出

结果表项目列写「逻辑回归(梯度下降法)」。占用 62 / 63 / 167,N=292。没有标准误列,没有 OR 列,没有 McFadden。ROC 的 AUC≈0.77。损失曲线若画出,只说明优化有没有降下去,不能代替似然比检验。

产品限制

  • 目录搜索「逻辑回归」会同时出现本卡片与二元逻辑回归,点错页就对错表。

  • N=292 与二元逻辑回归教学例的 500 行不可互换。

  • 学习率过大时损失发散,这是步长问题,不是「分离导致 MLE 不存在」的同一句话。

  • 权重即使看起来像系数,也不能配本页不存在的 Wald 区间。

案例

研究问题。 同一份学生问卷上,研究者想要一条可打分的线性分类器:用年级构成与性别去区分办学性质,并接受「这是正则对数损失的最小值,不是一篇推断论文」。先核完整个案里年级三档会不会某一档塌掉——塌掉的档,softmax 或哑元会抖。

教学表示例工作表为「有效样本数据」。梯度下降逻辑回归的完整个案 292。年级 62(21.23%)、63(21.58%)、167(57.19%),A、B 几乎打平,C 仍是多数。下载后勾选学校办学性质、就读年级、学生性别;办学性质作标签。不要期望表脚出现伪 R²。

下载教学示例表(学生问卷)

在 StatsX 中操作

  1. 步骤 1 · 提交问卷

    将学生问卷放入工作台。确认工作表仍标注「有效样本数据」。本方法删除更严,292 这个数对不上时先查缺失模式。

  2. 步骤 2 · 分清两张逻辑回归卡片

    画像确认办学性质为二元、年级为三档。然后提醒自己:要 OR 就离开本页。定量量表若进入,看一眼量纲,必要时标准化。

  3. 步骤 3 · 搜索带「梯度下降法」的那张

    在目录输入「逻辑回归(梯度下降法)」或「梯度下降」。卡片文案会写分析变量可配若干列。旁边那张「二元逻辑回归」是 MLE 推断,不要点。

  4. 步骤 4 · 勾选三列并设定步长

    分析变量勾选学校办学性质、就读年级、学生性别。学习率从较小值试起。L2 不是「把不显著的变量踢出去」,只是把权重大的方向往 0 拉。

  5. 步骤 5 · 用占用与 AUC 收尾

    先对 A、B 是否仍约 62、63。再看 ROC 是否高于 0.5。不要把权重抄进「回归系数(Coef)」那一列的论文模板。

上传学生问卷以运行梯度下降逻辑回归
将教学示例表拖入工作台上传区。
画像中办学性质与年级,供梯度下降逻辑回归使用
确认办学性质二元、年级三档;要推断时改点另一张卡片。
在目录中选择逻辑回归(梯度下降法)
点带「梯度下降法」的卡片,不要点二元逻辑回归。
为梯度下降逻辑回归勾选办学性质、年级与性别
分析变量勾选学校办学性质、就读年级、学生性别后运行。

如何阅读输出

占用表第一格是「逻辑回归(梯度下降法)」。A 62(21.23%)、B 63(21.58%)、C 167(57.19%),合计 292。A、B 人数咬得很紧,说明若把年级做成 softmax 的三类,这两档的权重差应被谨慎解释——随机波动就能交换它们的份额。C 占 57.19%,线性分类器同样会被多数类拉偏,所以主图用 AUC 0.77 而不是正确率。

逻辑回归(梯度下降法)结果表
项目类别统计量取值
逻辑回归(梯度下降法)类别 A频数62
逻辑回归(梯度下降法)类别 B频数63
逻辑回归(梯度下降法)类别 C频数167
逻辑回归(梯度下降法)合计有效样本 N292
逻辑回归(梯度下降法)类别 A占比(%)21.23
逻辑回归(梯度下降法)类别 B占比(%)21.58
逻辑回归(梯度下降法)类别 C占比(%)57.19

左右滑动可查看完整表格

教学示例表在 StatsX 工作台中的计算结果口径。

工作台中梯度下降逻辑回归的占用表
人数应与上表一致。不要到表里找 OR——本页没有那一列。
梯度下降逻辑回归 ROC,AUC 约 0.77
本教学图 AUC≈0.77。低于提升树教学曲线并不自动表示优化失败。

0.77 表示线性 logit 在这三列上有中等区分。提升树可以切「C 档且某性别」这类矩形,本页除非你手工造交互列,否则只沿超平面分开。不要因为 AUC 较低就改学习率去「追」0.81:那是在改优化轨迹,不是在改模型族。

若把权重取指数,得到的是 e^{ŵ},ŵ 含 L2、含可能的标准化、含早停位置,与二元逻辑回归页的 OR=0.7116 没有对照义务。事件类别编码也对不上:那一页按出现顺序编 0/1,本页还可能对特征做中心化。

理论与公式

二元情形 π=σ(βᵀx),σ 为 logistic。正则经验风险与梯度为

三档时 π_k=softmax(Wᵀx)_k,损失改成 −∑ 1(y=k) log π_k。对照极大似然页:那里用 Hessian(IRLS)一步走得更「牛顿」,并在 Ĵ 的信息矩阵上构造 Wald;本页通常只用 ∇J,有正则时连「无偏 MLE」都不成立。学习率 η 过大,J 会上升或震荡;那不是完全分离时似然趋向无穷的同一现象——分离要靠更强的 λ 或改用惩罚更明确的求解器。

本例 n=292。A、B 各约六十二三人,C 167 人。softmax 下 C 的截距会偏大,这是先验份额,不是「C 档学生本质上更好分类」。AUC 对阈值积分,与 J 降到多少没有单调换算。

注意事项

  • 本页不是 SPSS Logistic,也不是二元逻辑回归页的「另一种显示」。

  • 不要把 ŵ 写成 Coef,再配一篇 Wald 表。

  • 完整个案 292 与 500、368、319、338 都不是同一个删除集合。

  • 学习率、轮数、是否标准化会改变 ŵ,AUC 也应随划分一起报告。

  • A、B 人数接近,不能把两档权重差写成稳定的年级效应。

  • 线性 logit 切不出树那种矩形交互,低 AUC 首先怀疑模型族,其次才怀疑步长。

常见问题

参考文献

  • Bottou, L. Large-scale machine learning with stochastic gradient descent[C]//COMPSTAT. 2010.

  • Bishop, C. M. Pattern Recognition and Machine Learning. Springer.

  • Boyd, S., Vandenberghe, L. Convex Optimization. Cambridge University Press.