跳到主要内容

树模型回归

决策树回归

按平方误差把特征空间切成区间,每个终端叶输出该叶内定量结局的均值,而不是类别投票。

更新日期 2026-08-29 机器学习

这篇能回答什么

决策树回归要回答的是:落到同一片叶子的房源,总价均值是多少、这片叶子有多厚。CART 用均方误差(MSE)挑选切分,把面积、楼层、楼龄切成矩形区域;终端叶的预测值等于该叶内 Y 的算术平均。表头即便印着「类别 A / B / C」,在本页也必须读成三片终端叶的占用,不能读成房屋类型或城市标签。

适合:总价、能耗、剂量这类连续结局,并且你怀疑面积与楼层有门槛、交互,一条直线写不满。教学示例在成表删除后留下 290 条房源:最瘦的叶 A 只有 50 条(17.24%),最肥的叶 C 有 173 条(59.66%)。叶越瘦,叶均值的抽样方差越大。

什么时候不该用

Y 若是成交/未成交、户型标签,应改用决策树分类:那里叶上报告的是多数类,分裂标准是基尼或不纯度,不是 MSE。只要斜率、标准误和 VIF,用线性回归。单棵树路径好看但换一批房源切分会跳,要稳预测应改随机森林回归或GBDT 回归。房源 ID、小区名称不能当特征。

如何选择方法

先问结局是连续均值还是类别,再问你要一条能念出来的规则,还是一串更稳的集成预测。连续 Y、要规则 → 决策树回归。连续 Y、要压方差 → 森林或提升。连续 Y、要 B 与区间估计 → OLS。定类 Y → 分类树,不要把总价离散成「高/低」再硬套分类,除非研究问题本身就是分档。

  • 决策树回归:1 个定量 Y;叶预测 = 叶内均值;本页用三片叶的人数检查分区是否塌成一团。

  • 线性回归(OLS):可加线性、要推断;写不出面积×楼层的矩形门槛。

  • 随机森林 / GBDT 回归:多棵树;前者平均叶均值,后者沿残差加树。

  • 决策树分类:定类标签、混淆矩阵与准确率,和本页损失函数不是同一套。

输入、输出与限制

输入

因变量必须是定量。特征可为定量或低基数定类(定类会按分裂点当成有序或哑元处理)。缺失在分析列上成表删除,完整个案数以合计 N 为准。

  • 因变量:正好 1 个定量列(本例总价(万元))。

  • 特征:最少 1 个,最多 40 个;本例用面积(平米)、楼层、总楼层、建筑年份。

输出

结果表把修剪(或教学上合并)后的终端叶写成类别 A / B / C,给出每叶人数与占比。叶 A 50、叶 B 67、叶 C 173,合计 290。同时给出拟合/残差图。RMSE、MAE、R² 若出现在洞察或图注,完整误差以工作台数字为准;占用表本身不打印系数。

产品限制

  • 有效行少于 20 时拒绝拟合。

  • 默认最大深度 8、叶最小样本 5;把叶最小样本降到 1,训练 MSE 可以接近 0,那是过拟合而不是「拟合更好」。

  • 看起来像编号的列(房源 ID)会被拒绝。

  • 深度很大时路径图会截断,叶占用与误差仍以表为准。

案例

研究问题。 综合评价房源表要一条能念给业务听的规则:面积跨过某阈值、楼层落在某区间时,总价均值落到哪一片叶子。研究者不需要斜率,但必须能指出最瘦的那片叶有多少套房,避免把 50 条上的均值写成全市规律。

教学表示例工作表为「Sheet1」。成表删除后 290 条。三片终端叶占用:A 50(17.24%)、B 67(23.1%)、C 173(59.66%)。C 吞掉了将近六成样本,说明默认深度下分区并不均匀——读叶均值时要连同人数一起写。下载后:因变量勾选总价(万元),特征勾选面积(平米)、楼层、总楼层、建筑年份;不要勾选房源 ID、小区名称、挂牌日期。

下载教学示例表(综合评价)

在 StatsX 中操作

  1. 步骤 1 · 导入房源表

    把综合评价教学表拖进工作台,确认活动工作表名称是 Sheet1。单价与总价不要同时当 Y。

  2. 步骤 2 · 核定量纲

    列画像里总价应是定量(万元),面积是平米。城市、区域是定类,本练习不放进树,以免高基数切分把叶子切碎。

  3. 步骤 3 · 点选决策树回归

    目录里同时有决策树分类。Y 是总价时必须点回归;点错分类会把连续价格当成标签,叶上变成「多数类」而不是均值。

  4. 步骤 4 · 指定角色

    因变量:总价(万元)。特征:面积(平米)、楼层、总楼层、建筑年份。保持默认深度与叶最小样本,先看占用再决定是否加深。

  5. 步骤 5 · 先读叶厚再读均值

    合计应对上 290。若叶 A 仍只有 50 条,不要根据那一片的均值对外推广;对比残差图时以表里的人数为分母。

工作台导入综合评价房源表
导入综合评价教学表后确认工作表为 Sheet1。
列画像核对总价与面积
确认总价为定量因变量,面积与楼层为定量特征。
目录中选定决策树回归
选定「决策树回归」,不要误点决策树分类。
为决策树回归指定总价与住房特征
因变量为总价,特征为面积、楼层、总楼层与建筑年份。

如何阅读输出

下表是教学口径下三片终端叶的占用,不是房屋类型频数。合计 N=290。叶 A 50 条(17.24%),叶 B 67 条(23.1%),叶 C 173 条(59.66%)。C 的占比 59.66% 表示大多数房源共享同一个叶均值;A 只有 50 条,叶均值对一两个天价或超小户型会敏感。

决策树回归结果表
项目类别统计量取值
决策树回归类别 A频数50
决策树回归类别 B频数67
决策树回归类别 C频数173
决策树回归合计有效样本 N290
决策树回归类别 A占比(%)17.24
决策树回归类别 B占比(%)23.1
决策树回归类别 C占比(%)59.66

左右滑动可查看完整表格

教学示例表在 StatsX 工作台中的计算结果口径。

决策树回归叶占用结果表
工作台占用表的人数应与上表三片叶子一致。
决策树回归拟合或残差图
拟合图对照预测均值与观测总价;完整叶人数以表为准。

阅读顺序:合计 N → 最瘦叶人数(本例 A=50)→ 各叶预测均值(叶内总价平均)→ 训练/测试 RMSE 或 R² → 残差是否在高价段扇形张开。不要把 A/B/C 写成「三类客户」。统计显著在本页不适用:树没有给叶均值配 t 检验。

把叶最小样本从 5 降到 1,或把深度从 8 加到 20,训练误差几乎总能再降,叶 A 可能被切到个位数——那是过拟合。论文应报告深度、叶最小样本,以及这三片叶的 50/67/173。换一城房源,切分阈值会动,叶均值不能当因果「面积导致总价」。总价与面积有定义性关系,树几乎总会先切面积,这不等于发现了新机制。

理论与公式

节点 t 的不纯度用该节点内定量结局对叶均值的均方误差衡量。候选切分把 t 分成左右子节点后,选取使加权 MSE 下降最多的特征与阈值:

落到终端叶 ℓ 的新样本,预测值就是该叶训练均值,不是多数类、也不是中位数(除非你改用 LAD 树):

本例 n=290,三片叶 n_A=50、n_B=67、n_C=173。叶 A 的均值方差大约按 1/50 放大,比叶 C 脆得多。分类树把 I(t) 换成基尼或交叉熵,叶上输出 argmax 类别概率——那是决策树分类的公式,不能拿来解释本表。拟合优度仍可用 R²=1−SSE/SST 或 RMSE,但它们没有 OLS 那种「整体 F」的常规推断。

注意事项

  • 叶 A 仅 50 条时,不要把该叶均值写成稳健的市场价格。

  • 加深或减小叶最小样本会让训练 MSE 好看,测试误差往往变差。

  • 单棵树对样本扰动敏感:抽掉几十套房,第一次切分可能从面积改成楼龄。

  • 面积与总价近乎定义相关,重要性高不能当因果。

  • 高基数定类(小区名称)会切出大量薄叶,应排除。

  • 本页占用表不提供标准误;要区间估计应回到 OLS 或分位数回归。

常见问题

参考文献

  • Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. Classification and Regression Trees. Wadsworth, 1984.

  • Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning. Springer.

  • 李航. 统计学习方法[M]. 清华大学出版社.