树模型回归
决策树回归
按平方误差把特征空间切成区间,每个终端叶输出该叶内定量结局的均值,而不是类别投票。
这篇能回答什么
决策树回归要回答的是:落到同一片叶子的房源,总价均值是多少、这片叶子有多厚。CART 用均方误差(MSE)挑选切分,把面积、楼层、楼龄切成矩形区域;终端叶的预测值等于该叶内 Y 的算术平均。表头即便印着「类别 A / B / C」,在本页也必须读成三片终端叶的占用,不能读成房屋类型或城市标签。
适合:总价、能耗、剂量这类连续结局,并且你怀疑面积与楼层有门槛、交互,一条直线写不满。教学示例在成表删除后留下 290 条房源:最瘦的叶 A 只有 50 条(17.24%),最肥的叶 C 有 173 条(59.66%)。叶越瘦,叶均值的抽样方差越大。
如何选择方法
先问结局是连续均值还是类别,再问你要一条能念出来的规则,还是一串更稳的集成预测。连续 Y、要规则 → 决策树回归。连续 Y、要压方差 → 森林或提升。连续 Y、要 B 与区间估计 → OLS。定类 Y → 分类树,不要把总价离散成「高/低」再硬套分类,除非研究问题本身就是分档。
决策树回归:1 个定量 Y;叶预测 = 叶内均值;本页用三片叶的人数检查分区是否塌成一团。
线性回归(OLS):可加线性、要推断;写不出面积×楼层的矩形门槛。
随机森林 / GBDT 回归:多棵树;前者平均叶均值,后者沿残差加树。
决策树分类:定类标签、混淆矩阵与准确率,和本页损失函数不是同一套。
输入、输出与限制
输入
因变量必须是定量。特征可为定量或低基数定类(定类会按分裂点当成有序或哑元处理)。缺失在分析列上成表删除,完整个案数以合计 N 为准。
因变量:正好 1 个定量列(本例总价(万元))。
特征:最少 1 个,最多 40 个;本例用面积(平米)、楼层、总楼层、建筑年份。
输出
结果表把修剪(或教学上合并)后的终端叶写成类别 A / B / C,给出每叶人数与占比。叶 A 50、叶 B 67、叶 C 173,合计 290。同时给出拟合/残差图。RMSE、MAE、R² 若出现在洞察或图注,完整误差以工作台数字为准;占用表本身不打印系数。
产品限制
有效行少于 20 时拒绝拟合。
默认最大深度 8、叶最小样本 5;把叶最小样本降到 1,训练 MSE 可以接近 0,那是过拟合而不是「拟合更好」。
看起来像编号的列(房源 ID)会被拒绝。
深度很大时路径图会截断,叶占用与误差仍以表为准。
案例
研究问题。 综合评价房源表要一条能念给业务听的规则:面积跨过某阈值、楼层落在某区间时,总价均值落到哪一片叶子。研究者不需要斜率,但必须能指出最瘦的那片叶有多少套房,避免把 50 条上的均值写成全市规律。
教学表示例工作表为「Sheet1」。成表删除后 290 条。三片终端叶占用:A 50(17.24%)、B 67(23.1%)、C 173(59.66%)。C 吞掉了将近六成样本,说明默认深度下分区并不均匀——读叶均值时要连同人数一起写。下载后:因变量勾选总价(万元),特征勾选面积(平米)、楼层、总楼层、建筑年份;不要勾选房源 ID、小区名称、挂牌日期。
在 StatsX 中操作
步骤 1 · 导入房源表
把综合评价教学表拖进工作台,确认活动工作表名称是 Sheet1。单价与总价不要同时当 Y。
步骤 2 · 核定量纲
列画像里总价应是定量(万元),面积是平米。城市、区域是定类,本练习不放进树,以免高基数切分把叶子切碎。
步骤 3 · 点选决策树回归
目录里同时有决策树分类。Y 是总价时必须点回归;点错分类会把连续价格当成标签,叶上变成「多数类」而不是均值。
步骤 4 · 指定角色
因变量:总价(万元)。特征:面积(平米)、楼层、总楼层、建筑年份。保持默认深度与叶最小样本,先看占用再决定是否加深。
步骤 5 · 先读叶厚再读均值
合计应对上 290。若叶 A 仍只有 50 条,不要根据那一片的均值对外推广;对比残差图时以表里的人数为分母。




如何阅读输出
下表是教学口径下三片终端叶的占用,不是房屋类型频数。合计 N=290。叶 A 50 条(17.24%),叶 B 67 条(23.1%),叶 C 173 条(59.66%)。C 的占比 59.66% 表示大多数房源共享同一个叶均值;A 只有 50 条,叶均值对一两个天价或超小户型会敏感。
| 项目 | 类别 | 统计量 | 取值 |
|---|---|---|---|
| 决策树回归 | 类别 A | 频数 | 50 |
| 决策树回归 | 类别 B | 频数 | 67 |
| 决策树回归 | 类别 C | 频数 | 173 |
| 决策树回归 | 合计 | 有效样本 N | 290 |
| 决策树回归 | 类别 A | 占比(%) | 17.24 |
| 决策树回归 | 类别 B | 占比(%) | 23.1 |
| 决策树回归 | 类别 C | 占比(%) | 59.66 |
左右滑动可查看完整表格
教学示例表在 StatsX 工作台中的计算结果口径。


阅读顺序:合计 N → 最瘦叶人数(本例 A=50)→ 各叶预测均值(叶内总价平均)→ 训练/测试 RMSE 或 R² → 残差是否在高价段扇形张开。不要把 A/B/C 写成「三类客户」。统计显著在本页不适用:树没有给叶均值配 t 检验。
把叶最小样本从 5 降到 1,或把深度从 8 加到 20,训练误差几乎总能再降,叶 A 可能被切到个位数——那是过拟合。论文应报告深度、叶最小样本,以及这三片叶的 50/67/173。换一城房源,切分阈值会动,叶均值不能当因果「面积导致总价」。总价与面积有定义性关系,树几乎总会先切面积,这不等于发现了新机制。
理论与公式
节点 t 的不纯度用该节点内定量结局对叶均值的均方误差衡量。候选切分把 t 分成左右子节点后,选取使加权 MSE 下降最多的特征与阈值:
落到终端叶 ℓ 的新样本,预测值就是该叶训练均值,不是多数类、也不是中位数(除非你改用 LAD 树):
本例 n=290,三片叶 n_A=50、n_B=67、n_C=173。叶 A 的均值方差大约按 1/50 放大,比叶 C 脆得多。分类树把 I(t) 换成基尼或交叉熵,叶上输出 argmax 类别概率——那是决策树分类的公式,不能拿来解释本表。拟合优度仍可用 R²=1−SSE/SST 或 RMSE,但它们没有 OLS 那种「整体 F」的常规推断。
注意事项
叶 A 仅 50 条时,不要把该叶均值写成稳健的市场价格。
加深或减小叶最小样本会让训练 MSE 好看,测试误差往往变差。
单棵树对样本扰动敏感:抽掉几十套房,第一次切分可能从面积改成楼龄。
面积与总价近乎定义相关,重要性高不能当因果。
高基数定类(小区名称)会切出大量薄叶,应排除。
本页占用表不提供标准误;要区间估计应回到 OLS 或分位数回归。
常见问题
参考文献
Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. Classification and Regression Trees. Wadsworth, 1984.
Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning. Springer.
李航. 统计学习方法[M]. 清华大学出版社.