决策树颜值笔记

🧭 导读
决策树模拟人脑层层提问的方式做判断，把海量数据自动拆成“如果……就……”的路径。它既能分类又能回归，解释性极强，是一切现代树模型的基础。

🏸 例子拆解

小张周末去不去打球？

过去10个周末数据记录了四个特征：天气、湿度、温度、是否刮风；标签是去→Yes / 不去→No。

你自己观察这组数据，会发现天然的模式：

☁️ 多云

→ 去（几乎风雨无阻）

☀️ 晴天

→ 湿度正常去，湿度高不去

🌧️ 雨天

→ 不刮风去，刮风不去

大脑中画出的“决策路线图”，就是决策树。

🌳 树的组成

决策树是将数据按特征递归分裂，最终形成一棵倒立的树状结构。

🔹内部节点对某个特征的判断

↗️分支不同答案路径

🔹叶子节点最终决策结果

· 分类问题输出类别，回归问题则会输出均值等数值预测。

📐 数学指标

纯度：分组后样本越同质，就越“纯”；如果正负各半，就是最“混杂”的状态。

熵（Entropy）—— 衡量混乱程度

二分类中 50% / 50% 时熵最高（最不确定）
全部属于同一类，熵 = 0（最干净）

信息增益 = 分裂前熵 − 分裂后熵

信息增益越大，特征区分能力越强。不过算法实际常用基尼系数替代。

⚙️ 基尼系数（Gini Impurity）

工业界更常用基尼系数，因为相比熵只需乘法和加法，计算速度更快，已成为 sklearn 决策树的默认指标。

Gini = 1 − Σ p_k²

随机从节点取两个样本，属于不同类别的概率

· 基尼系数越小 → 节点越纯
· 基尼系数=0 时，全部样本属于同一类

🌱 决策树构建过程

1

遍历当前所有特征的候选值，计算分裂后的基尼系数

2

选择使基尼系数下降最多的特征作为分裂点

3

生成子节点后，重复上述递归过程

4

直到所有叶子足够纯，或达到最大深度等停止条件

eg. 训练时，决策树会自行找到“第一个该问什么问题”，如『花瓣长度 < 2.45？』不是人工指定的。

🌸 实战演示 · 鸢尾花数据集

150条样本 · 4个特征（花萼长/宽、花瓣长/宽）· 3个品种

原文演示：加载 sklearn 自带 iris 数据集 → 部分特征名翻译成中文 → 划分训练集和测试集 → 使用决策树分类器（criterion=基尼，max_depth=3层）→ 训练 → 可视化

🌿 可视化说人话

· 花瓣长度 < 2.45 → 几乎全是山鸢尾

· 花瓣更长时，继续观察花瓣宽度：< 1.6 → 变色鸢尾；> 1.6 → 维吉尼亚鸢尾

· 可见花瓣长度/宽度是重要判别特征，花萼影响不大

· 花瓣中长的区域有重叠，是模型最容易误判的部分

由于限制了最大深度为3层，倒数第二个节点基尼系数约0.5，纯度不足——这正是过拟合问题的一个缩影。

✂️ 防过拟合 · 剪枝

决策树如果不设限制会疯狂生长，直到把每个异常点都“记住”，导致过拟合。

预剪枝提前设规则
如最大深度、叶子节点最少样本数等

后剪枝让树先长满
自底向上裁剪影响小的分支

工业界中「预剪枝」实现简单、计算量小，是首选方案；后剪枝效果更好但计算代价高。

⚖️ 亮点与不足

✓

优点

· 直观、解释性强
· 对特征数值不敏感，不用额外做标准化
· 可分类可回归，还比较“全能”

✗

缺点

· 容易过拟合
· 稳定性较差，数据微调树结构可能大变

🍀 进阶 · 集成学习

“既然一棵树容易犯错，那就种一片森林。”

🌲 随机森林（并行）

构建多棵相互独立的树，每棵树随机抽取数据子集与特征，最终投票决策，降低误判风险。

📈 梯度提升树（串行）

每棵新树去纠正前面树的残差，逐步逼近高精度。竞赛大杀器 XGBoost、LightGBM 属此类，处理大数据时性能与准确度都很亮眼。

随机森林≈多个并列树的民主投票；梯度提升树≈前赴后继、不断纠错的连环精进。

「一棵树容易犯错，🏠
那就种一片森林。——集成学习的浪漫」

行动小结

遇到需要解释证据链的场景（金融风控、医疗判断）——优先考虑决策树
默认使用基尼系数作为分裂指标，效率最高
设置 max_depth 等超参数，预防过拟合
想进一步提高准确率——用随机森林或梯度提升树

这是机器学习中少有的“傻子都能看懂的判断路径”，也是进化为各种集成模型的基石。

决策树 颜值笔记

决策树颜值笔记