逻辑回归 · 总结笔记

ZERO TO DEEP LEARNING

逻辑回归

从预测数值到判断类别，十分钟建立整条主线

导读

逻辑回归不是“回归”，它真正解决的是二分类问题。它在线性回归外套上一个函数，把连续输出压到 0～1，变成可解释的概率。今天这一套，也是日后深度学习中最熟悉的结构。

一句话：线性回归回答“多少”，逻辑回归回答“属于哪一类”。

任务本质

什么是分类问题？

线性回归：预测房价、股价等连续数值。
分类问题：预测有限个互斥标签，如“是垃圾邮件/不是垃圾邮件”。
二分类如“肿瘤良恶性”，多分类如“手写数字0～9”。
线性回归解决的是“多少”，逻辑回归解决的是“哪一类”。

为什么不能直接用线性回归

线性回归处理分类的两大缺陷

缺陷一输出范围失控线性输出是 (−∞,+∞)，分类需要落在0～1之间；输出1万或 −50 都毫无意义。

缺陷二被异常值严重拉偏一个极端样本就能让回归线大幅摆动，导致分类准确率骤降。

解决办法：在线性回归后叠加一个“变形器”，把输出映射到 (0,1)，这就是逻辑回归。

改造核心

Sigmoid 函数：把分数变成概率

线性输出 z = w·x + b
概率 p = 1 / (1 + e^−z)

任一实数值都被压缩到 0～1 之间。
当 z=0 时，p=0.5，恰好是天然分界点。
z 为正 → 概率趋向1；z 为负 → 概率趋向0。

为什么选 Sigmoid，而不是一个简单的阶跃函数？

连续可导：阶跃函数在0处不可导，无法算梯度，也就没法更新参数。
导数极简：σ'(z)=σ(z)(1−σ(z))，知道了值就几乎不要额外计算量。
梯度算法高效，对计算机很友好。

损失设计

为什么不能继续用 MSE

线性回归用 MSE，曲线像光滑碗，是凸函数，梯度下降可以找到全局最优。但逻辑回归引入 Sigmoid 非线性后，MSE 会变得坑洼或过于平缓，容易掉进局部小坑，还可能出现梯度消失，无法收敛到最优解。

极端平缓 → 梯度变小 → 早停；梯度持续过大 → 梯度爆炸。

合理的分类损失直觉

真实标签为1：概率越接近1越好；越接近0，惩罚越大。
真实标签为0：概率越接近0越好；越接近1，惩罚越大。

数学推导点睛

最大似然 → 交叉熵

三个数学工具，快速串联逻辑：

对数：把概率乘积变成加法，避免连乘结果小到计算机无法精确表示。
伯努利分布：二分类的真实标签只有0和1，用 p^y(1−p)^1−y 把两种情况合成一个公式。
最大似然估计：事情已经发生，就去反推让这件事发生概率最大的参数。

单个样本损失 = −[ y·log(p) + (1−y)·log(1−p) ]
全体样本损失 = 平均后再取负

这就是交叉熵损失函数。它是严格的凸函数，无论权重从哪里开始，都能稳定找到全局最优点。

梯度更新

梯度计算公式：意外地简单

虽然完整推导很复杂，但 Sigmoid 的导数和交叉熵的导数可以大幅约分抵消。最终结果：

梯度 w_j = (1/m) × ∑ (预测值 − 真实值) × x_j
梯度 b = (1/m) × ∑ (预测值 − 真实值)

与线性回归的形式几乎一模一样，唯一区别是多套了一层 Sigmoid：线性回归的预测值就是 z，逻辑回归的预测值是 σ(z)。

实战

案例：乳腺癌肿瘤良性/恶性预测

使用 sklearn 内置数据集，2分类，约30个特征。
逻辑回归对量纲敏感，训练前需标准化；只对训练集 fit，再用统一参数 transform 测试集。
测试集直接准确率达到0.98，区分度很高。
模型不只能给出类别，还会输出每个样本属于正类的概率，概率几乎集中在0和1两端，“模棱两可”的样本很少。

红色恶性的概率趋近0附近，蓝色良性的概率趋近1附近，说明模型分类得很果断。

模型评估

不能只看准确率

假如10000个样本里99%是良性，模型一律判良性也有99%准确率，但毫无筛查能力。所以需要用混淆矩阵看漏报和误报。

TP实际正类，也预测正类

FP实际负类，却预测正类

FN实际正类，却预测负类

TN实际负类，也预测负类

精确率 Precision = TP / (TP+FP)：预测为正的样本里，真正为正的比例，衡量预测质量。
召回率 Recall = TP / (TP+FN)：真实正类有多少被成功找回来，衡量覆盖能力。
F1：精确率与召回率的调和平均，二者都高,F1才高。
“误报”和“漏报”在不同场景中权重不同：医疗里漏掉恶性肿瘤，可能比一次误报严重得多。

选阈值

ROC 曲线与 AUC

降低决策阈值可以从0.5调到0.4，会减少漏报、提高召回率；不同业务场景需要不同阈值。

横轴：假正率（负类被误判为正的比例）
纵轴：真正率（正类被正确召回的比例）

把所有可能的阈值都画出来，就得到一条 ROC 曲线。
曲线越靠近左上角，模型区分正负类的能力越强。
AUC 就是曲线下面积，面积越大越好。
如果 AUC≈0.5，说明模型和瞎猜没区别；如果低于0.5，模型基本不可用。

扩展

多分类 & 它与深度学习的关系

面对多分类（如手写数字0～9），把 Sigmoid 升级成 Softmax 函数，得到 Softmax 回归/多项逻辑回归。
为每个类别算一个独立得分，再用 Softmax 把所有得分转成概率，并保证总和为1。
取最大概率对应的类别，就是预测结果。
逻辑回归本质上是没有隐藏层的单层神经网络；它的输入、偏置、训练流程与神经网络一致。
Sigmoid / Softmax 同样也是现代神经网络最常用的输出层结构。

一张总表

线性回归 vs 逻辑回归

对比维度	线性回归	逻辑回归
解决任务	回归：预测连续数值	分类：预测离散标签
模型输出	任意实数	0～1概率值
核心激活	无	Sigmoid / Softmax
损失函数	MSE	交叉熵损失
评估指标	MSE、RMSE、R²	精确率、召回率、F1、ROC/AUC

逻辑回归可解释性强、训练快、不易过拟合，工业界至今大量使用。

“线性回归问多少，逻辑回归问哪一类；中间距离，只是一个 Sigmoid。”

由 CuteNote.app 颜值笔记生成

逻辑回归（Logistic Regression）全面解析