什么是 过拟合？
过拟合（Overfitting）是机器学习中的一种建模错误，当模型过度学习训练数据（包括其中的噪声和随机波动）时发生，导致模型在新的、未见过的数据上泛化性能较差。
快速了解
| 全称 | Overfitting |
|---|---|
| 创建时间 | 概念在统计学习理论中正式确立 |
| 规范文档 | 官方规范 |
工作原理
过拟合发生在机器学习模型相对于训练数据的数量和噪声程度而言变得过于复杂时。模型本质上是在记忆训练样本，而不是学习底层的规律模式。这导致模型在训练数据上表现优异，但在验证集或测试集上性能显著下降。过拟合是机器学习中最常见的挑战之一，通常通过比较训练准确率和验证准确率来检测。当这两个指标之间存在较大差距，且训练准确率远高于验证准确率时，很可能发生了过拟合。这种现象与偏差-方差权衡密切相关，过拟合代表高方差和低偏差。
主要特点
- 训练数据上准确率高，但测试/验证数据上表现差
- 模型复杂度超过底层模式所需的程度
- 训练损失与验证损失之间存在较大差距（泛化差距）
- 模型捕获了训练数据中的噪声和随机波动
- 验证损失开始上升而训练损失继续下降
- 学习到的决策边界过于复杂和不规则
常见用途
- 正则化技术（L1/L2 正则化）惩罚模型复杂度
- 神经网络中的 Dropout 层在训练时随机禁用神经元
- 早停法（Early Stopping）在验证性能下降时停止训练
- 数据增强人为增加训练数据集的大小和多样性
- 交叉验证更好地估计模型泛化性能
- 集成方法如 Bagging 来降低方差
示例
loading...
Loading code...常见问题
什么是机器学习中的过拟合？
过拟合发生在机器学习模型过度学习训练数据（包括其噪声和随机波动）时，导致在新的未见数据上泛化能力差。模型本质上是在记忆训练样本，而不是学习底层模式。
如何检测过拟合？
通过比较训练集和验证集的指标来检测过拟合。当训练准确率（高）和验证准确率（低）之间存在较大差距，或者验证损失开始上升而训练损失继续下降时，说明发生了过拟合。
过拟合的原因是什么？
常见原因包括：模型复杂度超过数据复杂度、训练数据不足、训练轮次过多、缺乏正则化，以及模型将训练数据中的噪声学习为模式。
如何防止过拟合？
预防技术包括：正则化（L1/L2）、Dropout 层、早停法、数据增强、交叉验证、降低模型复杂度和使用集成方法。收集更多样化的训练数据也有帮助。
过拟合和欠拟合有什么区别？
过拟合是高方差（模型过于复杂，拟合了噪声），而欠拟合是高偏差（模型过于简单，遗漏了模式）。过拟合表现为训练好但测试差；欠拟合则两者表现都差。