概念

• 过拟合就是随着模型的训练，模型在训练集上的表现越来越好，但是在验证集上的表现却越来越差，也就是说对训练集的拟合程度过高，导致模型的泛化能力降低。
• 欠拟合就是模型在训练集上也无法达到满意的精度。

过拟合的解决方案

过拟合通常是由于训练数据过少、模型复杂度过大等问题导致的，因此相应的解决方案也是从这两个角度考虑。

• 使用更多的数据进行训练，并且数据集尽量均匀，做一些数据增强。
• 降低模型复杂度。并不是说模型越复杂越好，如果模型过于复杂，而训练集又较少，那么参数就很容易拟合到一个过于适配训练集的参数空间中，自然就会导致过拟合的出现。
• Early Stop，简单来说就是减少迭代次数。随着训练次数的增加，模型对训练数据的拟合程度也会随之增高，所以也可以通过减少训练时间的方法避免过拟合，提高模型泛化能力。
• L1、L2正则化方法，限制模型权重。
• 在数据中增加一些噪声，从而通过影响损失函数的优化方向避免过拟合。
• Dropout，目的也是降低模型的复杂度。
• ResNet。是的，ResNet也可以解决过拟合问题，因为ResNet的跳线结构可以让部分参数权重归零，进而达到类似于Dropout的效果。

欠拟合的解决方案

欠拟合通常是由于模型表征能力不足、数据量过大导致的，刚好和过拟合相反。

• 使用更复杂的模型。
• 增加迭代次数。
• 减少数据中的噪声。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。