关于自然、鲁棒与灾难性过拟合中的过度记忆
机器学习
2024-09-17 v4
摘要
过拟合在自然和对抗训练中都对深度神经网络（DNNs）的泛化能力产生负面影响。现有方法难以一致地处理不同类型的过拟合，通常分别针对自然或对抗模式设计策略。在本工作中，我们采用统一视角，仅关注自然模式以探索不同类型的过拟合。具体而言，我们考察 DNNs 中的记忆效应，并揭示一种称为过度记忆的共享行为，它损害了模型的泛化能力。该行为表现为 DNNs 突然对预测某些训练模式变得高置信，并对其进行持久记忆。此外，当 DNNs 过度记忆对抗模式时，它们往往同时对该对应自然模式表现出高置信预测。这些发现促使我们通过阻碍 DNNs 对训练模式过度记忆，来整体缓解不同类型的过拟合。为此，我们提出一个通用框架——分散过度记忆（DOM），它通过移除或增强高置信自然模式来显式防止过度记忆。大量实验证明了我们所提方法在各种训练范式下缓解过拟合的有效性。
引用
@article{arxiv.2310.08847,
title = {On the Over-Memorization During Natural, Robust and Catastrophic Overfitting},
author = {Runqi Lin and Chaojian Yu and Bo Han and Tongliang Liu},
journal= {arXiv preprint arXiv:2310.08847},
year = {2024}
}
备注
Accepted by ICLR 2024