利用网络参数加性分解处理噪声标签

给定带有噪声标签的数据，过参数化的深度网络会过拟合错误标记的数据，导致泛化能力差。深度网络的记忆效应表明，尽管网络有能力记住所有噪声数据，但它们会先记住干净的训练数据，然后逐渐记住错误标记的训练数据。利用记忆效应对抗噪声标签的一种简单有效的方法是早停。然而，早停无法区分对干净数据和错误标记数据的记忆，导致网络在早期训练阶段仍不可避免地过拟合错误标记的数据。在本文中，为了解耦对干净数据和错误标记数据的记忆，并进一步减少错误标记数据的副作用，我们对网络参数进行加性分解。即，所有参数被加性分解为两组，即参数 $\mathbf{w}$ 被分解为 $\mathbf{w}=\bm{\sigma}+\bm{\gamma}$。之后，参数 $\bm{\sigma}$ 被认为用于记忆干净数据，而参数 $\bm{\gamma}$ 被认为用于记忆错误标记数据。得益于记忆效应，在早期训练中鼓励参数 $\bm{\sigma}$ 的更新以充分记忆干净数据，随后随着训练轮次的增加而抑制其更新，以减少错误标记数据的干扰。参数 $\bm{\gamma}$ 的更新则相反。在测试时，仅采用参数 $\bm{\sigma}$ 以增强泛化能力。在模拟和真实基准上的广泛实验证实了我们方法的优越性能。