多通道自约束
机器学习
2023-04-28 v1
摘要
自蒸馏依靠自身信息提升模型的泛化能力，前景广阔。现有自蒸馏方法要么需要额外模型、修改模型，要么需要扩展批量大小进行训练，这增加了使用难度、内存消耗与计算成本。本文提出多通道自约束(SMC)，其利用多通道概念将一致性正则化与自蒸馏相结合。从概念上讲，SMC 包含两步：1）每个通道数据同时通过模型以获得其对应软标签；2）读取前一步保存的软标签与当前通道数据通过模型获得的软标签，计算损失函数。SMC 利用一致性正则化与自蒸馏提升模型的泛化能力及对噪声标签的鲁棒性。我们将仅含两个通道的 SMC 命名为 SMC-2。在两个数据集上的对比实验结果表明，SMC-2 在所有模型上均优于标签平滑正则化(Label Smoothing Regularization)与上一小批量自蒸馏(Self-distillation From The Last Mini-batch)，并在 83% 的模型上优于 SOTA 的锐度感知最小化(Sharpness-Aware Minimization)方法。SMC-2 与数据增强的兼容性实验结果表明，同时使用 SMC-2 与数据增强相比仅使用数据增强，模型泛化能力提升 0.28% 至 1.80%。最后，标签噪声干扰实验结果表明，SMC-2 抑制了模型因标签噪声干扰而在训练后期泛化能力退化的趋势。代码见 https://github.com/JiuTiannn/SMC-Self-discipline-on-multiple-channels。
引用
@article{arxiv.2304.14224,
title = {Self-discipline on multiple channels},
author = {Jiutian Zhao and Liang Luo and Hao Wang},
journal= {arXiv preprint arXiv:2304.14224},
year = {2023}
}