深度伴侣学习：通过历史一致性提升泛化能力
计算机视觉与模式识别
2024-07-29 v1 机器学习
摘要
我们提出了深度伴侣学习（Deep Companion Learning, DCL），这是一种用于深度神经网络（Deep Neural Networks, DNNs）的新型训练方法，通过惩罚模型预测与其历史表现之间的不一致性来增强泛化能力。为此，我们通过使用模型的先前版本在新输入上提供预测来训练一个深度伴侣模型（Deep Companion Model, DCM）。该伴侣模型从数据中解码出有意义的潜在语义结构，从而提供有针对性的监督，鼓励主模型解决其最难处理的场景。我们通过理论分析和大量实验（包括消融研究），在多个基准数据集（CIFAR-100、Tiny-ImageNet、ImageNet-1K）上使用多样化的架构模型（ShuffleNetV2、ResNet、Vision Transformer 等），验证了我们的方案，并实现了最先进的性能。
引用
@article{arxiv.2407.18821,
title = {Deep Companion Learning: Enhancing Generalization Through Historical Consistency},
author = {Ruizhao Zhu and Venkatesh Saligrama},
journal= {arXiv preprint arXiv:2407.18821},
year = {2024}
}
备注
ECCV 2024