神经网络的模型内协作学习
计算机视觉与模式识别
2021-05-21 v1
摘要
近来，Song 和 Chai 提出的协作学习通过同时训练多个分类头在图像分类任务中取得了显著改进。然而，此类多头结构所需的大量内存占用可能阻碍大容量基线模型的训练。一个自然的问题是：如何在不复制任何模块的情况下，在单一网络内实现协作学习。本文中，我们提出了在单一网络不同部分间进行协作学习的四种方式，且工程开销可忽略。为提高网络鲁棒性，我们在协作学习框架下利用输出层与中间层的一致性进行训练。此外，还引入中间表示与卷积核的相似性以减少神经网络中的冗余。与 Song 和 Chai 的方法相比，我们的框架进一步考虑了单一模型内部的协作且开销更小。在 Cifar-10、Cifar-100、ImageNet32 和 STL-10 上的大量实验分别验证了这四种方式的有效性，而将它们组合可带来进一步提升。特别地，ResNet-18 和 VGG-16 在 STL-10 数据集上的测试误差分别降低了 和 。此外，我们的方法被证明对标签噪声具有鲁棒性，相关实验在 Cifar-10 数据集上进行。例如，在 噪声比设置下，我们的方法性能高出 。
引用
@article{arxiv.2105.09590,
title = {Intra-Model Collaborative Learning of Neural Networks},
author = {Shijie Fang and Tong Lin},
journal= {arXiv preprint arXiv:2105.09590},
year = {2021}
}