孪生标签辅助学习
人工智能
2022-05-30 v3
摘要
在深度学习中,辅助训练已被广泛用于协助模型训练。在训练阶段,使用辅助模块协助训练可提升模型性能。在测试阶段,辅助模块可被移除,因此测试参数不会增加。本文提出一种新颖的辅助训练方法——孪生标签辅助学习(Siamese Labels Auxiliary Learning, SiLa)。与深度互学习(Deep Mutual Learning, DML)不同,SiLa 强调辅助学习,并可轻易与 DML 结合。总体而言,本文主要工作包括:(1) 提出 SiLa 学习,在不增加测试参数的情况下提升常用模型的性能;(2) 将 SiLa 与 DML 比较,证明 SiLa 可提升模型的泛化能力;(3) 将 SiLa 应用于动态神经网络,并证明 SiLa 可用于各类网络结构。
引用
@article{arxiv.2103.00200,
title = {Siamese Labels Auxiliary Learning},
author = {Wenrui Gan and Zhulin Liu and C. L. Philip Chen and Tong Zhang},
journal= {arXiv preprint arXiv:2103.00200},
year = {2022}
}