COLAM：通过交替最小化协同学习深度神经网络与软标签
机器学习
2020-04-28 v1 机器学习
摘要
针对数据表示软化训练数据集的标签已被频繁用于改进深度神经网络（DNNs）的训练。尽管这种做法被研究作为利用关于数据分布的特权信息的一种方式，但首先必须获得一个具有软分类输出的训练良好的学习器作为先验来生成此类特权信息。为解决这一鸡生蛋问题，我们提出 COLAM 框架，该框架通过在一个端到端训练过程中交替最小化两个目标——（a）受软标签约束的训练损失，以及（b）学习改进软标签的目标——来协同学习 DNN 与软标签。我们进行了大量实验，将所提方法与一系列基线进行比较。实验结果表明，COLAM 在多项任务上以更好的测试分类准确率取得了改进性能。我们还提供了定性与定量分析，解释了 COLAM 为何表现良好。
引用
@article{arxiv.2004.12443,
title = {COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization},
author = {Xingjian Li and Haoyi Xiong and Haozhe An and Dejing Dou and Chengzhong Xu},
journal= {arXiv preprint arXiv:2004.12443},
year = {2020}
}