面向可判别性与多样性：标签不足情形下的批核范数最大化
计算机视觉与模式识别
2020-03-30 v1
摘要
深度网络的学习在很大程度上依赖于带有人工标注标签的数据。在一些标签不足的情形下，模型在具有高数据密度的决策边界上性能会下降。一种常见的解决方案是直接最小化香农熵，但熵最小化带来的副作用，即预测多样性的降低，大多被忽视。为解决此问题，我们重新考察随机选取数据批次的分类输出矩阵的结构。通过理论分析我们发现，预测的可判别性与多样性可分别由批次输出矩阵的 Frobenius 范数与秩来度量。此外，核范数是 Frobenius 范数的上界，也是矩阵秩的凸近似。相应地，为同时提升可判别性与多样性，我们提出在输出矩阵上进行批核范数最大化（Batch Nuclear-norm Maximization, BNM）。BNM 可在典型的标签不足学习场景（如半监督学习、域适应和开放域识别）下提升学习效果。在这些任务上，大量实验结果表明 BNM 优于对比方法，且能与现有知名方法良好协作。代码见 https://github.com/cuishuhao/BNM。
引用
@article{arxiv.2003.12237,
title = {Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations},
author = {Shuhao Cui and Shuhui Wang and Junbao Zhuo and Liang Li and Qingming Huang and Qi Tian},
journal= {arXiv preprint arXiv:2003.12237},
year = {2020}
}
备注
Accepted to CVPR 2020 as Oral