面向鲁棒域适应的快速批核范数最大化与最小化
计算机视觉与模式识别
2021-08-05 v4
摘要
由于视觉域适应中的域差异，当源模型遇到目标域中决策边界附近的高数据密度时，其性能会下降。一种常见的解决方案是最小化 Shannon 熵以将决策边界推离高密度区域。然而，熵最小化也会导致预测多样性的严重降低，并给域适应带来损害。在本文中，我们通过研究随机选取的数据批次的分类输出矩阵的结构来考察预测的判别性与多样性。我们通过理论分析发现，预测的判别性与多样性可分别由批输出矩阵的 Frobenius 范数与秩来度量。核范数是前者的上界，也是后者的凸近似。据此，我们提出批核范数最大化与最小化，该方法对目标输出矩阵执行核范数最大化以增强目标预测能力，并对源批输出矩阵执行核范数最小化以提升源域知识的适用性。我们进一步用 L_{1,2}-范数近似核范数，并设计多批优化以在大量类别上获得稳定解。该快速近似方法达到了 O(n^2) 的计算复杂度与更好的收敛性质。实验表明，我们的方法在三种典型域适应场景下均能提升适应精度与鲁棒性。代码见 https://github.com/cuishuhao/BNM。
引用
@article{arxiv.2107.06154,
title = {Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation},
author = {Shuhao Cui and Shuhui Wang and Junbao Zhuo and Liang Li and Qingming Huang and Qi Tian},
journal= {arXiv preprint arXiv:2107.06154},
year = {2021}
}
备注
TPAMI under revivew. arXiv admin note: text overlap with arXiv:2003.12237