通过正交性改善 SVD 元层的协方差条件数
计算机视觉与模式识别
2022-07-06 v1 机器学习
数值分析
数值分析
摘要
将 SVD 元层插入神经网络容易使协方差病态，从而可能损害模型在训练稳定性和泛化能力方面的表现。在本文中，我们系统地研究如何通过向前 SVD 层施加正交性来改善协方差条件数。首先考察了现有的对权重的正交处理。然而，这些技术虽能改善条件数却会损害性能。为避免此种副作用，我们提出了最近正交梯度（NOG）与最优学习率（OLR）。我们方法的有效性在两个应用中得到验证：去相关批归一化（BN）与全局协方差池化（GCP）。在视觉识别上的大量实验表明，我们的方法能同时改善协方差条件数与泛化能力。此外，与正交权重的组合可进一步提升性能。
引用
@article{arxiv.2207.02119,
title = {Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality},
author = {Yue Song and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2207.02119},
year = {2022}
}
备注
Accepted by ECCV22