正交SVD协方差条件数改善与隐空间解耦
计算机视觉与模式识别
2022-12-13 v1 机器学习
摘要
在神经网络中插入SVD元层容易使协方差变得病态（ill-conditioned），从而损害模型在训练稳定性和泛化能力方面的表现。本文系统性地研究了如何通过强制Pre-SVD层的正交性来改善协方差条件数。我们首先考察了现有的权重正交处理方法。然而，这些技术虽能改善条件数却会损害性能。为避免此类副作用，我们提出了最近正交梯度（NOG）与最优学习率（OLR）。我们的方法在两个应用中得到验证：去相关批归一化（BN）与全局协方差池化（GCP）。在视觉识别上的大量实验表明，我们的方法可同时改善协方差条件数与泛化能力。与正交权重的结合可进一步提升性能。此外，通过在多个基准上的一系列实验，我们展示了我们的正交技术能够帮助生成模型获得更好的隐空间解耦。代码见：\href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}。
引用
@article{arxiv.2212.05599,
title = {Orthogonal SVD Covariance Conditioning and Latent Disentanglement},
author = {Yue Song and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2212.05599},
year = {2022}
}
备注
Accepted by IEEE T-PAMI. arXiv admin note: substantial text overlap with arXiv:2207.02119