VNE：一种通过调控特征值分布改进深度表征的有效方法
计算机视觉与模式识别
2023-04-05 v1 人工智能
机器学习
摘要
自深度学习引入以来，去相关、白化、解耦、秩、各向同性及互信息等诸多表征性质已被研究以提升表征质量。然而，此类性质的调控在实现有效性与普遍适用性上具挑战性。为克服这些局限，我们提出对表征的冯·诺依曼熵（VNE）进行正则化。首先，我们证明 VNE 的数学形式在有效调控表征自相关矩阵特征值方面具优越性。进而，我们通过考察域泛化、元学习、自监督学习与生成模型，证明其在改进最先进算法或流行基准算法上具广泛适用性。此外，我们正式建立其与表征秩、解耦及各向同性的理论联系。最后，我们讨论 VNE 的维度控制及与香农熵的关系。代码见：https://github.com/jaeill/CVPR23-VNE。
引用
@article{arxiv.2304.01434,
title = {VNE: An Effective Method for Improving Deep Representation by Manipulating Eigenvalue Distribution},
author = {Jaeill Kim and Suhyun Kang and Duhun Hwang and Jungwook Shin and Wonjong Rhee},
journal= {arXiv preprint arXiv:2304.01434},
year = {2023}
}
备注
Accepted at CVPR 2023. Code is available at: https://github.com/jaeill/CVPR23-VNE