利于反向传播的本征分解
机器学习
2019-06-28 v2 计算机视觉与模式识别
机器学习
摘要
本征分解（ED）在深度网络中应用广泛。然而，无论是直接使用 ED 还是用幂迭代法近似，其结果的反向传播往往在数值上不稳定，尤其在处理大矩阵时。虽然可通过将数据任意划分为小组来缓解，但此举缺乏理论依据，且无法充分发挥 ED 的威力。本文提出一种数值稳定且可微的方法，以在深度网络中利用特征向量。它可处理大矩阵而无需拆分。我们展示了相较于标准 ED 和幂迭代（PI），我们的方法在 ZCA 白化（批归一化的替代方案）和 PCA 去噪（我们将其引入作为深度网络的一种新归一化策略，旨在进一步去除网络特征中的噪声）上更好的鲁棒性。
引用
@article{arxiv.1906.09023,
title = {Backpropagation-Friendly Eigendecomposition},
author = {Wei Wang and Zheng Dang and Yinlin Hu and Pascal Fua and Mathieu Salzmann},
journal= {arXiv preprint arXiv:1906.09023},
year = {2019}
}