为何近似矩阵平方根优于精确SVD于全局协方差池化？
计算机视觉与模式识别
2021-07-26 v2 机器学习
摘要
全局协方差池化（GCP）旨在利用卷积特征的二阶统计。其有效性已在提升卷积神经网络（CNNs）分类性能中得到证明。奇异值分解（SVD）用于 GCP 计算矩阵平方根。然而，使用 Newton-Schulz 迭代 \cite{li2018towards} 计算的近似矩阵平方根优于通过 SVD \cite{li2017second} 计算的精确版本。我们从数据精度与梯度平滑性角度实证分析了性能差距背后的原因。研究了多种计算平滑 SVD 梯度的补救方法。基于我们的观察与分析，提出了一种用于基于 SVD 的 GCP 元层的混合训练协议，使其可达到与 Newton-Schulz 迭代相竞争的性能。此外，我们提出了一种新的 GCP 元层，其在前向传播中使用 SVD，在反向传播中使用 Pad\'e 逼近计算梯度。所提元层已集成入不同 CNN 模型，并在大规模与细粒度数据集上均取得最先进性能。
引用
@article{arxiv.2105.02498,
title = {Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling?},
author = {Yue Song and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2105.02498},
year = {2021}
}
备注
Accepted by ICCV21 as poster presetation