快速可微矩阵平方根与逆平方根
计算机视觉与模式识别
2022-10-20 v2 机器学习
摘要
以可微方式计算矩阵平方根及其逆在许多计算机视觉任务中十分重要。已有方法要么采用奇异值分解（SVD）显式分解矩阵，要么使用 Newton-Schulz 迭代（NS 迭代）推导近似解。然而，这两种方法在前向或反向传播中的计算效率均不足。本文提出两种更高效的变体来计算可微矩阵平方根与逆平方根。对于前向传播，一种方法使用矩阵泰勒多项式（MTP），另一种使用矩阵 Padé 逼近（MPA）。反向梯度通过利用矩阵符号函数迭代求解连续时间 Lyapunov 方程得到。一系列数值测试表明，与 SVD 或 NS 迭代相比，两种方法均带来显著加速。此外，我们在多个真实应用中验证了方法的有效性，包括去相关批归一化、二阶视觉 Transformer、面向大规模与细粒度识别的全局协方差池化、面向视频识别的注意力协方差池化，以及神经风格迁移。实验结果证明我们的方法还能取得有竞争力的甚至略优的性能。Pytorch 实现见 https://github.com/KingJamesSong/FastDifferentiableMatSqrt
引用
@article{arxiv.2201.12543,
title = {Fast Differentiable Matrix Square Root and Inverse Square Root},
author = {Yue Song and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2201.12543},
year = {2022}
}
备注
T-PAMI 2022. arXiv admin note: substantial text overlap with arXiv:2201.08663