如果神经网络拥有SVD会怎样？
机器学习
2020-09-30 v1 机器学习
摘要
多种神经网络采用耗时的矩阵运算如矩阵求逆。给定奇异值分解（SVD），许多此类矩阵运算计算更快。已有工作允许在神经网络中使用SVD而无需计算它。理论上，这些技术可加速矩阵运算，但在实践中它们不够快。我们提出一种足够快的算法来加速若干矩阵运算。该算法提高了底层矩阵乘法 的并行度，其中 是由Householder矩阵乘积表示的正交矩阵。代码见 www.github.com/AlexanderMath/fasth 。
关键词
引用
@article{arxiv.2009.13977,
title = {What if Neural Networks had SVDs?},
author = {Alexander Mathiasen and Frederik Hvilshøj and Jakob Rødsgaard Jørgensen and Anshul Nasery and Davide Mottin},
journal= {arXiv preprint arXiv:2009.13977},
year = {2020}
}