CWY 参数化：正交矩阵与 Stiefel 矩阵并行优化的一种解决方案
机器学习
2021-02-17 v3 机器学习
摘要
我们引入了一种在 GPU 或 TPU 等高度并行计算单元上对正交群进行优化的高效方法。与先前工作一样，我们将正交矩阵参数化为一系列 Householder 反射的乘积。然而，为了克服顺序计算 Householder 反射并行化能力低的问题，我们提出采用一种称为紧凑 WY（或 CWY）变换的累积方案——这是一种对 Householder 反射序列的紧凑且并行友好的矩阵表示。我们进一步为 Stiefel 流形参数化开发了一种新颖的截断 CWY（或 T-CWY）方法，该方法具有竞争力的复杂度，并且在 GPU 和 TPU 上计算时同样能带来收益。我们证明了当与随机梯度下降结合时，我们的 CWY 和 T-CWY 方法能收敛到训练目标的稳定点。我们将这些方法应用于神经机器翻译和视频预测任务中的循环神经网络架构训练。
引用
@article{arxiv.2004.08675,
title = {CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices},
author = {Valerii Likhosherstov and Jared Davis and Krzysztof Choromanski and Adrian Weller},
journal= {arXiv preprint arXiv:2004.08675},
year = {2021}
}
备注
Proceedings of the 24th International Conference on Artificial Intelligence and Statistics (AISTATS) 2021, San Diego, California, USA. PMLR: Volume 130. Copyright 2021 by the author(s)