过参数化张量分解中的 deflation 过程理解
机器学习
2021-10-26 v2 机器学习
摘要
在本文中，我们研究过参数化张量分解问题上梯度流的训练动态。经验上，此类训练过程通常先拟合较大分量，然后发现较小分量，这类似于张量分解算法中常用的张量 deflation 过程。我们证明对于正交可分解张量，稍作修改的梯度流版本将遵循张量 deflation 过程并恢复所有张量分量。我们的证明表明，对于正交张量，梯度流动态的工作方式类似于矩阵设定中的贪心低秩学习，这是理解过参数化模型对低秩张量的隐式正则化效应的第一步。
引用
@article{arxiv.2106.06573,
title = {Understanding Deflation Process in Over-parametrized Tensor Decomposition},
author = {Rong Ge and Yunwei Ren and Xiang Wang and Mo Zhou},
journal= {arXiv preprint arXiv:2106.06573},
year = {2021}
}
备注
NeurIPS 2021 Camera Ready