基于黎曼高斯-牛顿法的低秩张量估计:统计最优性与二阶收敛
机器学习
2023-07-11 v4 机器学习
数值分析
数值分析
最优化与控制
统计方法学
摘要
本文考虑从若干含噪线性测量中估计一个低 Tucker 秩张量。该一般问题涵盖了应用中出现的许多具体例子,包括张量回归、张量补全以及张量 PCA/SVD。我们考虑一种高效的黎曼高斯-牛顿(RGN)方法用于低 Tucker 秩张量估计。不同于文献中 RGN 的通用(超)线性收敛保证,我们证明了在含噪设定下 RGN 用于低秩张量估计的首个局部二次收敛保证(在某些正则条件下),并给出了相应的估计误差上界。提供了一个与之上界匹配的确定性估计误差下界,证明了 RGN 的统计最优性。RGN 的优势通过两个机器学习应用得到说明:张量回归与张量 SVD。最后,我们提供了仿真结果以佐证我们的理论发现。
引用
@article{arxiv.2104.12031,
title = {Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence},
author = {Yuetian Luo and Anru R. Zhang},
journal= {arXiv preprint arXiv:2104.12031},
year = {2023}
}