中文

平方和遇平方损失:不可知张量补全的快速率

机器学习 2019-06-03 v1 数据结构与算法 统计理论 机器学习 统计理论

摘要

我们研究不可知设定下的张量补全。在经典张量补全问题中,我们接收未知秩-rr 张量的 nn 个条目,并希望精确补全其余条目。在不可知张量补全中,我们对未知张量的秩不作假设,但试图与最佳秩-rr 张量一样好地预测未知条目。针对三阶张量以平方损失的不可知学习,我们给出首个获得“快速”(即 O(1/n)O(1/n) 型)率且多项式时间的算法,优于通过归约到矩阵补全所获得的率。我们与最佳 d×d×dd\times{}d\times{}d 秩-rr 张量竞争的预测误差率为 O~(r2d3/2/n)\tilde{O}(r^{2}d^{3/2}/n)。我们还获得了一个精确 oracle 不等式,权衡估计误差与近似误差。我们的算法基于张量核范数的六次平方和松弛。我们分析的关键特征是表明张量核范式子梯度的某种刻画可编码于平方和证明系统中。这开启了平方损失下经验过程局部化的标准工具箱,并使我们能为各类张量回归模型建立受限特征值型保证,张量补全为其特例。该松弛的新分析补充了 Barak 和 Moitra(2016)对不可知张量补全给出慢速率的工作,以及 Potechin 和 Steurer(2017)对无噪设定给出精确恢复保证的工作。我们的技术便于使用,预期可在其他地方发挥作用。

关键词

引用

@article{arxiv.1905.13283,
  title  = {Sum-of-squares meets square loss: Fast rates for agnostic tensor completion},
  author = {Dylan J. Foster and Andrej Risteski},
  journal= {arXiv preprint arXiv:1905.13283},
  year   = {2019}
}

备注

To appear at COLT 2019