张量网络模型的 VC 维上下界
机器学习
2021-06-23 v1
摘要
张量网络方法一直是凝聚态物理进展的关键要素，并因能以紧致方式表示极高维对象而近期在机器学习界引发兴趣。例如，张量网络方法可用于在指数级大的特征空间中高效学习线性模型 [Stoudenmire and Schwab, 2016]。本工作中，我们推导了用于分类、回归与补全的一大类张量网络模型的 VC 维与伪维的上下界。我们的上界适用于由任意张量网络结构参数化的线性模型，并为常见张量分解模型（CP、Tensor Train、Tensor Ring 与 Tucker）推导了下界，显示了我们一般上界的紧性。这些结果被用于推导一个泛化界，可应用于低秩矩阵分类以及基于任一常用张量分解模型的线性分类器。作为我们结果的推论，我们得到了 [Stoudenmire and Schwab, 2016] 中引入的矩阵乘积态分类器的 VC 维界，该界作为所谓键维（即张量列秩）的函数，回答了 Cirac、Garre-Rubio 与 Pérez-García 在 [Cirac et al., 2019] 中列出的一个开放问题。
引用
@article{arxiv.2106.11827,
title = {Lower and Upper Bounds on the VC-Dimension of Tensor Network Models},
author = {Behnoush Khavari and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2106.11827},
year = {2021}
}