张量网络回归中的交互分解
机器学习
2023-01-27 v2
摘要
众所周知,张量网络回归模型在指数级大的特征空间上运作,但其有效利用该空间的能力仍存疑问。利用多项式特征化,我们提出交互分解作为一种工具,可依据多项式次数评估不同回归因子的相对重要性。我们将该分解应用于在 MNIST 与 Fashion MNIST 数据集上训练的张量环和树张量网络模型,发现高达 75% 的交互次数对这些模型有实质性贡献。我们还引入了一种新型张量网络模型,其显式地仅在一小部分交互次数上训练,并发现这些模型仅使用指数特征空间的一小部分便能与完整模型匹敌甚至更优。这表明标准张量网络模型以低效方式利用其多项式回归因子,其中低次项被极大低估利用。
引用
@article{arxiv.2208.06029,
title = {Interaction Decompositions for Tensor Network Regression},
author = {Ian Convy and K. Birgitta Whaley},
journal= {arXiv preprint arXiv:2208.06029},
year = {2023}
}
备注
22 pages, 3 figures