张量列网络用于多维数据预测建模的学习
机器学习
2021-03-31 v3
摘要
在这项工作中，我们首先应用张量列（TT）网络来构建经典多层感知机的紧凑表示，实现了多达 95% 的系数的缩减。还在 Mackey-Glass 含噪混沌时间序列和 NASDAQ 指数的预测背景下，对张量模型与标准多层神经网络进行了比较分析。我们表明，多维回归模型的权重可通过 TT 网络学习，且 TT 权重的优化对系数初始化和超参数设置的影响更具鲁棒性。此外，提出了一种基于交替最小二乘的高效算法，用于以 TT 格式逼近权重，减少了计算量，提供了比广泛用于优化神经网络的自适应学习算法更快的收敛速度。
引用
@article{arxiv.2101.09184,
title = {Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data},
author = {M. Nazareth da Costa and R. Attux and A. Cichocki and J. M. T. Romano},
journal= {arXiv preprint arXiv:2101.09184},
year = {2021}
}
备注
34 pages, 16 figures