基于张量网络的特征学习模型

许多近似方法被提出来规避基于核函数算法的三次复杂度，从而将其应用于大规模数据集。一种策略是通过映射到更高维空间来考虑学习问题的原始形式，利用张量积结构的多项式和傅里叶特征。由于这些张量积特征导致的维度灾难，已通过张量网络模型参数重参数化有效解决。然而，另一个重要的模型训练方面——识别最优特征超参数——尚未被 addressed，通常采用标准交叉验证方法处理。本文引入特征学习（FL）模型，通过将张量积特征表示为可学习的标准正交分解（CPD）来解决此问题。凭借这种 CPD 结构，我们能够使用交替最小二乘（ALS）优化方法高效学习与不同特征相关的超参数以及模型参数。我们通过在不同维度和规模的真实数据上的实验证明了 FL 模型的有效性。结果表明，FL 模型可比标准交叉验证模型 consistently 训练快 3-5 倍，且预测质量相当。