基于部分范数高效有限初始化的张量化神经网络与张量网络算法
机器学习
2026-05-04 v5 量子物理
摘要
我们提出两种算法，利用张量网络所涉及的 Frobenius 范数与正线性逐项求和的部分计算，来初始化张量化神经网络的层以及通用张量网络算法。该方法的核心是以迭代方式使用张量网络子网络的范数，从而依据导致发散或零范数的那些有限范数值进行归一化。此外，该方法得益于中间计算的重用。我们还将它应用于矩阵乘积态/张量列（MPS/TT）与矩阵乘积算子/张量列矩阵（MPO/TT-M）层，并考察了其相对于节点数、键维数与物理维数的规模变化。所有代码均已公开可用。
引用
@article{arxiv.2309.06577,
title = {Efficient Finite Initialization with Partial Norms for Tensorized Neural Networks and Tensor Networks Algorithms},
author = {Alejandro Mata Ali and Iñigo Perez Delgado and Marina Ristol Roura and Aitor Moreno Fdez. de Leceta},
journal= {arXiv preprint arXiv:2309.06577},
year = {2026}
}
备注
11 pages, 16 figures, several improvements, and new demonstrations