SVDinsTN：从正则化建模视角进行高效结构搜索的张量网络范式
机器学习
2024-04-15 v6
摘要
张量网络(TN)表示是计算机视觉与机器学习中的一项强大技术。TN 结构搜索(TN-SS)旨在搜索定制结构以实现紧凑表示，这是一个具有挑战性的 NP 难问题。近期基于“采样-评估”的方法需要采样大量结构并逐一评估，导致计算代价高昂。为解决此问题，我们提出一种新颖的 TN 范式，称为 SVD 启发的 TN 分解(SVDinsTN)，它使我们能从正则化建模视角高效求解 TN-SS 问题，消除了重复的结构评估。具体而言，通过对全连接 TN 的每条边插入对角因子，SVDinsTN 允许我们同时计算 TN 核与对角因子，并由因子稀疏性揭示紧凑的 TN 结构。在理论上，我们证明了所提方法的收敛性保证。实验结果表明，与最先进的 TN-SS 方法相比，所提方法实现了约 100 至 1000 倍的加速，同时保持了可比的表示能力。
引用
@article{arxiv.2305.14912,
title = {SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective},
author = {Yu-Bang Zheng and Xi-Le Zhao and Junhua Zeng and Chao Li and Qibin Zhao and Heng-Chao Li and Ting-Zhu Huang},
journal= {arXiv preprint arXiv:2305.14912},
year = {2024}
}
备注
This paper is accepted by CVPR 2024 as a Poster (Highlight)