基于局部采样的张量网络结构置换搜索
机器学习
2022-06-15 v1
摘要
近期工作投入大量精力于张量网络结构搜索(TN-SS),旨在为分解或学习任务选取合适的张量网络(TN)结构,包括 TN 秩、格式等。本文考虑 TN-SS 的一个实用变体,称为 TN 置换搜索(TN-PS),其中我们搜索从张量模式到 TN 顶点(核心张量)的良好映射,以获得紧凑的 TN 表示。我们对 TN-PS 进行了理论探究,并提出了一种实际高效的算法来解决该问题。在理论上,我们证明了 TN-PS 搜索空间的计数与度量性质,首次分析了 TN 结构对这些独特性质的影响。在数值上,我们提出了一种新颖的元启发式算法,其搜索通过在我们的理论中建立的邻域内随机采样,然后循环更新邻域直至收敛来完成。数值结果表明,新算法在大量基准上可减小 TN 所需的模型规模,意味着 TN 表达能力的提升。此外,新算法的计算代价显著小于~\cite{li2020evolutionary} 中的算法。
引用
@article{arxiv.2206.06597,
title = {Permutation Search of Tensor Network Structures via Local Sampling},
author = {Chao Li and Junhua Zeng and Zerui Tao and Qibin Zhao},
journal= {arXiv preprint arXiv:2206.06597},
year = {2022}
}
备注
Accepted by ICML 2022