张量网络与神经网络相遇：综述与未来展望
机器学习
2025-03-18 v3
摘要
张量网络（TNs）和神经网络（NNs）是两种基本的数据建模方法。TNs的引入是为了通过将指数级维度转换为多项式复杂度来解决大规模张量中的维度灾难。因此，它们在量子物理和机器学习领域引起了广泛关注。与此同时，NNs在计算机视觉、自然语言处理和机器人研究等各种应用中展现了卓越的性能。有趣的是，尽管这两种网络源于不同的观察，但它们通过TNs和NNs共有的典型多线性结构内在地联系在一起，从而推动了大量关于TNs与NNs结合的研究。在本文中，我们将这些结合称为张量化神经网络（TNNs），并从数据处理和模型架构两个角度介绍TNNs。从数据角度，我们探讨了TNNs在多源融合、多模态池化、数据压缩、多任务训练和量子数据处理方面的能力。从模型角度，我们考察了TNNs与各种架构的集成，包括卷积神经网络、循环神经网络、图神经网络、Transformer、大语言模型和量子神经网络。此外，本综述还探讨了改进TNNs的方法，考察了实现TNNs的灵活工具箱，并记录了TNN的发展，同时指出了潜在的未来方向。据我们所知，这是首篇连接NNs与TNs的全面综述。我们提供了一个精选的TNNs列表，网址为https://github.com/tnbar/awesome-tensorial-neural-networks。
引用
@article{arxiv.2302.09019,
title = {Tensor Networks Meet Neural Networks: A Survey and Future Perspectives},
author = {Maolin Wang and Yu Pan and Zenglin Xu and Guangxi Li and Xiangli Yang and Danilo Mandic and Andrzej Cichocki},
journal= {arXiv preprint arXiv:2302.09019},
year = {2025}
}