神经网络理论中的低秩张量分解

深度神经网络（NN）的突破性性能推动了对其数学基础进行建设性研究的兴趣。低秩张量分解因其与 NN 的紧密联系以及丰富的理论结果而特别适合这一任务。不同的张量分解方法都具有强大的唯一性保证，这使得它们的因子可以直接解释，并且已提出多项基于多项式时间算法来计算它们。通过张量与 NN 之间的联系，这些结果支撑了 NN 理论中许多重要进展。本综述展示了低秩张量方法——这类方法一直是信号处理和机器学习社区的核心工具——在从理论层面解释深度 NN 性能的不同方面发挥着基本作用，包括其表达性、算法可学习性和计算困难性、泛化以及可识别性。我们的目标是提供一个易于访问的概述，涵盖来自计算机科学、数学等不同社区所发展的方法，并为更广泛地将低秩张量分解用于 NN 理论开辟更广阔的视野。