面向神经网络理论的低秩张量分解
机器学习
2025-12-18 v2 人工智能
摘要
深度神经网络（NNs）的突破性性能推动了为深度学习理论提供数学基础的浓厚兴趣。低秩张量分解由于其与神经网络的紧密联系及丰富的理论结果，特别适合这一任务。不同的张量分解具有强有力的唯一性保证，能够直接解释其因子，并且已有计算它们的多项式时间算法被提出。通过张量与神经网络之间的联系，这些结果支持了神经网络理论中的许多重要进展。在这篇综述中，我们展示了低秩张量方法——它一直是信号处理和机器学习社区的核心工具——在从理论上解释深度神经网络性能的不同方面（包括其表达能力、算法可学习性与计算硬度、泛化能力以及可识别性）中发挥的基础作用。我们的目标是以连贯且统一的方式，对现有方法（由从计算机科学到数学等不同社区开发）给出一个易于理解的概述，并为低秩张量分解在深度神经网络理论中的应用开辟更广阔的视角。
引用
@article{arxiv.2508.18408,
title = {Low-Rank Tensor Decompositions for the Theory of Neural Networks},
author = {Ricardo Borsoi and Konstantin Usevich and Marianne Clausel},
journal= {arXiv preprint arXiv:2508.18408},
year = {2025}
}