张量化：神经网络压缩与可解释性的强大但未充分探索的工具

对神经网络进行张量化涉及将其部分或全部稠密权重矩阵重塑为高阶张量，并使用低秩张量网络分解对其进行近似。该技术作为大规模神经网络的模型压缩策略已展现出潜力。然而，尽管经验结果令人鼓舞，张量化神经网络（TNNs）在主流深度学习中仍未得到充分利用。在这篇立场论文中，我们对 TNNs 的潜力和当前局限性提出了观点。我们认为，TNNs 代表了一个强大但尚未充分探索的深度学习框架——值得工程界和理论界给予更多关注。除了压缩之外，我们强调了 TNNs 作为一类具有独特缩放特性和更高可解释性的灵活架构的价值。TNNs 的一个核心特征是键指标的存在，它们引入了常规网络中没有的新潜在空间。这些内部表示可能为跨层特征的演化提供更深刻的见解，从而有可能推动机制可解释性目标的实现。最后，我们概述了几个关键研究方向，旨在克服在现代深度学习工作流中扩展和采用 TNNs 的实际障碍。