NdLinear：面向参数高效神经网络的多维结构保持

在深度学习中，处理多维输入（如图像、医学扫描和时间序列）是一项重要任务，通常需要对输入进行展平。我们提出了 $\mathit{NdLinear}$，这是一种用于线性层的即插即用替换方案，可直接对张量进行运算，无需展平。通过沿每个维度分别应用变换，NdLinear 在保持原始数据结构的同时，实现了显著的参数减少，通常多达数量级，且内存开销最小。我们证明了 NdLinear 通过结构 Tucker 分解保持表达力，同时保持 VC-dimension 的缩放。广泛的实验表明，NdLinear 能够实现显著的参数减少，并在实际运行时间上获得 substantial 的效率提升，同时保持最小的内存开销。例如，我们的 $\mathit{NdLinear-LoRA}$ 在语言推理任务上使用最多 $9\times$ 较少的参数，即可匹配或超过标准 LoRA。在 CNN、RNN、Transformer 和 MLP 上的实验，涵盖视觉、语言、时间序列和表格任务，均一致显示 NdLinear 的效率优势。虽然 NdLinear 在轴可分任务中表现出色，但在处理高度 entangled 的空间相互作用时存在局限。通过以其原始 N 维形式处理数据，NdLinear 为构建更高效的神经网络架构提供了理论依据和实用组件。