反馈对齐 meets 低秩流形：局部学习的结构化配方
机器学习
2025-10-30 v1 计算机视觉与模式识别
摘要
使用反向传播（BP）训练深层神经网络（DNN）可实现最先进的准确率，但需要全局误差传播和完整参数化，导致巨大的内存和计算开销。直接反馈对齐（DFA）实现了局部、可并行更新，具有较低的内存要求，但因非结构化反馈和较差的可扩展性在更深的架构中受限，尤其是卷积神经网络。为此，我们提出一种结构化的局部学习框架，直接在由权重矩阵奇异值分解（SVD）定义的低秩流形上 operate。每个层以其分解形式进行训练，更新应用到 SVD 组件上，使用集成交叉熵、子空间对齐和正交正则化的 composite loss。反馈矩阵构建为匹配 SVD 结构，确保前向和反馈路径之间的一致对齐。我们的方法相对于原始 DFA 模型减少了可训练参数，无需剪枝或事后压缩。在 CIFAR-10、CIFAR-100 和 ImageNet 上的实验表明，我们的方法在准确率上达到与 BP 相当的水平。消融研究确认了每个损失项在低秩 setting 中的重要性。这些结果表明，低秩流形上的局部学习是一种原则且可扩展的 full-rank gradient-based training 的替代方案。
引用
@article{arxiv.2510.25594,
title = {Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning},
author = {Arani Roy and Marco P. Apolinario and Shristi Das Biswas and Kaushik Roy},
journal= {arXiv preprint arXiv:2510.25594},
year = {2025}
}