特征神经网络：基于特征基 unlocking 通用视觉
计算机视觉与模式识别
2025-08-05 v1 机器学习
摘要
深度神经网络（DNN）的显著成功归功于梯度化优化，但这一过程常常因产生杂乱的权重结构而受到制约，这不仅损害特征清晰度，还会恶化学习动力学。为此，我们提出了特征神经网络（ENN），一种新型架构，通过对每一层的权重在层共享的、学习正交特征基中进行重新参数化来解决这一根本性表征缺陷。这种设计在_axiomatic_层面强制权重动态无相关且良好对齐，而非通过正则化，从而实现更结构化和判别性的特征表征。当与标准反向传播集成时，ENN 在包括 ImageNet 在内的大规模图像分类基准测试上 consistently 优于最先进的方法，其优越的表征能力还使其在跨模态图像-文本检索中达成新纪录。此外，ENN 的原则结构使我们能够实现一种高度有效的、无需反向传播（BP-free）的局部学习变体——ENN-。该变体不仅通过并行化解决了 BP 的程序性瓶颈，实现了超过 的训练加速，令人惊讶的是，它还超过了端到端反向传播的准确率。因此，ENN 提出了一种新的架构范式，直接纠正反向传播的表征缺陷，从而实现性能提升，同时 enable 更高效、可并行化的训练方案。
引用
@article{arxiv.2508.01219,
title = {Eigen Neural Network: Unlocking Generalizable Vision with Eigenbasis},
author = {Anzhe Cheng and Chenzhong Yin and Mingxi Cheng and Shukai Duan and Shahin Nazarian and Paul Bogdan},
journal= {arXiv preprint arXiv:2508.01219},
year = {2025}
}