非梯度流形神经网络
机器学习
2021-06-16 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络（DNN）通常通过梯度下降进行数千次迭代优化，因此收敛缓慢。此外，作为决策层的softmax在分类时可能忽略数据的分布信息。针对所述问题，我们提出一种基于非梯度优化（即闭式解）的新型流形神经网络。考虑到激活函数一般是可逆的，我们通过前向岭回归和低秩反向近似重构网络，从而实现快速收敛。此外，通过统一灵活的Stiefel流形与自适应支持向量机，我们设计了新颖的决策层，可高效拟合数据与标签信息的流形结构。进而，设计了一种联合非梯度优化方法以生成具有闭式结果的网络。最终，大量实验验证了该模型的优越性能。
引用
@article{arxiv.2106.07905,
title = {Non-Gradient Manifold Neural Network},
author = {Rui Zhang and Ziheng Jiao and Hongyuan Zhang and Xuelong Li},
journal= {arXiv preprint arXiv:2106.07905},
year = {2021}
}