将权重共享非负神经网络嵌入近端分裂方法：保证收敛到最优点的架构
最优化与控制
2025-10-27 v1
摘要
我们提出了一种新颖的多层神经网络架构，为图像复原问题提供了一种有前景的、由神经网络赋能的优化方法。所提出的架构受到近期关于单调Lipschitz梯度(MoL-Grad)去噪器(Yukawa and Yamada, 2025)研究的启发，该研究建立了一个在揭示所最小化目标函数意义上的“可解释”即插即用(PnP)框架。该架构源自与每一层相关联的函数叠加的梯度，其中编码器和解码器中的权重彼此共享。通过将自身限制为非负权重，确保了势函数的凸性，从而保证了其梯度（去噪器）的单调性。与之前具有理论保证的PnP方法不同，该去噪器不受去噪器Lipschitz常数约束的限制。我们的采用权重共享非负神经网络的PnP算法收敛到目标函数的一个极小值点，该目标函数包含一个由去噪器诱导的“隐式”弱凸正则化项。收敛性分析依赖于一种即使在损失函数非强凸的病态情况下也能保持整体凸性的高效技术。仿真研究显示了所提出的去噪器在训练时间以及去模糊性能方面不受Lipschitz约束这一特性的优势。
引用
@article{arxiv.2510.21421,
title = {Plugging Weight-tying Nonnegative Neural Network into Proximal Splitting Method: Architecture for Guaranteeing Convergence to Optimal Point},
author = {Haruya Shimizu and Masahiro Yukawa},
journal= {arXiv preprint arXiv:2510.21421},
year = {2025}
}
备注
13 pages, 9 figures