利用凸分析与常微分方程设计稳定神经网络
机器学习
2024-04-19 v2
摘要
受常微分方程数值积分经典工作的启发，我们提出了一种 ResNet 风格的神经网络架构，只要权重的谱范数受到适当约束，该架构即可编码非扩张（1-Lipschitz）算子。这与普通 ResNet 架构形成对比，后者即使约束权重的谱范数，其 Lipschitz 常数在最坏情况下也会随网络深度呈指数增长。对所提架构的进一步分析表明，可进一步约束权重的谱范数，以确保网络为平均算子，使其成为 Plug-and-Play 算法中学习型去噪器的自然候选。利用一种新颖的自适应谱范数约束执行方法，我们表明即使在这些约束下，仍有可能训练出性能良好的网络。所提架构被应用于对抗鲁棒图像分类、图像去噪以及去模糊逆问题。
引用
@article{arxiv.2306.17332,
title = {Designing Stable Neural Networks using Convex Analysis and ODEs},
author = {Ferdia Sherry and Elena Celledoni and Matthias J. Ehrhardt and Davide Murari and Brynjulf Owren and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2306.17332},
year = {2024}
}
备注
34 pages, 6 figures. This is the accepted version of a paper published in Physica D: Nonlinear Phenomena