具有灵敏度分析的独立神经常微分方程
机器学习
2022-06-09 v2 最优化与控制
摘要
本文提出独立神经常微分方程（sNODE），一种能够描述完整深度神经网络的连续深度神经ODE模型。其采用一种新颖的非线性共轭梯度（NCG）下降优化方案进行训练，其中可引入Sobolev梯度以改善模型权重的平滑性。我们还给出了神经灵敏度问题的一般表述，并展示了它如何在NCG训练中使用。灵敏度分析提供了网络中不确定性传播的可靠度量，可用于研究模型鲁棒性并生成对抗攻击。我们的评估表明，与ResNet模型相比，我们的新公式带来了鲁棒性和性能的提升，并且为设计和开发具有更高可解释性的机器学习开辟了新机遇。
引用
@article{arxiv.2205.13933,
title = {Standalone Neural ODEs with Sensitivity Analysis},
author = {Rym Jaroudi and Lukáš Malý and Gabriel Eilertsen and B. Tomas Johansson and Jonas Unger and George Baravdish},
journal= {arXiv preprint arXiv:2205.13933},
year = {2022}
}
备注
25 pages, 15 figures; typos corrected