深度神经网络的公理化偏微分方程模型
机器学习
2024-03-25 v2
摘要
受深度神经网络（DNN）与偏微分方程（PDEs）之间关系的启发，我们研究深度神经网络PDE模型的一般形式。为实现这一目标，我们将DNN公式化为一个从简单基模型出发的演化算子。基于若干合理假设，我们证明该演化算子实际上由对流-扩散方程决定。该对流-扩散方程模型为若干有效网络提供了数学解释。此外，我们表明对流-扩散模型提升了鲁棒性并降低了Rademacher复杂度。基于对流-扩散方程，我们为ResNets设计了一种新的训练方法。实验验证了所提方法的性能。
引用
@article{arxiv.2307.12333,
title = {An axiomatized PDE model of deep neural networks},
author = {Tangjun Wang and Wenqi Tao and Chenglong Bao and Zuoqiang Shi},
journal= {arXiv preprint arXiv:2307.12333},
year = {2024}
}
备注
The experiment design in the paper lacks careful thought and may be misleading in demonstrating our contribution