关于具有机器可表示参数的神经网络自动微分的正确性
机器学习
2023-06-07 v2 机器学习
摘要
近期工作表明，在实数上的前向与反向模式自动微分（AD）在精确数学意义下几乎总是正确的。然而，实际程序使用机器可表示数（例如浮点数）而非实数。本文中，我们研究当神经网络的参数空间仅由机器可表示数构成时 AD 的正确性。特别地，我们分析 AD 可能不正确的两类参数集：网络可微但 AD 未计算其导数的不正确集，以及网络不可微的不可微集。对于带偏置参数的神经网络，我们首先证明不正确集恒为空。接着我们证明不可微集大小的一个紧界，其关于激活函数中不可微点数目为线性，并给出参数属于该集的一个简单充要条件。我们进一步证明 AD 即使在不可微集上也总计算 Clarke 次导数。我们还将上述结果推广到可能不带偏置参数的神经网络。
引用
@article{arxiv.2301.13370,
title = {On the Correctness of Automatic Differentiation for Neural Networks with Machine-Representable Parameters},
author = {Wonyeol Lee and Sejun Park and Alex Aiken},
journal= {arXiv preprint arXiv:2301.13370},
year = {2023}
}
备注
To appear at ICML 2023