神经网络梯度平滑的公理化
机器学习
2024-07-02 v1 人工智能
摘要
梯度在神经网络解释中占据核心位置。神经网络的固有高维性和结构复杂性导致原始梯度包含大量噪声。虽然提出了多种方法通过平滑来降低噪声，但对平滑神经网络梯度的理由讨论不足。本文我们提出了基于函数 mollification 和蒙特卡洛积分的神经网络梯度平滑理论框架。该框架对梯度平滑进行了内在公理化，并揭示了现有方法的理论依据。此外，我们提供了一种从该框架派生新型平滑方法的思路。通过实验测量几种新设计的平滑方法，我们展示了该框架的研究潜力。
引用
@article{arxiv.2407.00371,
title = {Axiomatization of Gradient Smoothing in Neural Networks},
author = {Linjiang Zhou and Xiaochuan Shi and Chao Ma and Zepeng Wang},
journal= {arXiv preprint arXiv:2407.00371},
year = {2024}
}