正交卷积神经网络的存在性、稳定性与可扩展性
统计理论
2023-01-16 v3 人工智能
统计理论
摘要
在神经网络各层上施加正交性已知可通过限制梯度的爆炸/消失、去相关特征以及改善鲁棒性来促进学习。本文研究正交卷积层的理论性质。我们建立了保证正交卷积变换存在的关于层架构的充分必要条件。这些条件证明，对于实践中用于“循环”填充的几乎所有架构，正交卷积变换均存在。我们还揭示了“有效”边界条件以及带零填充的“相同”边界条件的局限性。最近，一种施加卷积层正交性的正则化项被提出，并在不同应用中取得了令人印象深刻的经验结果（Wang 等，2020）。本文的第二个动机是阐明其背后的理论。我们建立了该正则化项与正交性度量之间的联系。在此过程中，我们表明该正则化策略相对于数值和优化误差是稳定的，并且在存在小误差且信号/图像尺寸较大时，卷积层保持接近等距。理论结果通过实验得到验证，并研究了正则化项的景观。在真实数据集上的实验表明，当使用正交性来增强鲁棒性时，乘以正则化项的参数可用于在精度与正交性之间调节权衡，从而同时有益于精度和鲁棒性。总之，本研究保证 Wang 等（2020）提出的正则化是一种高效、灵活且稳定的学习正交卷积层的数值策略。
引用
@article{arxiv.2108.05623,
title = {Existence, Stability and Scalability of Orthogonal Convolutional Neural Networks},
author = {El Mehdi Achour and François Malgouyres and Franck Mamalet},
journal= {arXiv preprint arXiv:2108.05623},
year = {2023}
}