面向卷积层奇异值实用控制的方法
机器学习
2022-11-28 v1 计算机视觉与模式识别
摘要
一般而言，卷积神经网络（CNNs）易于训练，但其本质属性，如泛化误差和对抗鲁棒性，却难以控制。近期研究表明，卷积层的奇异值显著影响这些难以捉摸的属性，并提供了若干控制方法。然而，这些方法存在难以计算的计算挑战或依赖于粗略近似。本文中，我们以微小的层表达能力下降为代价，提出了一种缓解现有方法约束的原则性方法。我们的方法基于张量列分解（tensor-train decomposition）；它在提供结构稀疏且硬件友好的表示的同时，保留对卷积映射实际奇异值的控制。我们展示了使用本方法的现代 CNN 的改进属性，并分析了其对模型性能、校准和对抗鲁棒性的影响。源代码见：https://github.com/WhiteTeaDragon/practical_svd_conv
引用
@article{arxiv.2211.13771,
title = {Towards Practical Control of Singular Values of Convolutional Layers},
author = {Alexandra Senderovich and Ekaterina Bulatova and Anton Obukhov and Maxim Rakhuba},
journal= {arXiv preprint arXiv:2211.13771},
year = {2022}
}
备注
Published as a conference paper at NeurIPS 2022