基于输出灵敏度的深度神经网络泛化比较
机器学习
2020-07-31 v1 机器学习
摘要
尽管近期工作对已应用于最先进深度学习模型中的技术的性能提升提供了一些见解，仍需更多工作以理解其泛化特性。我们通过将损失函数与输出对其输入的灵敏度相联系，阐明了这一问题。我们发现输出灵敏度与损失函数偏差-方差分解中的方差之间存在相当强的经验关系，这提示可将灵敏度用作比较网络泛化性能的指标，且无需标注数据。我们发现，应用可改善模型泛化性能的流行方法会降低灵敏度，例如（1）使用深网络而非宽网络，（2）向基线分类器添加卷积层而非全连接层，（3）使用批归一化、dropout 与最大池化，以及（4）应用参数初始化技术。
引用
@article{arxiv.2007.15378,
title = {Generalization Comparison of Deep Neural Networks via Output Sensitivity},
author = {Mahsa Forouzesh and Farnood Salehi and Patrick Thiran},
journal= {arXiv preprint arXiv:2007.15378},
year = {2020}
}