深度网络真的需要权重衰减与丢弃法吗？
计算机视觉与模式识别
2018-07-13 v3
摘要
现代深度神经网络在计算机视觉任务上的惊人成功，是通过与可用训练样本数相比容量极大的模型实现的。这种过参数化常被认为借助不同正则化技术得以控制，主要是权重衰减（weight decay）与丢弃法（dropout）。然而，由于这些技术降低了模型的有效容量，通常需甚至更深更宽的架构来补偿容量的降低。因此，该做法中似乎存在容量浪费。本文基于近期表明显式正则化可能不如广泛认为般重要的研究，开展了一项消融研究，得出结论：若引入足够的数据增强，权重衰减与丢弃法对于物体识别可能并非必要。
引用
@article{arxiv.1802.07042,
title = {Do deep nets really need weight decay and dropout?},
author = {Alex Hernández-García and Peter König},
journal= {arXiv preprint arXiv:1802.07042},
year = {2018}
}
备注
Minor changes: more explicit legend of the figure, clearer second paragraph of the introduction, details of weight decay and dropout in the appendix