权重扩张：关于 Dropout 与泛化的新视角

尽管 dropout 已被公认为一种成功的正则化技术，但导致其成功的机制仍缺乏深入理解。我们引入了“权重扩张”的概念，即由权重协方差矩阵的列向量或行向量所张成的平行多面体有符号体积的增加，并表明在 PAC-Bayesian 框架下权重扩张是提高泛化能力的有效手段。我们提供了 dropout 导致权重扩张的理论论证，以及 dropout 与权重扩张之间相关性的大量实证支持。为了支持我们的假设，即权重扩张可被视为 dropout 所赋予的增强泛化能力的“指示器”而非仅仅是副产品，我们研究了其他实现权重扩张（或收缩）的方法，发现它们通常导致泛化能力的提高（或降低）。这表明 dropout 是一种有吸引力的正则化器，因为它是获得权重扩张的一种计算代价低廉的方法。这一见解证明了 dropout 作为正则化器的作用，同时为识别有望通过权重扩张改善泛化的正则化器铺平了道路。