PerNodeDrop: 深度神经网络中子网特化与正则化的平衡方法

深度神经网络具有强大的表示能力,但仍易受到过拟合的威胁,主要是因为神经元倾向于以捕获复杂和细粒度特征互动的方式共同适应,从而强化非可靠的模式以增加训练性能但降低在未见数据上的可靠性。基于噪声的正则化器如 Dropout 和 DropConnect 通过在训练期间注入随机扰动来解决此问题,但它们注入的噪声通常在图层或批量样本上是均匀的,这既会抑制有益也会抑制有害的共同适应。本工作引入 PerNodeDrop,一种轻量级随机正则化方法。它对每个样本、每个节点施加特定的扰动,以打破现有技术注入噪声的均匀性，从而使每个节点都经历特定于输入的可变性。因此,PerNodeDrop 在保留有用共同适应的同时应用正则化。这缩小了训练和验证性能之间的差距,并在未见数据上的可靠性方面取得改进,如实验所示。虽然表面上与 DropConnect 相似,但 PerNodeDrop 在样本级别工作。它在样本级别而非批量级别丢弃权重。一种预期损失分析形式化了其扰动如何减轻过度共同适应,同时保留预测性互动。在视觉、文本和音频基准测试上的经验评估表明,相对于标准噪声-based 正则化器,PerNodeDrop 在一般化方面取得了改进。