用于鲁棒学习的噪声注入节点正则化

我们提出噪声注入节点正则化（NINR），一种在训练阶段向深度神经网络（DNN）注入结构化噪声的方法，从而产生一种涌现的正则化效应。我们提供了理论和经验证据，表明在NINR下训练的前馈DNN对各种测试数据扰动的鲁棒性有显著提升。我们方法的新颖性在于自适应噪声注入与初始化条件相互作用，使得在训练开始时噪声是动力学的主导驱动因素。由于它只需添加外部节点而不改变现有网络结构或优化算法，该方法可轻松集成到许多标准问题设定中。我们发现针对多种数据扰动（包括域偏移）的稳定性有所改善，其中对非结构化噪声的改善最为显著，在某些情况下我们的技术优于Dropout或$L_2$正则化等其他现有方法。我们进一步表明，在干净数据上理想的泛化性质通常得以保持。