用于ReLU网络输入优化的激活下降正则化

我们提出了一种新的ReLU网络输入优化方法，该方法明确考虑了激活模式变化的影响。我们分析了输入空间和激活模式空间中的局部优化步骤，提出了具有优越局部下降特性的方法。为实现此目标，我们将激活模式的离散空间转换为可微表示，并提出了改进每一步下降的正则化项。我们的实验证明了所提出的输入优化方法在改进对抗学习、生成建模和强化学习等多个领域最先进技术方面的有效性。