通过有界函数约束对数几率以提升对抗鲁棒性

我们提出一种通过在 softmax 前添加新有界函数来改善对抗鲁棒性的方法。近期研究假设，通过对数几率正则化得到的小对数几率（softmax 的输入）可改善深度学习的对抗鲁棒性。遵循该假设，我们在通用逼近假设下分析了最优点的对数几率向量范数，并探索了通过在 softmax 前添加有界函数来约束对数几率的新方法。我们从理论和经验上揭示，添加如双曲正切等常见激活函数得到的小对数几率并不能改善对抗鲁棒性，因为该函数输入向量（对数几率前向量）可能具有大范数。基于理论发现，我们开发了新有界函数。添加我们的函数可改善对抗鲁棒性，因为它使对数几率向量与对数几率前向量均具有小范数。由于我们的方法仅在 softmax 前添加一个激活函数，易于与对抗训练结合。我们的实验表明，在无对抗训练时，我们的方法在对抗扰动数据集上的准确率与对数几率正则化方法相当。此外，在使用对抗训练时，它优于或与对数几率正则化方法及近期防御方法（TRADES）相当。