重新审视softmax交叉熵损失以增强对抗鲁棒性
机器学习
2020-02-21 v3 密码学与安全
机器学习
摘要
已有研究表明,对抗鲁棒泛化需要更大的样本复杂度,而诸如CIFAR-10等能使标准准确率良好的同一数据集,可能不足以训练鲁棒模型。由于收集新训练数据代价高昂,我们致力于更好地利用给定数据:在特征空间中诱导出高样本密度的区域,从而可为鲁棒学习提供局部充分的样本。我们首先形式化地表明,softmax交叉熵(SCE)损失及其变体传递了不恰当的监督信号,鼓励所学特征点在训练中稀疏地散布于空间。这启发我们提出最大马哈拉诺比斯中心(MMC)损失,以显式诱导稠密特征区域从而有益于鲁棒性。即,MMC损失鼓励模型集中于学习有序且紧凑的表示,这些表示围绕为不同类别预设的最优中心聚集。我们经实证表明,应用MMC损失即使在强自适应攻击下也能显著提升鲁棒性,同时在干净输入上保持最先进的准确率,且相较SCE损失仅引入极少额外计算。
引用
@article{arxiv.1905.10626,
title = {Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness},
author = {Tianyu Pang and Kun Xu and Yinpeng Dong and Chao Du and Ning Chen and Jun Zhu},
journal= {arXiv preprint arXiv:1905.10626},
year = {2020}
}
备注
ICLR 2020