MixedNUTS：通过非线性混合分类器实现免训练的准确率-鲁棒性平衡
机器学习
2024-10-17 v5 人工智能
计算机视觉与模式识别
摘要
对抗鲁棒性通常以牺牲准确率为代价，这阻碍了鲁棒分类模型在现实生活中的应用。基于训练以寻求更好折衷的解决方案受限于与已训练的高性能大模型的不兼容性，因此需要探索免训练的集成方法。观察到鲁棒模型在干净数据和对抗数据上，对正确预测的置信度均高于错误预测，我们推测放大这种“良性置信度属性”可以在集成设置中调和准确率与鲁棒性。为此，我们提出了“MixedNUTS”，一种免训练方法，其中鲁棒分类器和标准非鲁棒分类器的输出 logits 经过仅有三个参数的非线性变换处理，这些参数通过高效算法进行优化。MixedNUTS 随后将变换后的 logits 转换为概率，并将它们混合作为整体输出。在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上，使用自定义的强自适应攻击进行的实验结果表明，MixedNUTS 大幅提高了准确率并获得了接近 SOTA 的鲁棒性——它将 CIFAR-100 的干净准确率提升了 7.86 个百分点，仅牺牲了 0.87 个百分点的鲁棒准确率。
引用
@article{arxiv.2402.02263,
title = {MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers},
author = {Yatong Bai and Mo Zhou and Vishal M. Patel and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2402.02263},
year = {2024}
}