探索 Softmax 中温度缩放对分类与对抗鲁棒性的影响
机器学习
2025-03-03 v1 人工智能
摘要
Softmax 函数是深度学习中的基本组件。本研究深入探讨了 softmax 函数中常被忽视的参数，即“温度”，为图像分类中温度缩放的实际和理论方面提供了新见解。我们的实证研究在多个基准数据集上采用卷积神经网络和 Transformer，揭示了适中的温度通常会带来更好的整体性能。通过广泛的实验和严格的理论分析，我们探索了温度缩放在模型训练中的作用，并发现温度不仅影响学习步长，还塑造了模型的优化方向。此外，我们首次发现了较高温度的一个惊人益处：增强了模型对常见损坏、自然扰动和非目标对抗攻击（如投影梯度下降）的鲁棒性。我们将这些发现扩展到对抗训练中，证明与具有默认温度值的标准 softmax 函数相比，更高的温度有潜力增强对抗训练。这项工作的见解为在深度学习应用中提升模型性能和安全性开辟了新途径。
关键词
引用
@article{arxiv.2502.20604,
title = {Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness},
author = {Hao Xuan and Bokai Yang and Xingyu Li},
journal= {arXiv preprint arXiv:2502.20604},
year = {2025}
}