激活函数最大二阶导数的重要性及其对对抗鲁棒性的影响
机器学习
2026-03-26 v1 人工智能
摘要
本文研究了激活函数曲率——由最大二阶导数 量化——在对抗鲁棒性中的关键作用。通过使用可通过参数 和 精确控制曲率的递归曲率可调激活函数族(RCT-AF)，系统地分析了这一关系。我们的研究揭示了一种根本性的权衡：曲率不足会限制模型的表达能力，而过度曲率则会放大损失函数标准化 Hessian 对角线范数，导致更尖锐的最小值，从而阻碍稳健的泛化。这导致一种非单调关系，其中最佳对抗鲁棒性始终发生在 落在 4 到 10 范围内的情形，这一发现适用于多种网络架构、数据集和对抗训练方法。我们提供了关于激活曲率如何影响损失 Hessian 矩阵对角元素的数理解释，实验结果表明，标准化 Hessian 对角线范数对 呈U型依赖，其最小值位于最佳鲁棒性范围内，从而验证了所提出的机制。
引用
@article{arxiv.2603.23860,
title = {Why the Maximum Second Derivative of Activations Matters for Adversarial Robustness},
author = {Yunrui Yu and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2603.23860},
year = {2026}
}