RCR-AF：通过拉德马赫复杂度降低激活函数增强模型泛化能力
机器学习
2025-07-31 v1 人工智能
计算机视觉与模式识别
摘要
尽管取得了广泛的成功，深度神经网络仍然极易受到对抗性攻击，在安全敏感应用中构成重大风险。本文研究激活函数作为增强模型鲁棒性的一个关键但尚未充分探索的组成部分。我们提出了一种拉德马赫复杂度降低激活函数（RCR-AF），一种旨在提高泛化能力和对抗鲁棒性的新型激活函数。RCR-AF独特地结合了GELU（包括平滑性、梯度稳定性和负信息保留）与ReLU期望的单调性的优势，同时通过由两个超参数α和γ控制的内置裁剪机制来控制模型稀疏性和容量。我们基于拉德马赫复杂度的理论分析表明，这些参数直接调节模型的拉德马赫复杂度，提供了一种增强鲁棒性的原则性方法。全面的实证评估表明，RCR-AF在标准训练下的干净准确率和对抗训练范式内的对抗鲁棒性方面，始终优于广泛使用的替代方案（ReLU、GELU和Swish）。
引用
@article{arxiv.2507.22446,
title = {RCR-AF: Enhancing Model Generalization via Rademacher Complexity Reduction Activation Function},
author = {Yunrui Yu and Kafeng Wang and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2507.22446},
year = {2025}
}