研究各种激活函数与非 IID 数据对机器学习模型鲁性的影响
机器学习
2025-12-05 v1 计算机视觉与模式识别
摘要
对抗训练是提高机器学习 (ML) 模型鲁性的有效方法。大多数现有研究通常考虑线性整流单元 (ReLU) 激活函数和集中式训练环境。本文通过对抗训练在集中式环境中使用十种不同的激活函数，探讨了 ML 模型鲁性问题。我们首先提出了一种先进的对抗训练方法，通过融合模型架构变化、软标签、简化数据增强和可变学习率来提高 ML 模型鲁性。随后，我们在除 ReLU 之外的九种激活函数上开展了大量实验，以更好地理解它们对 ML 模型鲁性的影响。进一步地，我们将所提出的对抗训练方法扩展到联邦学习环境，其中考虑了独立同分布 (IID) 和非 IID 数据设置。我们提出的集中式对抗训练方法在 CIFAR-10 上对抗快速梯度符号攻击下实现了自然准确率为 77.08% 和鲁性准确率为 67.96%。十种激活函数的实验结果表明，ReLU 通常表现最佳。在联邦学习环境中，鲁性准确率显著下降，尤其是在非 IID 数据情况下。为了解决非 IID 数据情况下的显著性能下降，我们引入数据共享，使得在使用 40% 数据共享时，自然准确率为 70.09%，鲁性准确率为 54.79%，超越了 CalFAT 算法。这表明，适当的数据共享比例可以显著提高 ML 模型鲁性，这在某些实际应用中具有重要意义。
引用
@article{arxiv.2512.04264,
title = {Studying Various Activation Functions and Non-IID Data for Machine Learning Model Robustness},
author = {Long Dang and Thushari Hapuarachchi and Kaiqi Xiong and Jing Lin},
journal= {arXiv preprint arXiv:2512.04264},
year = {2025}
}