形式化神经网络的权值扰动泛化性与鲁棒性

研究神经网络中权值扰动的敏感性及其对模型性能（包括泛化性与鲁棒性）的影响是一个活跃的研究课题，因其在模型压缩、泛化差距评估和对抗攻击等广泛机器学习任务中具有重要意义。本文首次对前馈神经网络在成对类间隔鲁棒性及其权值扰动下泛化行为方面进行了完整性研究与分析。我们进一步设计了一种新的理论驱动损失函数，用于训练抗权值扰动的具泛化性与鲁棒性的神经网络。我们进行了实证实验以验证理论分析。我们的结果为刻画神经网络抗权值扰动的泛化性与鲁棒性提供了基础性见解。