通过直接最小化PAC-Bayesian界提升鲁棒泛化能力
机器学习
2022-11-24 v1 人工智能
摘要
近期关于鲁棒优化的研究揭示了一种类似过拟合的现象：针对对抗攻击训练的模型在训练集上表现出的鲁棒性高于测试集。尽管先前工作利用对抗测试误差上的鲁棒PAC-Bayesian界为这一现象提供了理论解释，相关的算法推导至多仅与该界松散关联，这意味着其经验成功与我们对对抗鲁棒性理论的理解之间仍存在差距。为弥合此差距，本文考虑一种不同形式的鲁棒PAC-Bayesian界，并直接针对模型后验最小化该界。最优解的推导通过衡量曲面平坦度的迹化海森（TrH）正则化器将PAC-Bayesian学习与该鲁棒损失曲面的几何联系起来。在实践中，我们将TrH正则化器仅限制于顶层，从而得到该界的一个解析解，其计算代价与网络深度无关。最后，我们在CIFAR-10/100和ImageNet上使用视觉Transformer（ViT）评估了我们的TrH正则化方法，并与基线对抗鲁棒性算法进行比较。实验结果表明，TrH正则化提升了ViT的鲁棒性，达到或超越先前最先进（SOTA）方法，同时所需内存与计算代价更少。
引用
@article{arxiv.2211.12624,
title = {Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization},
author = {Zifan Wang and Nan Ding and Tomer Levinboim and Xi Chen and Radu Soricut},
journal= {arXiv preprint arXiv:2211.12624},
year = {2022}
}