从几何感知视角提升语言模型的鲁棒性
计算与语言
2022-04-29 v1
摘要
近期研究发现，在对抗训练中移除范数有界投影并增加搜索步数可显著提升鲁棒性。然而，我们观察到过大的搜索步数会损害准确率。我们旨在以更少步数高效获得强鲁棒性。通过一个玩具实验，我们发现将干净数据扰动至决策边界但不跨越它并不会降低测试准确率。受此启发，我们提出友好对抗数据增强（FADA）以生成友好对抗数据。在FADA基础上，我们提出几何感知对抗训练（GAT）在友好对抗数据上执行对抗训练，从而节省大量搜索步数。在两个广泛使用的数据集和三个预训练语言模型上的综合实验表明，GAT能以更少步数获得更强鲁棒性。此外，我们提供了广泛的实证结果与对鲁棒性的深入剖析以助未来研究。
引用
@article{arxiv.2204.13309,
title = {Improving robustness of language models from a geometry-aware perspective},
author = {Bin Zhu and Zhaoquan Gu and Le Wang and Jinyin Chen and Qi Xuan},
journal= {arXiv preprint arXiv:2204.13309},
year = {2022}
}
备注
accepted at Findings of ACL 2022