针对摘要评分的通用规避攻击
计算与语言
2022-10-27 v1
摘要
摘要的自动评分至关重要，因为它指导着摘要生成器的发展。评分也很复杂，因为它涉及多个方面，如流畅性、语法，甚至与源文本的文本蕴含关系。然而，摘要评分尚未被视为一项机器学习任务来研究其准确性和鲁棒性。在本研究中，我们将自动评分置于回归机器学习任务的背景下，并执行规避攻击以探索其鲁棒性。攻击系统从每个输入中预测一个非摘要字符串，这些非摘要字符串在最流行的指标（ROUGE、METEOR和BERTScore）上取得了与优秀摘要生成器相当的分数。攻击系统还在ROUGE-1和ROUGE-L上“优于”最先进的摘要方法，并在METEOR上得分第二高。此外，还观察到一个BERTScore后门：一个简单的触发器就能获得比任何自动摘要方法都高的分数。这项工作中的规避攻击表明，当前评分系统在系统层面的鲁棒性较低。我们希望，强调这些提出的攻击将有助于摘要评分的发展。
引用
@article{arxiv.2210.14260,
title = {Universal Evasion Attacks on Summarization Scoring},
author = {Wenchuan Mu and Kwan Hui Lim},
journal= {arXiv preprint arXiv:2210.14260},
year = {2022}
}