语法错误纠正系统用于自动评分中的性别偏见与通用替换对抗攻击
计算与语言
2022-08-22 v1 计算机与社会
机器学习
摘要
语法错误纠正（GEC）系统执行序列到序列任务，其中含有语法错误的输入词序列由 GEC 系统纠正这些错误，输出语法正确的词序列。随着深度学习方法的出现，自动化 GEC 系统日益流行。例如，GEC 系统常被用于英语学习者的语音转写文本，作为一种评估和反馈形式——这些强大的 GEC 系统可用于自动衡量考生流利度的一个方面。从考生输入句子（或作文）到 GEC 系统语法纠正输出句子的\textit{编辑}次数指示了考生的语言能力，其中编辑越少表明流利度越好。因此编辑次数可视为\textit{流利度分数}，零意味着完美流利度。然而，尽管基于深度学习的 GEC 系统极其强大且准确，它们易受对抗攻击： adversary 可在系统输入引入微小特定改动，导致输出出现大的非预期变化。当考虑将 GEC 系统应用于自动语言评估时，adversary 的目的可能是通过微小改动语法错误的输入句子来欺骗 GEC 系统隐藏错误，从而找不到编辑且考生被不公正地授予完美流利度分数。本工作考察了一种简单的通用替换对抗攻击，非英语母语者可以现实地用于欺骗用于评估的 GEC 系统。
引用
@article{arxiv.2208.09466,
title = {Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment},
author = {Vyas Raina and Mark Gales},
journal= {arXiv preprint arXiv:2208.09466},
year = {2022}
}