基于推理链的多跳问答对抗攻击
计算与语言
2021-12-20 v1
摘要
近年来，具有挑战性的多跳问答（QA）任务取得了令人瞩目的进展。然而，这些 QA 模型在面临输入文本中的某些扰动时可能失效，且其进行多跳推理的可解释性仍不确定。以往的对抗攻击工作通常编辑整个问句，对测试基于实体的多跳推理能力效果有限。本文提出一种基于多跳推理链的对抗攻击方法。我们在构建的图中 formulation 从查询实体到答案实体的多跳推理链，从而将问题与每个推理跳对齐，进而可攻击任意跳。我们将问题分类为不同推理类型，并对抗性地修改与所选推理跳对应的部分问题以生成干扰句。我们在 HotpotQA 数据集上针对三个 QA 模型测试了我们的对抗方案。结果表明，在答案与支撑事实预测上性能均显著下降，验证了基于推理链的攻击方法对多跳推理模型的有效性与脆弱性。我们的对抗重训练进一步提升了这些模型的性能与鲁棒性。
引用
@article{arxiv.2112.09658,
title = {Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering},
author = {Jiayu Ding and Siyuan Wang and Qin Chen and Zhongyu Wei},
journal= {arXiv preprint arXiv:2112.09658},
year = {2021}
}
备注
10 pages including reference, 4 figures