为表格问答生成语义有效的对抗性问题
计算与语言
2020-12-29 v3
摘要
针对表格数据问答系统（TableQA）的对抗攻击有助于评估其在多大程度上能理解自然语言问题并基于表格进行推理。然而，生成自然语言对抗性问题十分困难，因为即便单个字符的替换也可能在人类感知中导致巨大的语义差异。在本文中，我们提出 SAGE（Semantically valid Adversarial GEnerator，语义有效对抗生成器），一种用于 TableQA 白盒攻击的 Wasserstein 序列到序列模型。为保留原问题的含义，我们采用基于 SIMILE 与实体去词汇化的最小风险训练。我们使用 Gumbel-Softmax 将对抗损失纳入端到端训练。我们的实验表明，SAGE 在语义有效性与流畅性上优于现有的局部攻击模型，同时取得了良好的攻击成功率。最后，我们证明利用 SAGE 增强数据进行的对抗训练可提升 TableQA 系统的性能与鲁棒性。
引用
@article{arxiv.2005.12696,
title = {Generating Semantically Valid Adversarial Questions for TableQA},
author = {Yi Zhu and Yiwei Zhou and Menglin Xia},
journal= {arXiv preprint arXiv:2005.12696},
year = {2020}
}
备注
AAAI 2021 Workshop on Towards Robust, Secure and Efficient Machine Learning