迈向文本到 SQL 模型对自然且真实对抗性表格扰动的鲁棒性
计算与语言
2022-12-21 v1
摘要
Text-to-SQL 解析器对对抗扰动的鲁棒性在提供高可靠性应用中起着关键作用。此前该方向研究主要关注自然语言问题侧的扰动，忽视了表格的可变性。受此启发，我们提出对抗表格扰动（ATP）作为一种新的攻击范式，以衡量 Text-to-SQL 模型的鲁棒性。遵循该主张，我们构建了 ADVETA，首个具有自然且真实 ATP 的鲁棒性评估基准。所有被测最先进模型在 ADVETA 上均出现剧烈性能下降，揭示了模型在真实实践中的脆弱性。为防御 ATP，我们构建了系统的对抗训练样本生成框架，以更好地实现表格数据的上下文化。实验表明，我们的方法不仅带来针对表格侧扰动的最佳鲁棒性提升，还显著增强模型对自然语言侧扰动的抵御能力。我们在 https://github.com/microsoft/ContextualSP 发布基准与代码。
引用
@article{arxiv.2212.09994,
title = {Towards Robustness of Text-to-SQL Models Against Natural and Realistic Adversarial Table Perturbation},
author = {Xinyu Pi and Bing Wang and Yan Gao and Jiaqi Guo and Zhoujun Li and Jian-Guang Lou},
journal= {arXiv preprint arXiv:2212.09994},
year = {2022}
}
备注
Accepted by ACL 2022 (Oral)