RobuT：针对人工标注对抗扰动的表格问答鲁棒性系统研究
计算与语言
2023-06-27 v1 人工智能
摘要
尽管表格数据问答（Table QA）已取得显著进展，但现有 Table QA 模型是否以及在多大程度上对任务特定扰动（例如替换关键问题实体或打乱表格列）具有鲁棒性仍不明确。为系统研究 Table QA 模型的鲁棒性，我们提出了一个名为 RobuT 的基准，该基准基于现有 Table QA 数据集（WTQ、WikiSQL-Weak 和 SQA）构建，并包含由人工标注的针对表头、表格内容和问题的对抗扰动。我们的结果表明，最先进的 Table QA 模型和具有少样本学习能力的的大语言模型（如 GPT-3）在这些对抗集上均表现不佳。我们提出利用大语言模型生成对抗样本以增强训练，这显著提升了 Table QA 模型的鲁棒性。我们的数据和代码已公开于 https://github.com/yilunzhao/RobuT。
引用
@article{arxiv.2306.14321,
title = {RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations},
author = {Yilun Zhao and Chen Zhao and Linyong Nan and Zhenting Qi and Wenlin Zhang and Xiangru Tang and Boyu Mi and Dragomir Radev},
journal= {arXiv preprint arXiv:2306.14321},
year = {2023}
}
备注
Accepted at ACL 2023