迈向鲁棒数值问答：诊断 NLP 系统的数值能力
计算与语言
2022-11-15 v1
摘要
数值问答是需要数值能力的问答任务。先前工作将通用对抗攻击引入数值问答，却未系统探究该主题特有的数值能力。本文中，我们提出对一系列数值问答系统与数据集进行数值能力诊断。一系列数值能力被突出，并设计了相应的数据集扰动。实证结果表明，现有系统受到这些扰动的严重挑战。例如，Graph2Tree 在 ASDiv-a 上面对‘Extra’扰动经历了 53.83% 的绝对准确率下降，BART 在 DROP 的数值子集上面对‘Language’扰动经历了 13.80% 的准确率下降。作为一种抵消方法，我们也探究了将扰动作为数据增强应用以缓解系统鲁棒数值能力缺失的有效性。通过实验分析与实证研究，表明具备鲁棒数值能力的数值问答在很大程度上仍是一个开放问题。我们讨论了数值问答的未来方向，并总结了关于未来数据集收集与系统设计的指南。
引用
@article{arxiv.2211.07455,
title = {Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems},
author = {Jialiang Xu and Mengyu Zhou and Xinyi He and Shi Han and Dongmei Zhang},
journal= {arXiv preprint arXiv:2211.07455},
year = {2022}
}
备注
Accepted by EMNLP'2022