不再受骗：回答含错误前提的问题
计算与语言
2023-07-06 v1
摘要
预训练语言模型（PLM）已在多个领域展现出前所未有的潜力，尤其是作为问答（QA）系统的骨干。然而，它们往往容易被诸如“太阳有多少只眼睛？”这类刁钻问题所欺骗。PLM 的此类脆弱性常暗示其内部知识的匮乏。在本文中，我们发现 PLM 已具备反驳此类问题所需的知识，关键在于如何激活这些知识。为将这一观察系统化，我们研究了 PLM 对一类刁钻问题——即错误前提问题（FPQ）——的回应。我们标注了一个 FalseQA 数据集，包含 2365 个人工撰写的 FPQ，以及对应的错误前提解释和修订后的真实前提问题。利用 FalseQA，我们发现 PLM 能够通过在适量（如 256 条）样本上微调来判别 FPQ。PLM 还能为错误前提生成合理的解释，作为反驳。在训练期间进一步重放少量通用问题，可使 PLM 同时在 FPQ 和通用问题上表现出色。我们的工作表明，一旦反驳能力被激发，PLM 内部的知识便可被有效利用以处理 FPQ，这为基于 PLM 的 QA 系统研究提供了动力。
引用
@article{arxiv.2307.02394,
title = {Won't Get Fooled Again: Answering Questions with False Premises},
author = {Shengding Hu and Yifan Luo and Huadong Wang and Xingyi Cheng and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2307.02394},
year = {2023}
}
备注
Accepted to ACL 2023 main conference