QADYNAMICS：基于训练动力学的合成 QA 诊断用于零样本常识问答
计算与语言
2023-10-18 v1
摘要
零样本常识问答 (QA) 要求模型对超出特定基准的通用情境进行推理。最先进的方法在从常识知识库 (CSKBs) 构建的 QA 对上微调语言模型，以在 QA 语境中为模型装备更多常识知识。然而，当前的 QA 合成协议可能从 CSKBs 引入噪声，并生成不合语法的提问与假阴性选项，阻碍模型的泛化能力。为解决这些问题，我们提出 QADYNAMICS，一个由训练动力学驱动的 QA 诊断与精炼框架。我们的方法在问题层面和选项层面分析每个 QA 对的训练动力学，通过移除无信息量的 QA 对以及错误标注或假阴性选项来丢弃机器可检测的伪迹。大量实验证明了我们方法的有效性，其仅使用 33% 的合成数据便优于所有基线，甚至包括如 ChatGPT 这样的 LLM。此外，专家评估确认我们的框架显著提升了 QA 合成的质量。我们的代码与模型检查点可在 https://github.com/HKUST-KnowComp/QaDynamics 获取。
引用
@article{arxiv.2310.11303,
title = {QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering},
author = {Haochen Shi and Weiqi Wang and Tianqing Fang and Baixuan Xu and Wenxuan Ding and Xin Liu and Yangqiu Song},
journal= {arXiv preprint arXiv:2310.11303},
year = {2023}
}
备注
Findings of EMNLP2023