基于提示的守恒学习用于多跳问答
计算与语言
2022-09-16 v1
摘要
多跳问答（QA）需要跨多个文档推理以回答复杂问题并提供可解释的支持证据。然而，提供支持证据不足以表明模型已执行所需推理从而得到正确答案。大多数现有多跳 QA 方法即便父问题被正确回答，仍有大量子问题无法作答。本文提出用于多跳 QA 的基于提示的守恒学习（PCL）框架，该框架从多跳 QA 任务中获取新知识，同时保存在单跳 QA 任务上学到的旧知识，缓解遗忘。具体而言，我们首先在已有单跳 QA 任务上训练模型，随后冻结该模型并通过为多头 QA 任务分配额外子网络进行扩展。此外，为使预训练语言模型适应以激发特定多跳问题所需的推理，我们为新颖子网络学习软提示（soft prompt）以执行类型特定推理。在 HotpotQA 基准上的实验结果表明，PCL 在多跳 QA 上具竞争力，并在相应单跳子问题上保持良好性能，证明了 PCL 在缓解遗忘所致知识损失方面的有效性。
引用
@article{arxiv.2209.06923,
title = {Prompt-based Conservation Learning for Multi-hop Question Answering},
author = {Zhenyun Deng and Yonghua Zhu and Yang Chen and Qianqian Qi and Michael Witbrock and Patricia Riddle},
journal= {arXiv preprint arXiv:2209.06923},
year = {2022}
}
备注
Accepted to COLING 2022