基于结构化提示的持续问答学习

具备终身学习能力(lifelong learning, LL)的问答(QA)模型对于实际QA应用十分重要,基于架构的LL方法被报道为这些模型的有效实现方式。然而,将以往方法扩展到QA任务并非易事,因为它们要么在测试阶段需要访问任务标识,要么未显式建模来自未知任务的样本。本文中,我们提出Diana:一种动态的基于架构的终身QA模型,试图利用提示增强的语言模型学习一系列QA任务。Diana中使用四类分层组织的提示,从不同粒度捕获QA知识。具体而言,我们专门设置任务级提示以捕获任务特定知识,从而保持较高的LL性能,并维护实例级提示以学习跨不同输入样本共享的知识,从而提升模型的泛化性能。此外,我们设置独立的提示来显式建模未知任务,并引入一组提示键向量以促进任务间的知识共享。大量实验表明,Diana优于最先进的终身QA模型,尤其在未知任务处理方面。