连续风险预测
计算与语言
2025-03-21 v3
摘要
终身学习(LL)能力是 QA 模型在实际应用中取得优异成绩的关键,而基于架构的 LL 方法已被证明是实现这一目标的有前景的方向。然而,将现有方法应用于 QA 任务远非易事。许多先前的方法要么依赖测试期间可用的任务身份,要么未能充分建模来自未见任务的样本,这限制了其实际应用性。为克服这些限制,我们引入了 Diana,一种新型的动感架构基于终身的 QA 框架,旨在使用增强提示的语言模型学习一系列 QA 任务。Diana 利用四层次结构的提示来捕获 QA 知识于多个粒度水平。任务级提示专为编码任务特定知识而设计,确保强大的终身学习性能。同时,实例级提示用于捕获来自不同输入样本的共享知识,增强模型的泛化能力。此外,Diana 包含专门的提示来显式处理未见任务,并引入一组提示键向量以促进任务之间高效的知识传递和共享。通过大量实验,我们展示 Diana 在终身 QA 模型中实现了最先进的性能,尤其在处理以前未见任务方面取得了显著性的改进。这使得 Diana 在问答系统的终身学习领域取得了重大进展。
引用
@article{arxiv.2410.09449,
title = {Continuous Risk Prediction},
author = {Yi Dai},
journal= {arXiv preprint arXiv:2410.09449},
year = {2025}
}
备注
In revision