从记忆中解耦知识：检索增强的提示学习
计算与语言
2023-09-20 v5 人工智能
信息检索
机器学习
摘要
提示学习(prompt learning)方法通过诱导更好的少样本性能在自然语言处理领域掀起波澜，但其仍遵循基于参数的学习范式；学习中的遗忘与死记硬背问题可能遭遇不稳定的泛化问题。具体而言，朴素提示学习在完全监督训练时可能难以利用非典型实例而流于死记，或在低样本数据上过拟合浅层模式。为缓解此类局限，我们提出RetroPrompt，动机在于将知识从记忆中解耦，以帮助模型在泛化与记忆间取得平衡。与朴素提示学习不同，RetroPrompt从训练实例构建开卷知识库，并在输入、训练与推理过程中实现检索机制，从而赋予模型从训练语料中检索相关上下文作为增强线索的能力。大量实验表明，RetroPrompt在少样本与零样本设定下均能取得更优性能。此外，我们进一步说明所提RetroPrompt在新数据集上具有更好的泛化能力。对记忆的详细分析确实揭示RetroPrompt可降低语言模型对记忆的依赖，从而改善下游任务的泛化。代码见 https://github.com/zjunlp/PromptKG/tree/main/research/RetroPrompt。
引用
@article{arxiv.2205.14704,
title = {Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning},
author = {Xiang Chen and Lei Li and Ningyu Zhang and Xiaozhuan Liang and Shumin Deng and Chuanqi Tan and Fei Huang and Luo Si and Huajun Chen},
journal= {arXiv preprint arXiv:2205.14704},
year = {2023}
}
备注
NeurIPS 2022 (Spotlight)