利用答案反馈增强上下文学习以改进多跨度问答
计算与语言
2023-06-08 v1 人工智能
摘要
尽管近期以 ChatGPT 为代表的大语言模型（LLM）展现出令人印象深刻的通用性能，但在多跨度问答等特定任务上仍与全监督模型存在较大差距。已有研究发现，上下文学习是一种利用 LLM 的有效途径：使用少量任务相关标注数据作为示例，构建少样本提示以回答新问题。一种常见实现是通过简单模板拼接若干问题及其正确答案，使 LLM 知晓期望输出。本文提出一种使用标注数据的新方式，通过用现成模型预测答案的反馈（如正确、错误或不全）扩展示例，同时告知 LLM 某些不期望的输出。在三个多跨度问答数据集及一个关键词抽取数据集上的实验表明，我们的新提示策略持续提升了 LLM 的上下文学习性能。
引用
@article{arxiv.2306.04508,
title = {Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering},
author = {Zixian Huang and Jiaying Zhou and Gengyang Xiao and Gong Cheng},
journal= {arXiv preprint arXiv:2306.04508},
year = {2023}
}
备注
12 pages, submitted to NLPCC 2023