发布 CRaQAn（问答中的共指消解）：一个使用指令跟随模型的开源数据集及数据集创建方法
计算与语言
2023-11-29 v1 人工智能
摘要
指令跟随语言模型需要稳健的信息检索方法，以增强面向问答应用的指令。一个主要挑战是在长文档分块策略语境下的共指消解。开展共指处理实验的关键障碍在于缺乏开源数据集，尤其是需要共指消解的问答任务方面的数据集。在本工作中，我们提出我们的问答中的共指消解（CRaQAn）数据集，这是一个开源数据集，通过提供超过 250 个含共指的问答对，满足问答任务中共指消解细致的信息检索需求。为开发该数据集，我们提出了一种利用指令跟随模型（GPT-4）与递归批评与改进循环创建高质量数据集的新方法。
引用
@article{arxiv.2311.16338,
title = {Releasing the CRaQAn (Coreference Resolution in Question-Answering): An open-source dataset and dataset creation methodology using instruction-following models},
author = {Rob Grzywinski and Joshua D'Arcy and Rob Naidoff and Ashish Shukla and Alex Browne and Ren Gibbons and Brinnae Bent},
journal= {arXiv preprint arXiv:2311.16338},
year = {2023}
}
备注
NeurIPS 2023 Workshop on Instruction Tuning and Instruction Following