中文

Qsnail:用于序列问题生成的问卷数据集

计算与语言 2024-02-23 v1

摘要

问卷是一种专业研究方法,用于对人类观点、偏好、态度和行为进行定性和定量分析。然而,由于问卷结构错综复杂,设计和评估问卷需要付出巨大努力。问卷包含一系列问题,必须符合涉及问题、选项和整体结构的复杂约束。具体而言,问题应与给定的研究主题和意图相关且具体。选项应针对问题进行定制,确保它们互斥、完备且排序合理。此外,问题序列应遵循逻辑顺序,将相似主题归为一组。因此,自动生成问卷是一项重大挑战,由于缺乏高质量数据集,该领域受到的关注有限。为解决这些问题,我们推出了 Qsnail,这是首个专门为问卷生成任务构建的数据集,包含从在线平台收集的 13,168 份人工撰写的问卷。我们进一步在 Qsnail 上进行了实验,结果表明检索模型和传统生成模型无法完全符合给定的研究主题和意图。大型语言模型虽然与研究主题和意图更密切相关,但在多样性和特异性方面表现出显著局限性。尽管通过思维链提示和微调进行了增强,语言模型生成的问卷仍不及人工撰写的问卷。因此,问卷生成具有挑战性,需要进一步探索。数据集地址:https://github.com/LeiyanGithub/qsnail。

关键词

引用

@article{arxiv.2402.14272,
  title  = {Qsnail: A Questionnaire Dataset for Sequential Question Generation},
  author = {Yan Lei and Liang Pang and Yuanzhuo Wang and Huawei Shen and Xueqi Cheng},
  journal= {arXiv preprint arXiv:2402.14272},
  year   = {2024}
}

备注

Accepted to the LREC-COLING 2024