面向新闻故事的测验式问题生成
计算与语言
2021-02-19 v1 计算机与社会
机器学习
摘要
绝大多数美国成年人至少从互联网获取部分新闻。尽管许多在线新闻产品的目标是让用户了解新闻，但它们缺乏可扩展且可靠的工具来衡量其实现该目标的程度，因此不得不求助于噪声代理指标（例如点击率或阅读时间）来追踪表现。作为大规模衡量新闻知晓度的第一步，我们研究测验式多选题生成问题，该问题可用于调查用户对其近期新闻知识的掌握。具体而言，我们将该问题表述为两个序列到序列任务：问题-答案生成（QAG）和干扰项（即错误答案）生成（DG）。我们介绍了NewsQuizQA，这是首个面向测验式问题-答案生成的数据集，包含来自5K篇新闻文章摘要的20K个人工撰写的问题-答案对。利用该数据集，我们提出一系列新技术，将大型预训练Transformer编码器-解码器模型（即PEGASUS和T5）应用于问题-答案生成和干扰项生成任务。我们表明，我们的模型在自动指标和人类评分者两方面均优于强基线。我们提供了一个通过Google Surveys平台在两个月内对真实用户运行每周测验的案例研究。我们发现用户普遍认为自动生成的问题具有教育性和趣味性。最后，为服务研究社区，我们发布了NewsQuizQA数据集。
引用
@article{arxiv.2102.09094,
title = {Quiz-Style Question Generation for News Stories},
author = {Adam D. Lelkes and Vinh Q. Tran and Cong Yu},
journal= {arXiv preprint arXiv:2102.09094},
year = {2021}
}