众包科学多项选择题
人机交互
2017-07-20 v1 人工智能
计算与语言
机器学习
摘要
我们提出了一种从众包工人处获取高质量、领域针对性多项选择题的新方法。在不牺牲原创性、相关性或答案选项多样性的情况下，生成这些问题十分困难。我们的方法通过利用特定领域的大型文本语料库和少量现有问题来解决这些问题。它为文档选择和答案干扰项选择生成模型建议，从而辅助人工问题生成过程。借助该方法，我们构建了 SciQ，一个包含 13.7K 道科学考试多项选择题的数据集（数据集可在 http://allenai.org/data.html 获取）。我们通过对这一新数据集的分析，并证明人类无法区分众包问题与原始问题，从而表明该方法能够生成领域内问题。当使用 SciQ 作为现有问题的额外训练数据时，我们在真实的科学考试中观察到准确率的提升。
引用
@article{arxiv.1707.06209,
title = {Crowdsourcing Multiple Choice Science Questions},
author = {Johannes Welbl and Nelson F. Liu and Matt Gardner},
journal= {arXiv preprint arXiv:1707.06209},
year = {2017}
}
备注
accepted for the Workshop on Noisy User-generated Text (W-NUT) 2017