一种用于对抗性问答写作的新型界面

开发问答AI的一个关键组成部分是对抗性数据集，它挑战模型适应我们自然语言背后的复杂语法和推理。目前用于程序化生成对抗性文本的技术对于训练复杂任务（如回答多句问答）不够鲁棒。我们转而通过引入一个用于收集对抗性人工编写问答的界面来转向人类生成的数据。我们的界面面向问答写作者和Quiz Bowl玩家，Quiz Bowl是一种基于蜂鸣器的问答比赛，其中段落长度的问题由一系列难度递减的线索组成。为了激励使用，我们界面中的一套基于机器学习的工具帮助人类编写对Quiz Bowl玩家和计算机都更具挑战性的问题。我们的界面不仅为开创性的Quiz Bowl AI项目QANTA收集训练数据，而且也是未来问答系统对抗性数据收集的概念验证。用十个原创问题对我们的界面进行性能测试的结果表明，尽管存在一些缺陷，但我们的界面的新颖问题写作功能以及实时暴露我们机器模型的有用响应可以促进和增强对抗性问题的收集。